CN109152615A - 在机器人手术过程期间识别和跟踪物理对象的系统和方法 - Google Patents

在机器人手术过程期间识别和跟踪物理对象的系统和方法 Download PDF

Info

Publication number
CN109152615A
CN109152615A CN201780031879.8A CN201780031879A CN109152615A CN 109152615 A CN109152615 A CN 109152615A CN 201780031879 A CN201780031879 A CN 201780031879A CN 109152615 A CN109152615 A CN 109152615A
Authority
CN
China
Prior art keywords
physical object
virtual objects
instrument
navigation system
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780031879.8A
Other languages
English (en)
Other versions
CN109152615B (zh
Inventor
P·勒斯勒尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mako Surgical Corp
Original Assignee
Mako Surgical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mako Surgical Corp filed Critical Mako Surgical Corp
Priority to CN202110910973.9A priority Critical patent/CN113616332A/zh
Publication of CN109152615A publication Critical patent/CN109152615A/zh
Application granted granted Critical
Publication of CN109152615B publication Critical patent/CN109152615B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/02—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors
    • A61B17/0206—Surgical instruments, devices or methods, e.g. tourniquets for holding wounds open; Tractors with antagonistic arms as supports for retractor elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/16—Bone cutting, breaking or removal means other than saws, e.g. Osteoclasts; Drills or chisels for bones; Trepans
    • A61B17/17—Guides or aligning means for drills, mills, pins or wires
    • A61B17/1703—Guides or aligning means for drills, mills, pins or wires using imaging means, e.g. by X-rays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/32—Surgical robots operating autonomously
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A61B2034/207—Divots for calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Radiology & Medical Imaging (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)

Abstract

提供了在手术过程期间跟踪目标部位附近的物理对象的导航系统和方法。该导航系统包括机器人装置和附接于机器人装置的器械。视觉装置附接于机器人装置或器械并且生成视觉数据集。从物理对象的多个视角捕获视觉数据集。计算系统基于视觉数据集中可识别的物理对象的一个或更多个特征将虚拟对象与物理对象关联。虚拟对象至少部分地限定器械的虚拟边界。

Description

在机器人手术过程期间识别和跟踪物理对象的系统和方法
相关申请
本申请要求于2016年5月23日提交的美国临时专利申请No.62/340,176的优先权和权益，该美国临时专利申请的全部公开和内容特此以引用方式并入本文中。
技术领域
本公开总体上涉及用于在机器人手术过程期间识别和跟踪物理对象的系统和方法。
背景技术
导航系统有助于用户精确定位对象。例如，导航系统用于工业、航空航天和医疗应用中。在医学领域中，导航系统有助于外科医生相对于患者的目标部位精确地放置手术器械。目标部位通常需要某种形式的治疗(诸如，组织切除)。传统导航系统采用定位器，定位器与跟踪器协作，以提供与手术器械和目标部位关联的位置和/或取向数据，例如，待切除骨量。定位器通常被放置成使得其具有跟踪器的视野。跟踪器被固定于手术器械和患者，以与手术器械和患者相呼应地移动。附着于患者的跟踪器常常被附接于正接受治疗的骨上，由此因骨的刚性属性而保持相对于目标部位的刚性关系。通过在手术器械和患者上使用单独的跟踪器，可以将手术器械的治疗端精确地定位在目标部位处。
通常，牵开器或其它物理对象位于在手术期间应避开的目标部位附近。例如，可以使用单独跟踪器以与手术器械相同的方式跟踪这些牵开器或其它物理对象，但是在牵开器和其它物理对象中添加跟踪器，可特别地因增加了定位器将跟踪的对象的数目，会使导航系统的成本和复杂度大幅增加。此外，由于这些物理对象常常能够相对于与器械和患者关联的跟踪器移动，因此这些附加物理对象不容易被这些跟踪器参考。已提出在由附接于定位器或以其它方式相对于定位器固定的摄像机所捕获的图像中使用对象识别技术来跟踪这些附加物理对象。然而，这种方法可能在计算上是昂贵且困难的。
在机器人手术期间，特别地在机器人装置正在自主操作时，当导航系统不能够识别目标部位附近的所有物理对象的位置时，难以避开这些物理对象。结果，机器人装置当前受到控制，以监视与这些物理对象的碰撞，并且倘若有碰撞(例如，依赖于来自力/转矩传感器的指示碰撞的反馈)则被关闭。然而，并不期望在关闭机器人装置之前直到出现碰撞一直等待，这会导致工具受损或者有可能因这样的碰撞而会产生的碎屑(例如，当旋转钻或锯撞到牵开器时)危及患者。与物理对象的碰撞会延误手术过程。这种延误会延长患者接受全身麻醉的时间段或者以其它方式增加与手术过程关联的风险。
因此，本领域需要解决机器人手术期间识别和跟踪物理对象的系统和方法。
发明内容
在一个实施例中，提供了一种在手术过程期间跟踪目标部位附近的物理对象的导航系统。所述导航系统包括机器人装置和可附接于机器人装置的器械。视觉装置附接于机器人装置或器械中的一个，使得视觉装置可随机器人装置移动。视觉装置被配置成生成视觉数据集。视觉数据集是从当移动机器人装置时按多个自由度移动的视觉装置能实现的物理对象的多个视角捕获的。一种计算系统与视觉装置通信。计算系统具有至少一个处理器，所述至少一个处理器被配置成基于视觉数据集中可识别的物理对象的一个或更多个特征将虚拟对象与物理对象关联。虚拟对象至少部分地限定所述器械的虚拟边界。
在又一个实施例中，提供了一种用于跟踪物理对象的方法。所述方法包括响应于由机器人装置的移动导致的视觉装置的移动而生成视觉数据集。由于该移动，导致从物理对象的多个视角捕获视觉数据集。该方法还包括基于视觉数据集中可识别的物理对象的一个或更多个特征将虚拟对象与物理对象关联。虚拟对象限定所述器械的虚拟边界。
该系统和方法提供了若干优点。例如，通过将视觉装置相对于包括所述一个或更多个特征的物理对象移动，计算系统能够既识别又定位所述物理对象并且跟踪所述器械相对于物理对象的移动。在某些情况下，视觉装置所拍摄的单个视觉数据集(例如，单个图像)可以足以估计物理对象的位置，后续视觉数据集可用于改善跟踪结果。这对于在用器械在手术过程期间对目标部位进行治疗的同时避开物理对象是有用的。另外，通过将视觉装置附接于移动的机器人装置或器械，可以利用较低成本的视觉装置，这得益于获取来自物理对象的不同视角的多个视觉数据集，例如来自不同视角的多个视频帧。结果，可以跟踪这些物理对象，而无需单独的昂贵的跟踪器。
附图说明
将容易地了解优点，因为当结合附图考虑时，通过参考以下的具体实施例，这些优点变得更好理解。
图1是包括机器人装置、定位器和视觉装置的机器人手术系统的立体图。
图2是用于控制机器人手术系统的控制系统的示意图。
图3是用于机器人手术系统中的坐标系统的立体图。
图4是在用视觉装置观察物理对象的情况下手术部位的图示。
图5是物理对象上的特征的示例。
图6是物理对象上的特征的另一个示例。
图7是包括编码特征的特征组的示例。
图8是包括编码特征的特征集的示例。
图9是与物理对象关联的虚拟对象的图示。
图10是方法所执行的步骤的流程图。
具体实施方式
如图1中所示，例示了用于治疗患者22的系统20。系统20被示出为在手术设置(诸如，医疗设施的手术室)中。在所示出的实施例中，系统20包括加工站24和引导站26。引导站26被设置成跟踪手术室中各种对象的移动。这些对象包括例如手术器械30、患者的股骨F和患者的胫骨T。引导站26跟踪这些对象以便向用户显示它们的相对位置和取向，并且在某些情况下，以便控制或约束手术器械30相对于目标部位(诸如，股骨目标部位TS)的移动。手术器械30被示出为加工站24的部分。
引导站26包括容纳导航计算机34的导航推车组件32。导航界面与导航计算机34可操作地通信。导航界面包括适于位于无菌区域外部的第一显示器36和适于位于无菌区域内的第二显示器38。显示器36、38可被调节地安装于导航推车组件32。第一输入装置40和第二输入装置42(诸如，键盘和鼠标)可以用于将信息输入导航计算机34中或者以其它方式选择/控制导航计算机34的某些方面。料想到包括触摸屏(未示出)或语音激活的其它输入装置。
定位器44与导航计算机34通信。在所示出的实施例中，定位器44是光学定位器并且包括定位器相机单元46。定位器相机单元46具有容纳一个或多个光学位置传感器50的外壳48。在一些实施例中，采用至少两个优选地三个或更多个光学传感器50。光学传感器50可以是三个单独的电荷耦合装置(CCD)。在一个实施例中，采用三个一维CCD。应当理解，在其它实施例中，也可在手术室周围布置单独的定位器相机单元，每个相机单元具有单独的CCD或两个或更多个CCD。CCD检测红外信号。另外，定位器44可以采用不同的模态并且可以是电磁定位器、RF定位器、超声定位器或任何其它能够跟踪对象的传统定位器。
定位器相机单元46被安装于可调节臂，以将光学传感器50定位在下面讨论的理想地没有遮挡的跟踪器的视野中。在一些实施例中，可通过围绕旋转接头旋转，将定位器相机单元46调节至少一个自由度。在其它实施例中，可将定位器相机单元46调节大约两个或更多个自由度。
定位器相机单元46包括与光学传感器50通信以接收来自光学传感器50的信号的定位器相机控制器52。定位器相机控制器52通过有线或无线连接(未示出)与导航计算机34通信。一种这样的连接可以是IEEE 1394接口，它是用于高速通信和同步实时数据传输的串行总线接口标准。连接还可以使用公司特定协议。在其它实施例中，光学传感器50直接与导航计算机34通信。
位置和取向信号和/或数据被传输到导航计算机34，以便跟踪对象。导航推车组件32、显示器36和38以及定位器相机单元46可以如同特此以引用方式并入的2010年5月25日发布的授予Malackowski等人的名称为“Surgery System”的美国专利No.7,725,162中描述的那些一样。
导航计算机34具有显示器36和38、中央处理单元(CPU)和/或其它处理器62、存储器(未示出)和用于执行本文中描述的功能所必需的存储器件(内部和外部，未示出)。导航计算机34装载有如下所述的软件。该软件将从定位器相机单元46接收的信号转换成定位器数据，定位器数据代表定位器正跟踪的对象的位置和取向。导航计算机34能够与计算机网络(诸如，局域网(LAN)和/或互联网)进行有线或无线通信。可以为导航计算机34提供一个或多个数据接口，诸如，通用串行总线(USB)接口或用于读取诸如CD-ROM或SD卡的数据载体的装置。内部存储器件或外部存储器件或这二者可以被配置成存储成像装置所拍摄的患者图像的图像数据。可替换地，或另外地，还可以经由计算机网络接收(例如，下载)此图像数据。此外，内部存储器件或外部存储器件或这二者可以被配置成存储本文中描述的各种校准数据/信息条目。此校准数据/信息构成系统20的先验知识，并且下面将更详细地描述各种校准数据示例。如将理解的，可替换地，或另外地，系统20的先验知识可以包括其它信息条目。
引导站26可与在本文中也被称为跟踪器的多个跟踪装置54、56、58一起操作。在所例示的实施例中，将一个跟踪器54牢固地固定于患者的股骨F，并将另一个跟踪器56牢固地固定于患者的胫骨T。将跟踪器54、56牢固地固定于骨的片段。跟踪器54、56可以按特此以引用方式并入的美国专利No.7,725,162中示出的方式附接于股骨F和胫骨T。跟踪器54、56也可以如同特此以引用方式并入本文中的2014年1月16日提交的名称为“NavigationSystems and Methods for Indicating and Reducing Line-of-Sight Errors”的美国专利申请公开No.2014/0200621中示出的那些一样安装。在其它实施例中，可以将跟踪器54、56安装于解剖结构的其它组织。
器械跟踪器58被牢固地附接于手术器械30。器械跟踪器58可以在制造期间被集成在手术器械30中，或者可以在准备手术过程时被单独安装于手术器械30。借助于器械跟踪器58跟踪的手术器械30的治疗端可以包括旋转钻、电消融尖端、超声波尖端、矢状锯片或其它类型的治疗元件。
跟踪器54、56、58可以是由内部电池供电的电池，或者可以具有通过导航计算机34接收电力的引线，导航计算机34如同定位器相机单元46一样优选地接收外部电力。
在所示出的实施例中，手术器械30被附接于加工站24的操纵器66。操纵器66还可以被称为机器人装置或机器人臂。在其公开特此以引用方式并入的名称为“SurgicalManipulator Capable of Controlling a Surgical Instrument in Multiple Modes”的美国专利No.9,119,655中示出了此布置。手术器械30可以是可用于执行医疗/手术过程的任何手术器械(也被称为工具)。手术器械30可以是翻边器械、电手术器械、超声器械、铰刀、冲击器、矢状锯或其它器械。在一些实施例中，采用多个手术器械来治疗患者，其中，每个手术器械由定位器44来单独跟踪。
定位器44的光学传感器50接收来自跟踪器54、56、58的光信号。在所例示的实施例中，跟踪器54、56、58是有源跟踪器。在该实施例中，每个跟踪器54、56、58具有用于将光信号传输到光学传感器50的至少三个有源跟踪元件或标记。有源标记可以是例如传输光(诸如，红外光)的发光二极管或LED 60。光学传感器50的采样速率优选地为100Hz或更高，更优选地为300Hz或更高，最优选地为500Hz或更高。在一些实施例中，光学传感器50的采样速率为8000Hz。采样速率是光学传感器50从顺序发光的LED 60接收光信号的速率。在一些实施例中，对于每个跟踪器54、56、58，来自LED 60的光信号是以不同的速率发光的。
参考图2，LED 60中的每个连接于跟踪器控制器61，跟踪器控制器61位于将数据传输到导航计算机34/从导航计算机34接收数据的关联跟踪器54、56、58的壳体中。在一个实施例中，跟踪器控制器61通过与导航计算机34的有线连接传输大约数兆字节/秒的数据。在其它实施例中，可以使用无线连接。在这些实施例中，导航计算机34具有用于从跟踪器控制器61接收数据的收发器(未示出)。
在其它实施例中，跟踪器54、56、58可以具有无源标记(未示出)，诸如反射从定位器相机单元46发射的光的反射器。然后，光学传感器50接收反射光。有源和无源布置在本领域中是公知的。
在一些实施例中，跟踪器54、56、58还包括陀螺仪传感器和加速度计，诸如特此以引用方式并入的2015年4月14日发布的授予Wu的名称为“Navigation System IncludingOptical and Non-Optical Sensor”的美国专利No.9,008,757中示出的跟踪器。
导航计算机34包括导航处理器62。应该理解，导航处理器62可以包括用于控制导航计算机34的操作的一个或更多个处理器。处理器可以是任何类型的微处理器或多处理器系统。术语“处理器”不旨在将任何实施例的范围限于单个处理器。
定位器相机单元46接收来自跟踪器54、56、58的LED 60的光学信号，并且将与跟踪器54、56、58的LED 60相对于定位器44的位置相关的信号输出到导航处理器62。基于接收到的光学信号(一些实施例中，和非光学信号)，导航处理器62诸如通过已知三角测量方法，生成指示跟踪器54、56、58相对于定位器44的相对位置和取向的数据。在一些实施例中，数据由定位器相机控制器52生成，然后被传输到导航计算机34。
在开始手术过程之前，将附加数据加载到导航处理器62中。基于跟踪器54、56、58的位置和取向以及先前加载的数据，导航处理器62确定手术器械30的治疗端的位置(例如，手术钻的质心(centroid))和手术器械30相对于将抵靠其施用治疗端的目标部位(诸如，股骨目标部位TS)的取向。在一些实施例中，导航处理器62将这些数据转发到操纵器控制器64。然后，操纵器控制器64可以使用该数据来控制操纵器66，如在其公开特此以引用方式并入的名称为“Surgical Manipulator Capable of Controlling a Surgical Instrumentin Multiple Modes”的美国专利No.9,119,655中描述的。在一个实施例中，控制操纵器66以使其留在由外科医生设置的虚拟边界内。在本文中描述的实施例中，一个这样的虚拟边界限定了将通过手术器械30切除的股骨F的材料量。因此，虚拟边界是手术器械30的治疗端留在其内的边界。可以控制操纵器66，以使其在用户抓握并操纵器械30以致使器械30移动的手动操作模式下或者自主地操作，如特此以引用方式并入的名称为“SurgicalManipulator Capable of Controlling a Surgical Instrument in Multiple Modes”的美国专利No.9,119,655中描述的。
导航处理器62还生成指示治疗端与目标部位的相对位置的图像信号。这些图像信号被施加于显示器36、38。基于这些信号，显示器36、38生成允许外科医生和工作人员实质上查看治疗端与目标部位的相对位置的图像。在大多数情况下，图像一次性例示了相对于一个目标部位的治疗端。例如，在股骨F和胫骨T同时接受治疗的手术过程中，在从股骨F切除材料的同时，可以在视觉上例示股骨目标部位TS和手术器械30的治疗端与股骨目标部位TS的相对位置。同样，当用户完成了从股骨F切除材料并且准备从胫骨T切除材料时，显示器36、38可以仅例示手术器械30的治疗端相对于与胫骨T关联的目标部位的放置。
参考图3，大体上，参考定位器坐标系LCLZ进行对象跟踪。定位器坐标系LCLZ具有原点和取向(一组x、y和z轴)。在该过程期间，一个目的是将定位器坐标系LCLZ保持在已知位置。安装于定位器相机单元46的加速度计(未示出)可以用于跟踪定位器坐标系LCLZ的突然或意外移动，如可能在定位器相机单元46被外科手术人员无意中撞到时发生的。
每个跟踪器54、56、58和正被跟踪的对象也具有与定位器坐标系LCLZ分离的其自身的坐标系。例如，跟踪器54、56、58具有骨跟踪器坐标系BTRK1、骨跟踪器坐标系BTRK2和器械跟踪器坐标系TLTR。
在所示出的实施例中，引导站26通过监测牢固附接于骨的骨跟踪器54、56的位置来监视患者的股骨F和胫骨T的位置。股骨坐标系是FBONE并且胫骨坐标系是TBONE，它们是骨跟踪器54、56所牢固附接的骨的坐标系。
用虚拟对象限定将接受手术器械30治疗的目标部位。在所示出的实施例中，股骨目标部位TS与股骨F关联。当然，诸如用于胫骨T的目标部位的数个其它目标部位也是可能的，其各自由其本身单独的虚拟对象限定。代表目标部位的虚拟对象由用户预先操作性设置，以限定待治疗材料量、手术器械30的轨迹、将由手术器械30切割的平面、待钻的孔等。在所示出的实施例中，虚拟对象VB(参见图9)限定了将从股骨F切除的材料量。在一些情况下，在术中，即在手术过程期间设置或重新设置虚拟对象。应当理解，虽然本文中阐述的描述涉及整形手术过程，但是本文中描述的系统和方法同样适用于任何类型的手术过程。
在开始手术过程之前，生成所关注解剖结构的术前图像，诸如，股骨F和胫骨T(或在其它实施例中，其它组织或结构)的术前图像。这些图像可以是基于患者解剖结构的MRI扫描、放射扫描或计算机断层扫描(CT)扫描。这些图像用于开发所关注解剖结构的虚拟模型，诸如股骨F和胫骨T和/或手术器械30待治疗的其它解剖结构的虚拟模型。也可以在术中诸如通过使用导航指导器或其它合适装置捕获股骨F和胫骨T和/或待治疗的其它解剖结构的表面上的点来产生这些虚拟模型。然后，编译这些点并填充点之间的间隙以生成虚拟模型。此点集合还可以与大体骨模型组合，以使大体骨模型能够变形，从而更好地匹配所关注的解剖结构。
通常，虚拟模型是3-D模型，其包括代表正治疗的整个解剖结构或待治疗的解剖结构的至少一部分的数据以及代表限定目标部位的虚拟对象的数据。在所示出的实施例中，股骨的虚拟模型VM是3D模型，包括代表股骨F的一部分和虚拟对象VB的模型数据(参见图9)。虚拟对象VB限定目标部位TS和在手术过程期间从股骨F切除的材料量。可以在虚拟模型内限定虚拟对象，并且可以使用其它虚拟对象代表技术将虚拟对象表示为网格表面、构造实体几何(CSG)、体素等。
使用本领域中公知的方法将术前图像和/或虚拟模型映射到股骨坐标系FBONE和胫骨坐标系TBONE。将这些术前图像和/或虚拟模型固定在股骨坐标系FBONE和胫骨坐标系TBONE中。作为拍摄术前图像的替换方案，可以在手术室中通过运动学研究、骨追踪和其它方法开发治疗计划。所述这些方法也可以用于生成先前描述的3-D虚拟模型。
在本文中描述的手术过程的初始阶段期间，骨跟踪器54、56被牢固地固定于患者的骨。坐标系FBONE和TBONE的姿势(位置和取向)被分别映射到坐标系BTRK1和BTRK2。在一个实施例中，可以使用具有其自身跟踪器PT(参见图1)的诸如特此以引用方式并入的授予Malackowski等人的美国专利No.7,725,162中公开的指导器器械P(参见图1)，将股骨坐标系FBONE和胫骨坐标系TBONE分别注册于骨跟踪器坐标系BTRK1和BTRK2。在给定骨和其跟踪器54、56之间的固定关系的情况下，股骨坐标系FBONE和胫骨坐标系TBONE中的股骨F和胫骨T的位置和取向可以被变换成骨跟踪器坐标系BTRK1和BTRK2，所以定位器相机单元46能够通过跟踪跟踪器54、56来跟踪股骨F和胫骨T。这些姿势描述数据被存储在与操纵器控制器64和导航处理器62二者集成的存储器中。
手术器械30的治疗端(也被称为能量施加器的远端)具有其自身的坐标系EAPP。例如，坐标系EAPP的原点可以代表手术切割钻的质心。在手术过程开始之前，坐标系EAPP的姿势被固定于器械跟踪器坐标系TLTR的姿势。因此，确定这些坐标系EAPP、TLTR相对于彼此的姿势。姿势描述数据被存储在与操纵器控制器64和导航处理器62集成的存储器中。
参考图2，定位引擎100是可以被认为是导航计算机34的部分的软件模块。定位引擎100的部件在导航处理器62上运行。定位引擎100可以在操纵器控制器64和/或导航处理器62上运行。
定位引擎100接收来自定位器相机控制器52的基于光学的信号并且在一些实施例中接收来自跟踪器控制器61的基于非光学的信号作为输入。基于这些信号，定位引擎100确定定位器坐标系LCLZ中的骨跟踪器坐标系BTRK1和BTRK2的姿势。基于针对器械跟踪器58接收的所述相同信号，定位引擎100确定定位器坐标系LCLZ中的器械跟踪器坐标系TLTR的姿势。
定位引擎100将代表跟踪器54、56、58的姿势的信号转发到坐标变换器102。坐标变换器102是在导航处理器62上运行的软件模块。坐标变换器102参考限定患者的术前图像和/或虚拟模型与骨跟踪器54、56之间的关系的数据。坐标变换器102还存储指示手术器械30的治疗端相对于器械跟踪器58的姿势的数据。如果与虚拟模型分开，则坐标变换器102还参考限定虚拟对象的数据。
在手术过程期间，坐标变换器102接收指示跟踪器54、56、58与定位器44的相对姿势的数据。基于这些数据和先前加载的数据，坐标变换器102生成指示坐标系EAPP以及骨坐标系FBONE、TBONE与定位器坐标系LCLZ的相对位置和取向的数据。
结果，坐标变换器102生成指示手术器械30的治疗端相对于被抵靠施用治疗端的目标部位的位置和取向的数据。代表这些数据的图像信号被转发到显示器36、38，从而使外科医生和工作人员能够查看该信息。在某些实施例中，代表这些数据的其它信号可以被转发到操纵器控制器64，以引导操纵器66和手术器械30的对应移动。因此，该数据还指示也可以相对于其它虚拟对象被建模为单独虚拟对象(例如，虚拟工具对象VI)的手术器械30的治疗端的虚拟位置。
回头参考图1，引导站26还包括视觉装置72。在所示出的实施例中，视觉装置被安装于手术器械30。在其它实施例中，视觉装置72可以被安装于机器人臂，诸如机器人臂的远端。视觉装置72被优选地放置成使得其具有没有遮挡的目标部位的视野。视觉装置72具有与导航计算机34可操作通信的视觉控制器73(参见图2)。视觉装置72还可以被称为图像装置或数字图像装置。视觉装置72可以包括相机160，相机160具有外壳体76并支撑一个或更多个图像传感器78(参见图2)。图像传感器78可以采用CMOS传感器或其它合适传感器的形式。
导航计算机34与视觉控制器73通信，以从视觉控制器73接收相机160的视觉数据集。视觉数据集被提供到视觉坐标系VIS中(参见图3)。当相机160相对于患者移动时，视觉数据集可以是相机160所捕获的视觉坐标系VIS中的数据点集。这些数据点是用x、y、z坐标限定的。这些数据点可以被作为视觉数据文件保存或存储。
如图4中所示，在目标部位附近，存在除了股骨F、胫骨T和手术器械30之外的物理对象。这些对象可以包括牵开器、冲洗/抽吸工具、手术引导件、切口周围的皮肤或其它类型的物理对象。在本文中描述的实施例中，导航计算机34和/或操纵器控制器64识别并跟踪这些物理对象，所以系统20可以确定手术器械30、股骨F、胫骨T和目标部位附近的所有物理对象的相对位置，例如，所以在手术过程期间，手术器械30能避开物理对象。在其它实施例中，可能期望识别和跟踪物理对象，使得手术器械30可以在某些情形下，诸如当物理对象是工具引导件时接合物理对象中的一个或更多个。出于例示的目的，所示出的物理对象是牵开器162。
参考图4，物理对象中的每个包括限定特征集170的多个特征，使得可以在手术过程期间由导航计算机34和/或操纵器控制器64借助相机160识别和跟踪物理对象。特征集170包括在相机160所拍摄的视觉数据集中可识别的多个特征。出于识别目的，可以由导航计算机34和/或操纵器控制器64提供图案识别能力。系统20具有待检测特征的布置、编码或其它特性的先验知识。
这些特征中的一个或更多个可以是有源标记(例如，发射相机160待检测的辐射)。另外，或者可替换地，特征中的一个或更多个可以是无源标记。无源标记可以具有反射或非反射属性。可以通过在物理对象的任何刚性(例如，平面)或柔性基板上(例如，在切口或其它位置周围或邻近的患者皮肤上)印刷、贴纸等来实现无源标记。特征还以可由物理对象表面上的涂层或物理对象中产生的表面粗糙度来限定。系统20具有特征(例如，采用校准信息的形式)的先验知识。对于数个不同类型的物理对象，先验知识可以涉及特征编码方案和特征相对于彼此的位置中的一个或更多个。例如，先前已知的特征可以是在物理对象的基板上冲压或印刷的无源标记或可替换地有源标记。在使用围绕切口的印刷的贴纸或其它无源标记的情况下，先前已知的特征可以被理解为被放置成环形或被合适地理解为与切口开口关联的其它位置中，使得可以控制器械30来避开围绕开口的皮肤和其它组织。
相机160被配置成从两个或更多个不同视角获取视觉数据集，使得每个视觉数据集包括特征集170中的至少一些特征。相机160的移动是在收集视觉数据集时机器人装置和/或器械30相对于患者的移动而导致的。该移动可以是由机器人装置和/或器械30的手动操纵或机器人装置和/或器械30的自主移动引起的。举例来说，相机160可以被实现为能够提供采用连续视频数据流的形式(例如，视频帧)的视觉数据集的视频相机。在一个变型中，相机160被刚性地安装于器械30，使得在机器人装置自主移动期间，相机160可以在机器人装置的作用下随器械30一起移动。在其它变型中，相机160被刚性地安装于器械160，以借助机器人装置和/或器械30的手动操纵而随器械30一起移动。当被安装于手术器械30时，相机160具有包括物理对象和手术器械30所针对的患者表面的视野。举例来说，当手术器械30具有指向患者的纵轴时，视野可以沿着手术器械30的纵轴延伸。
应当理解，通过将相机160集成到手术器械30中，可以容易地将相机160的视觉坐标系VIS校准到器械跟踪器坐标系TLTR。该校准可以例如借助在制造期间确定的校准数据而在制造期间发生，或者可以在手术过程开始之前使用传统校准方法而校准。因此，可以基于上述变换方法和与手术器械30关联的器械跟踪器58的使用来确定视觉坐标系VIS相对于定位器坐标系LCLZ的姿势。结果，视觉坐标系VIS也可以变换到定位器坐标系LCLZ，反之亦然。姿势描述数据被存储在与操纵器控制器64和导航处理器62集成的存储器中。
在其它实施例中，诸如相机160被安装于机器人装置而非手术器械30的实施例中，相机160可以具有刚性安装于壳体76以建立视觉坐标系VIS和定位器坐标系LCLZ之间的关系的视觉装置跟踪器(未示出)。例如，使用限定视觉装置跟踪器的坐标系和视觉坐标系VIS之间的关系的预加载数据，坐标变换器102可以基于定位器坐标系LCLZ中的视觉装置跟踪器的位置和取向，将视觉坐标系VIS变换成定位器坐标系LCLZ。可替换地，如果诸如借助接头编码器和附接于机器人装置底座的机器人底座跟踪器(未示出)在定位器坐标系LCLZ中单独跟踪机器人装置，则相机160可以(例如，借助校准步骤)与机器人底座跟踪器关联，由此不再需要相机160上的单独跟踪器。只要机器人装置的底座不移动并且机器人底座跟踪器可见，则定位器44就可以确定相机160的位置和取向。
导航计算机34可以被配置成将从相机160接收的视觉数据集存储在外部或内部存储器件中。如以上提到的，可以将这些视频数据集以被至少暂时存储以便由导航处理器62处理的视频数据流的形式来接收。例如，此处理可以包括用于识别(例如，定位和解码)接收到的视觉数据集中的一个或更多个特征的图案识别。
在一个实施例中，导航处理器62使用图案识别技术，首先识别视觉数据集中的多个特征并且确定它们在视觉坐标系VIS中的坐标(例如，以关键点坐标的形式)。作为校准数据存储的相机160的投影模型可以用于确定相机160相对于相机160所提供的视觉数据集中识别的一个或更多个特征的位置(参见，例如特此以引用方式并入本文中的美国专利申请公开No.2008/0208041A1)。特定投影模型下的变换参数可以由相应的相机制造商或由系统20的分销商来提供。这些参数也可以用现场校准夹具来估计或者针对特定相机类型被标准化。在某些实现方式中，相机160本身(例如，根据当前选择的缩放级别，实时地)可以借助合适接口来提供变换参数。
另外，与特征集170有关的信息被作为校准数据例如提供到导航计算机34的内部存储器件中。此信息可以包括特征的相对位置和/或任何应用的特征编码方案。基于已知的特征相对位置和(即，在关联的视觉坐标系VIS中的)相机160所拍摄的视觉数据集(例如，图像)中的(投影的)特征相对位置，可以通过从对应视觉坐标系VIS朝向其中提供特征坐标的任何参考系统(诸如，所关注物理对象的物理对象坐标系POCS(参见图3))的立体背投影来(例如，实时地)确定其它变换的变换参数。这由相机160的变换T1指示。通过求解下式系统中的每个独立特征j来计算针对相机160的变换T1的变换参数：
Mj,160＝T2·T1-1·Mj,cal，
Mj,160是相机160的视觉数据集(例如，视频帧)中的成像特征j，成像特征j具有相对于视觉坐标系VIS的坐标。提供作为校准数据并且指示具有相对于物理对象坐标系POCS的坐标的特征j(例如，其关键点)的Mj,cal，并且第二变换T2指定相机160及其关联的视觉坐标系VIS之间的变换参数。
应该注意，上述的立体背投影有时被称为相机姿势估计，或者与相机姿势估计相结合地执行。在图4中示出的实施例中，由黑点将各个特征符号化。也可以使用多个编码特征。每个特征可以具有包括唯一的、扩展的QR类型编码(其允许各个特征重叠)的二维扩展。在图5中，用图形将各个扩展特征170A例示为位于白色环内，其中，环的中心限定特征关键点。大体上，每个扩展特征可以限定指示特征的位置或坐标的此特定关键点或中心。在计算机视觉中，术语特征也被称为关键点周围(即，特征扩展)的描述。图6示意性例示了示例性环形式的扩展特征的关键点构思。应当理解，关键点构思可以容易地扩展到图5的特征类型。应当理解，在可替换的实施例中，可以按其它方式限定和编码各个特征。例如，可以用不同数量的短划线或短划线和点的组合来组成环，如图7中的特征170B中所示。又如，可以使用彩色编码的圆圈或点。在某些实现方式中，各个特征可以在形成平坦(即，平面)表面的小区域内的物理对象上进行分组。各个特征的相对位置以及它们的编码方案(允许区分各个特征)可以被作为校准数据存储。
在本实施例中，由物理对象的二维表面上提供的特征170C(采取黑色区域和白色区域的组合的形式)来限定或跨越物理对象坐标系POCS，如图8中所示。这意味着，一旦在从相机160接收的视觉数据集中识别并解码了物理对象的表面上限定的特征(也被称为跟踪器特征)，就可以确定物理对象坐标系POCS连同物理对象坐标系POCS内的那些特征的坐标。系统20将通常还具有关于物理对象上提供的特征的相对位置和编码的先验知识(采用校准数据的形式)。
跟踪器特征可以是唯一的和/或被编码的，使得导航计算机34和/或操纵器控制器64可以基于特征，诸如通过特征的图案识别或者凭借特征中编码的信息来识别物理对象或与物理对象相关的信息。此信息可以包括物理对象标识、物理对象类型、物理对象大小、物理对象尺寸、物理对象序列号或物理对象制造商中的一个或更多个。
参考图9，一旦识别出物理对象，则导航计算机34和/或操纵器控制器64就可以从存储器，诸如从物理对象的数据库取出与物理对象坐标系POCS中的物理对象关联的虚拟对象164。可替换地，可以用与虚拟对象相关的信息对物理对象上的特征进行编码，其中与虚拟对象相关的信息诸如是虚拟对象识别、虚拟对象类型、虚拟对象大小或虚拟对象尺寸。例如，存储在导航计算机34中的物理对象的数据库可以包括由数个不同制造商制成的、数种不同类型和数种不同大小和配置的物理对象。特征中编码的信息使导航计算机34能够基于该特定物理对象的特征识别视觉数据集中查看的关于物理对象的特定细节，并且还取出与该物理对象关联的特定虚拟对象。因此，例如，如果物理对象被识别为是特定大小的牵开器，则关联的虚拟对象可以具有相当大的大小。
借助将物理对象坐标系POCS中的特征坐标变换到视觉坐标系VIS，虚拟对象164也可以被变换到视觉坐标系VIS。虚拟对象164可以被进一步变换到定位器坐标系LCLZ(如图9中所示)，使得可以相对于虚拟对象164跟踪手术器械30的移动。在这方面，可以相对于特征坐标预限定虚拟对象164。例如，在牵开器的情况下，虚拟对象在制造期间被预限定为具有相对于牵开器上的特征建立的关联的模型数据的牵开器的三维模型，使得虚拟对象的位置和取向在物理对象坐标系POCS中是已知的。
在可替换的实施例中，不需要相对于物理对象的虚拟对象164的先验知识，因为由于手术器械30的坐标是已知的，因此用户可以使用导航指导器或使用手术器械30来限定虚拟对象164。结果，用户将能够通过简单地用导航指导器勾勒区来限定“禁飞”区，例如，点、线、体积、面积等。被跟踪/勾勒的该区将相对于用于跟踪虚拟对象164的(一个或多个)特征建立虚拟对象164。
虚拟对象164可以限定在手术期间要避开的体积或区域(诸如，牵开器162所占据的空间)。如图9中所示，虚拟对象164可以被限定在定位器坐标系LCLZ中的目标部位TS之外。在其它实施例中，虚拟对象的一些部分可以存在于目标部位TS内。虚拟对象164可以由导航处理器62处理，以便在显示器36、38上向用户显示，使得用户可看到手术器械30相对于例如牵开器162的目标部位TS和虚拟对象164的位置和取向。在一些情况下，虚拟对象164包括三维模型、二维表面、点云、体素化体积、表面网格、平面、线或单个点中的一个或更多个。
应该注意，由于目标部位TS附近的一些组织的弹性和/或柔性属性，物理对象(诸如，牵开器162)可以在手术过程期间相对于目标部位TS移动。结果，系统20在定位器坐标系LCLZ或其它所关注坐标系中周期性刷新所确定的虚拟对象的姿势，例如，与牵开器162关联的虚拟对象164的姿势。虚拟对象的姿势的这种更新的发生速率可以与定位器更新跟踪器54、56、58的姿势的速率相同，与操纵器控制器64计算出的沿着工具路径的手术器械的每个新命令位置处的速率相同，或者这种更新以任何其它合适速率发生。在某些情况下，更新某些物理对象的姿势可能比其它对象慢。例如，因为在某些情况下获悉手术器械30的位置会更为关键，所以更新牵开器162的位置的发生可能不及更新手术器械30相对于目标部位TS的位置频繁。
在一些实施例中，可以基于多个物理对象的位置来产生虚拟对象。例如，虚拟切口168(参见图9)可以由两个或更多个牵开器162的位置来限定，如图所示。在这种情况下，虚拟切口168可以是具有牵开器162所勾勒的边界的虚拟开口。这样，当调节牵开器162时，虚拟切口168可以改变配置。换句话讲，虚拟切口168可以是动态的并且可以改变形状，但是利用本文中描述的导航技术，可以用每个新的视觉数据集连续更新虚拟切口168，使得器械30能够在手术过程期间避开物理对象或由与此物理对象关联的虚拟对象限定的边界，而不管目标部位TS附近的改变。
虚拟对象可以限定要避开的体积或边界，因此产生防止手术器械30的治疗端进入的“禁飞”区。“禁飞”区可以与位于目标部位附近的敏感的解剖结构、刚性结构、待保护的软组织和骨、其它工具等关联。由于获悉了虚拟对象在定位器坐标系LCLZ或其它公共坐标系中的位置，当操纵器66在自主模式下操作时，操纵器66能够控制手术器械30的定位以避开虚拟对象，由此避开了位于目标部位附近的敏感的解剖结构、刚性结构、待保护的软组织和骨、其它工具等。在手动操纵机器人装置和/或器械30期间，“禁飞”区将充当向用户提供触觉反馈以防止用户使器械30进入“禁飞”区的触觉边界。例如，当物理对象是牵开器时，物理对象中的每个具有与其关联的采用牵开器的虚拟三维模型形式的虚拟对象。可以通过跟踪手术器械30的治疗端相对于牵开器的移动来避开借助相机160跟踪的物理对象。然后，若牵开器中的一个处于工具路径内，则操纵控制器64可以调节其工具路径或者使手术器械30停止移动。可替换地，在手动操作模式下，操纵器控制器64可以诸如通过有源致动一个或更多个接头电机、制动器等来限制/停止原本将会造成机器人装置和/或器械30与牵开器中的一个碰撞的移动，从而倘若器械30在手动操纵期间到达“禁飞”区，就生成用户的触觉反馈。类似地，导航系统可以警告用户物理对象(诸如，牵开器之一)妨碍计划的工具路径并且建议用户移动物理对象。
参考图10，用于跟踪物理对象相对于目标部位的方法的一个实施例利用自主模式下的机器人装置。在第一步骤300中，借助于手术器械30相对于目标部位自主移动，使相机160相对于目标部位附近的物理对象移动，以对目标部位进行治疗。相机160也相对于物理对象自主移动，并且在步骤302中从物理对象的多个视角生成视觉数据集(尽管单个视角可能就足够了)。在视觉坐标系VIS中限定视觉数据集。
在步骤304中，在视觉数据集中识别一个或更多个特征，优选地至少三个或四个特征。可以将这些特征分组到特征集170中，使得相机160能够在步骤306中确定视觉坐标系VIS中的每个特征的特征坐标。使用图案识别技术来识别在某些实施例中被编码的特征或其它视觉标识符。基于该识别，在步骤310中，导航计算机34和/或操纵器控制器64可以捕获关于物理对象的信息。该信息可以包括例如物理对象坐标系POCS相对于特征坐标的位置和取向。
在步骤312中，物理对象坐标系POCS然后可以借助坐标变换器102变换到视觉坐标系VIS和定位器坐标系LCLZ。在步骤314中，将虚拟对象与物理对象关联。在物理对象坐标系POCS中限定的虚拟对象是从存储器中取出的，并且由于该变换，相对于视觉坐标系VIS并随后相对于定位器坐标系统LCLZ限定。在步骤316中，操纵器控制器64控制操纵器66和附接于其的手术器械30的自主移动，使得手术器械30避开物理对象或由物理对象限定的其它约束。
应该理解，尽管与物理对象关联的虚拟对象被变换到定位器坐标系LCLZ，以相对于手术器械30的治疗端和目标部位被跟踪，但是可以使用任何公共的坐标系(诸如，操纵器坐标系MNPL或其它坐标系)来跟踪手术器械30、目标部位和物理对象的相对移动和姿势。
如本领域的技术人员应该理解的，本实施例的各方面可以采取在其上实施了计算机可读程序代码的一个或更多个计算机可读介质中实施的计算机程序产品的形式。包括用于执行本文中描述的方法的指令或代码的计算机软件可以存储在关联的存储器装置(例如，ROM、固定或可移动存储器)中的一个或多个中，并且当准备好被利用时，被部分或全部加载到CPU中(例如，RAM中)并且由CPU实现。此软件可以包括但不限于固件、常驻软件、微代码等。
在其它实施例中，可以使用运动结构(SfM)技术、同时定位和映射(SLAM)技术以及姿势估计技术中的一个或更多个来确定物理对象的特征坐标和模型。举例来说，可以将SLAM应用于特征组。作为其它示例，SfM可以从不同的视角为视觉数据集中可识别的各个特征(不一定是特征组)构建特征轨迹。基于不同(相机)视角的三角测量可以应用于各个特征轨迹。三角测量可以帮助重建并且可选地优化三维中的特征坐标(例如，在物理对象坐标系中)。
在前面的描述中已讨论了数个实施例。然而，本文中讨论的实施例并非旨在是排他性的或者将本发明限制于任何特定形式。已使用的术语旨在具有描述性词语的性质而不是限制性的。鉴于以上教导，许多修改和变化是可能的，并且本发明可以按不同于具体描述的方式实施。

Claims (28)

1.一种用于跟踪物理对象的导航系统，所述导航系统包括：
机器人装置；
器械，可附接于所述机器人装置；
视觉装置，附接于所述机器人装置或所述器械中的一个，使得所述视觉装置可随所述机器人装置移动，所述视觉装置被配置成生成视觉数据集，其中，所述视觉数据集是从当移动所述机器人装置时按多个自由度移动的所述视觉装置能实现的物理对象的多个视角捕获的；以及
计算系统，与所述视觉装置通信，所述计算系统具有至少一个处理器，所述至少一个处理器被配置成基于所述视觉数据集中可识别的物理对象的一个或更多个特征将虚拟对象与物理对象关联，其中，虚拟对象至少部分地限定器械的虚拟边界。
2.根据权利要求1所述的导航系统，其中，所述视觉装置包括相机。
3.根据权利要求1或2所述的导航系统，其中，所述计算系统被配置成跟踪生成所述视觉数据集的所述视觉装置的每个位置处的所述视觉装置的位置和取向。
4.根据权利要求1至3中的任一项所述的导航系统，其中，所述计算系统被配置成基于物理对象的所述一个或更多个特征来确定物理对象的身份。
5.根据权利要求4所述的导航系统，其中，所述计算系统被配置成基于物理对象的身份将所述虚拟对象与物理对象关联。
6.根据权利要求5所述的导航系统，其中，所述虚拟对象包括三维模型、二维表面、点云、体素化体积、表面网格、平面、线或单个点中的一个或更多个。
7.根据权利要求1至6中的任一项所述的导航系统，其中，所述一个或更多个特征包括所述视觉数据集中可识别的特征集，并且所述计算系统被配置成确定特征集的位置和取向，以建立与物理对象关联的第一坐标系的位置和取向。
8.根据权利要求7所述的导航系统，其中，所述视觉装置相对于所述机器人装置或所述器械中的所述一个固定，使得所述视觉数据集可变换到所述机器人装置或所述器械中的所述一个的第二坐标系。
9.根据权利要求8所述的导航系统，其中，所述计算系统包括坐标变换器，所述坐标变换器被配置成变换所述坐标系之一，使得所述计算系统能够跟踪所述器械相对于物理对象的移动。
10.根据权利要求9所述的导航系统，其中，所述计算系统被配置成使得所述器械能够移动，以便通过跟踪所述器械相对于物理对象的移动在避开物理对象的同时，对目标部位处的组织进行治疗。
11.根据权利要求1至10中的任一项所述的导航系统，其中，所述计算系统被配置成基于一个或更多个特征来确定与物理对象关联的信息。
12.根据权利要求11所述的导航系统，其中，信息包括物理对象标识、物理对象类型、物理对象大小、物理对象尺寸、物理对象序列号、物理对象制造商、虚拟对象标识、虚拟对象类型、虚拟对象大小或虚拟对象尺寸中的一个或更多个。
13.根据权利要求1至12中的任一项所述的导航系统，其中，所述虚拟对象由导航指导器或所述器械中的至少一个限定。
14.根据权利要求1至13中的任一项所述的导航系统，其中，所述机器人装置被配置成在自主模式下操作，使得当所述机器人装置在所述自主模式下操作时，所述视觉装置自主移动。
15.一种利用机器人装置、可附接于机器人装置的器械、视觉装置和具有至少一个处理器的计算系统相对于目标部位跟踪物理对象的方法，所述方法包括以下步骤：
响应于由机器人装置的移动导致的视觉装置的移动而生成视觉数据集，其中，从物理对象的多个视角捕获视觉数据集；以及
基于视觉数据集中可识别的物理对象的一个或更多个特征将虚拟对象与物理对象关联，其中，虚拟对象限定器械的虚拟边界。
16.根据权利要求15所述的方法，其中，视觉装置包括相机。
17.根据权利要求15或16所述的方法，包括跟踪生成视觉数据集的视觉装置的每个位置处的视觉装置的位置和取向。
18.根据权利要求15至17中的任一项所述的方法，包括基于物理对象的一个或更多个特征来确定物理对象的身份。
19.根据权利要求18所述的方法，包括基于物理对象的身份将虚拟对象与物理对象关联。
20.根据权利要求19所述的方法，其中，虚拟对象包括三维模型、二维表面、点云、体素化体积、表面网格、平面、线或单个点中的一个或更多个。
21.根据权利要求15至20中的任一项所述的方法，包括确定在视觉数据集中可识别的特征集的位置和取向，以建立与物理对象关联的第一坐标系的位置和取向。
22.根据权利要求21所述的方法，包括将视觉数据集变换到机器人装置或器械中的一个的第二坐标系。
23.根据权利要求22所述的方法，包括变换坐标系之一，使得计算系统能够跟踪器械相对于物理对象的移动。
24.根据权利要求23所述的方法，包括使得器械能够移动，以便通过跟踪器械相对于物理对象的移动在避开物理对象的同时，对目标部位处的组织进行治疗。
25.根据权利要求15至24中的任一项所述的方法，包括基于一个或更多个特征来确定与物理对象关联的信息。
26.根据权利要求25所述的方法，其中，信息包括物理对象标识、物理对象类型、物理对象大小、物理对象尺寸、物理对象序列号、物理对象制造商、虚拟对象标识、虚拟对象类型、虚拟对象大小或虚拟对象尺寸中的一个或更多个。
27.根据权利要求15至26中的任一项所述的方法，包括用导航指导器或器械中的至少一个限定虚拟对象。
28.根据权利要求15至27中的任一项所述的方法，包括自主移动机器人装置，使得视觉装置自主移动，以捕获视觉数据集。
CN201780031879.8A 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法 Active CN109152615B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110910973.9A CN113616332A (zh) 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662340176P 2016-05-23 2016-05-23
US62/340,176 2016-05-23
PCT/US2017/033962 WO2017205351A1 (en) 2016-05-23 2017-05-23 Systems and methods for identifying and tracking physical objects during a robotic surgical procedure

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110910973.9A Division CN113616332A (zh) 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法

Publications (2)

Publication Number Publication Date
CN109152615A true CN109152615A (zh) 2019-01-04
CN109152615B CN109152615B (zh) 2021-08-17

Family

ID=59021578

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110910973.9A Pending CN113616332A (zh) 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法
CN201780031879.8A Active CN109152615B (zh) 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110910973.9A Pending CN113616332A (zh) 2016-05-23 2017-05-23 在机器人手术过程期间识别和跟踪物理对象的系统和方法

Country Status (8)

Country Link
US (3) US10531926B2 (zh)
EP (2) EP4186458A1 (zh)
JP (2) JP7134872B2 (zh)
KR (1) KR102488295B1 (zh)
CN (2) CN113616332A (zh)
AU (2) AU2017269937B2 (zh)
CA (1) CA3025300A1 (zh)
WO (1) WO2017205351A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109549705A (zh) * 2019-01-21 2019-04-02 华科精准（北京）医疗科技有限公司 一种手术机器人系统及其使用方法
CN109758234A (zh) * 2019-02-15 2019-05-17 哈尔滨工业大学 用于微创手术移动腹腔镜自动控制系统及其控制方法
CN110251209A (zh) * 2019-05-24 2019-09-20 北京贝麦克斯科技有限公司 一种校正方法和装置
CN110533702A (zh) * 2019-08-12 2019-12-03 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN110956633A (zh) * 2020-02-26 2020-04-03 南京安科医疗科技有限公司 一种基于虚拟立体定位像的快速ct扫描方法及系统
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112155733A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112402013A (zh) * 2020-11-20 2021-02-26 胡颖 自动识别超声影像的智能导航系统、电子装置及储存介质
CN112512757A (zh) * 2018-11-09 2021-03-16 欧姆龙株式会社 机器人控制装置、模拟方法以及模拟程序
WO2021217713A1 (zh) * 2020-04-26 2021-11-04 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质
CN113950301A (zh) * 2019-04-26 2022-01-18 康迈德机器人公司 用于计算机引导手术的系统
CN114378825A (zh) * 2022-01-21 2022-04-22 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
WO2023078249A1 (zh) * 2021-11-02 2023-05-11 武汉联影智融医疗科技有限公司 一种手术机器人避障方法、系统、装置和存储介质
CN116919597A (zh) * 2023-09-15 2023-10-24 中南大学 基于多视觉融合采集信息的手术导航系统
CN118181306A (zh) * 2024-05-17 2024-06-14 上海术之道医疗器械有限公司 机器人控制方法、装置、控制设备及可读取存储介质

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US11963755B2 (en) 2012-06-21 2024-04-23 Globus Medical Inc. Apparatus for recording probe movement
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
WO2017028916A1 (en) * 2015-08-19 2017-02-23 Brainlab Ag Reference array holder
US10433921B2 (en) * 2015-12-28 2019-10-08 Mako Surgical Corp. Apparatus and methods for robot assisted bone treatment
EP3777749A3 (en) 2015-12-31 2021-07-21 Stryker Corporation System and method for preparing surgery on a patient at a target site defined by a virtual object
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US11064904B2 (en) 2016-02-29 2021-07-20 Extremity Development Company, Llc Smart drill, jig, and method of orthopedic surgery
KR102488295B1 (ko) 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
ES2899284T3 (es) 2016-07-15 2022-03-10 Fastbrick Ip Pty Ltd Vehículo que incorpora una máquina de colocación de ladrillos
JP7108609B2 (ja) 2016-07-15 2022-07-28 ファストブリック・アイピー・プロプライエタリー・リミテッド 材料搬送用ブーム
JP7170631B2 (ja) 2016-10-05 2022-11-14 ニューヴェイジヴ，インコーポレイテッド 外科ナビゲーションシステム及び関連する方法
US11065069B2 (en) * 2017-05-10 2021-07-20 Mako Surgical Corp. Robotic spine surgery system and methods
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
CN111095355B (zh) 2017-07-05 2023-10-20 快砖知识产权私人有限公司 实时定位和定向跟踪器
US12011236B2 (en) * 2017-08-08 2024-06-18 Intuitive Surgical Operations, Inc. Systems and methods for rendering alerts in a display of a teleoperational system
CN111226090B (zh) 2017-08-17 2023-05-23 快砖知识产权私人有限公司 具有改进的横滚角测量的激光跟踪器
US11958193B2 (en) 2017-08-17 2024-04-16 Fastbrick Ip Pty Ltd Communication system for an interaction system
EP3672505A4 (en) * 2017-08-21 2021-02-17 Relign Corporation ARTHROSCOPY DEVICES AND METHODS
ES2971624T3 (es) 2017-10-11 2024-06-06 Fastbrick Ip Pty Ltd Máquina para transportar objetos
US11026751B2 (en) * 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11534242B2 (en) 2018-02-19 2022-12-27 Mako Surgical Corp. Surgical systems and methods for identifying tools guided by surgical robots
WO2019177711A1 (en) * 2018-03-13 2019-09-19 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
JP7082090B2 (ja) * 2018-06-27 2022-06-07 グローバス メディカル インコーポレイティッド 仮想インプラントを調整する方法および関連する手術用ナビゲーションシステム
DE102019004235B4 (de) 2018-07-16 2024-01-18 Mako Surgical Corp. System und verfahren zur bildbasierten registrierung und kalibrierung
US20200205911A1 (en) * 2019-01-01 2020-07-02 Transenterix Surgical, Inc. Determining Relative Robot Base Positions Using Computer Vision
US10959716B2 (en) * 2019-02-11 2021-03-30 Warsaw Orthopedic, Inc. Surgical retractor system and method
EP3920829A4 (en) * 2019-02-21 2022-11-16 Extremity Development Company, LLC INSTRUMENT-BORN OPTICAL KINEMATIC TIME OF FLIGHT POSITIONING SYSTEM FOR PRECISE TARGETING AND OPERATIONAL PROCEDURES
WO2020190832A1 (en) * 2019-03-20 2020-09-24 Covidien Lp Robotic surgical collision detection systems
EP3711699B1 (en) 2019-03-21 2024-01-03 Stryker European Operations Limited Technique for transferring a registration of image data of a surgical object from one surgical navigation system to another surgical navigation system
US11170526B2 (en) 2019-03-26 2021-11-09 Samsung Electronics Co., Ltd. Method and apparatus for estimating tool trajectories
CN111839619B (zh) * 2019-04-26 2024-04-02 华沙整形外科股份有限公司 手术牵开器和方法
WO2020243631A1 (en) 2019-05-30 2020-12-03 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
WO2020236937A1 (en) * 2019-05-20 2020-11-26 Icahn School Of Medicine At Mount Sinai A system and method for interaction and definition of tool pathways for a robotic cutting tool
US20220079687A1 (en) * 2019-05-20 2022-03-17 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
AU2020296088A1 (en) * 2019-06-18 2021-12-23 Nuvasive, Inc. Tissue retraction system
JP7356523B2 (ja) * 2019-07-03 2023-10-04 ストライカー・コーポレイション 手術ナビゲーションのための障害物回避技法
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
KR102361219B1 (ko) * 2019-09-09 2022-02-11 (주)미래컴퍼니 서브 블록 단위의 수술 데이터 획득 방법 및 그 장치
EP4034023A2 (en) 2019-09-26 2022-08-03 Stryker European Operations Limited Tracker for a surgical instrument
EP4034020A2 (en) 2019-09-26 2022-08-03 Stryker Corporation Surgical navigation systems
WO2021084484A2 (en) 2019-10-29 2021-05-06 Stryker European Operations Limited Surgical navigation tracker, system, and method
CN111513849B (zh) * 2020-04-30 2022-04-19 京东方科技集团股份有限公司 一种用于穿刺的手术系统、控制方法及控制装置
US12089910B2 (en) * 2020-05-28 2024-09-17 The Chinese University Of Hong Kong Mobile-electromagnetic coil-based magnetic actuation systems
US11969218B2 (en) 2020-07-05 2024-04-30 Asensus Surgical Us, Inc. Augmented reality surgery set-up for robotic surgical procedures
US11931113B2 (en) * 2020-08-03 2024-03-19 Mazor Robotics Ltd. Systems, devices, and methods for retractor interference avoidance
US12035979B2 (en) * 2020-11-30 2024-07-16 Mazor Robotics Ltd. Autonomous robot tracking
US20240148447A1 (en) 2021-03-05 2024-05-09 Stryker European Operations Limited Systems And Methods For Associating Components Of A Surgical Instrument For Navigation-Assisted Surgery
CN113509268A (zh) * 2021-05-12 2021-10-19 上海交通大学 一种混合现实手术导航系统的标定装置及标定方法
CN113384347B (zh) * 2021-06-16 2022-07-08 瑞龙诺赋(上海)医疗科技有限公司 一种机器人标定方法、装置、设备及存储介质
US20230020476A1 (en) * 2021-07-15 2023-01-19 Mazor Robotics Ltd. Path planning based on work volume mapping
DE102021126484A1 (de) 2021-10-13 2023-04-13 B. Braun New Ventures GmbH Kalibrierungsverfahren zur automatisierten Kalibrierung von Kamera zu medizinischem Roboter und chirurgisches Assistenzsystem
US20230113312A1 (en) * 2021-10-13 2023-04-13 Mazor Robotics Ltd. Systems, methods, and devices for defining a path for a robotic arm
AU2022370478A1 (en) 2021-10-18 2024-05-02 Stryker European Operations Limited Attachment and system for tracking a surgical instrument
CN116965937A (zh) * 2022-04-23 2023-10-31 深圳市精锋医疗科技股份有限公司 手术机器人系统及其控制装置
WO2023230349A1 (en) 2022-05-26 2023-11-30 Stryker Corporation Alert system behavior based on localization awareness
WO2023235483A1 (en) 2022-06-03 2023-12-07 Mako Surgical Corp. Surgical robotic system with compliance mechanism
WO2024006578A2 (en) 2022-07-01 2024-01-04 Stryker Corporation Methods and systems for zone and implant planning for a surgical procedure
WO2024052881A1 (en) 2022-09-08 2024-03-14 Stryker European Operations Limited Systems and methods for associating components of a surgical instrument for navigation-assisted surgery
US20240138808A1 (en) * 2022-10-31 2024-05-02 Procept Biorobotics Corporation Fiducial systems for probe tracking and identification

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007041267A2 (en) * 2005-09-30 2007-04-12 Restoration Robotics, Inc. Automated systems and methods for harvesting and implanting follicular units
WO2008002830A2 (en) * 2006-06-29 2008-01-03 Intuitive Surgical, Inc. Surgical tool position and identification indicator displayed in a soundary area of a computer display screen
US20100274389A1 (en) * 2007-11-19 2010-10-28 Kuka Roboter Gmbh Device Comprising A Robot, Medical Work Station, And Method For Registering An Object
US20100290690A1 (en) * 2009-05-13 2010-11-18 Medtronic Navigation, Inc. System And Method For Automatic Registration Between An Image And A Subject
US8239001B2 (en) * 2003-10-17 2012-08-07 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
US20140180001A1 (en) * 2012-12-20 2014-06-26 avanteramedical GmBH Endoscope Comprising a System with Multiple Cameras for Use in Minimal-Invasive Surgery
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries
CN104185446A (zh) * 2011-12-30 2014-12-03 玛口外科股份有限公司 用于基于图像的机器人外科手术的系统
CN104736092A (zh) * 2012-08-03 2015-06-24 史赛克公司 用于机器人外科手术的系统和方法
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
CN105073054A (zh) * 2013-01-16 2015-11-18 史赛克公司 指示视线误差的导航系统和方法
CN105411678A (zh) * 2014-09-16 2016-03-23 X-Nav技术有限责任公司 医疗程序期间用于确定和追踪运动的系统
US20170189125A1 (en) * 2015-12-31 2017-07-06 Stryker Corporation System And Methods For Performing Surgery On A Patient At A Target Site Defined By A Virtual Object

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5662111A (en) 1991-01-28 1997-09-02 Cosman; Eric R. Process of stereotactic optical navigation
US6675040B1 (en) 1991-01-28 2004-01-06 Sherwood Services Ag Optical object tracking system
US5603318A (en) 1992-04-21 1997-02-18 University Of Utah Research Foundation Apparatus and method for photogrammetric surgical localization
US5732703A (en) 1992-11-30 1998-03-31 The Cleveland Clinic Foundation Stereotaxy wand and tool guide
US5682890A (en) 1995-01-26 1997-11-04 Picker International, Inc. Magnetic resonance stereotactic surgery with exoskeleton tissue stabilization
US6167296A (en) 1996-06-28 2000-12-26 The Board Of Trustees Of The Leland Stanford Junior University Method for volumetric image navigation
US5921992A (en) 1997-04-11 1999-07-13 Radionics, Inc. Method and system for frameless tool calibration
US6247812B1 (en) * 1997-09-25 2001-06-19 Vismed System and method for diagnosing and treating a target tissue
US6379302B1 (en) * 1999-10-28 2002-04-30 Surgical Navigation Technologies Inc. Navigation information overlay onto ultrasound imagery
US20010034530A1 (en) 2000-01-27 2001-10-25 Malackowski Donald W. Surgery system
US6484049B1 (en) 2000-04-28 2002-11-19 Ge Medical Systems Global Technology Company, Llc Fluoroscopic tracking and visualization system
WO2002029700A2 (en) 2000-10-05 2002-04-11 Siemens Corporate Research, Inc. Intra-operative image-guided neurosurgery with augmented reality visualization
US20030179308A1 (en) * 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US6978167B2 (en) 2002-07-01 2005-12-20 Claron Technology Inc. Video pose tracking system and method
US7155316B2 (en) 2002-08-13 2006-12-26 Microbotics Corporation Microsurgical robot system
US20110015521A1 (en) 2003-03-27 2011-01-20 Boulder Innovation Group, Inc. Means of Tracking Movement of Bodies During Medical Treatment
DE10343826B4 (de) 2003-09-22 2006-02-09 Plus-Endoprothetik Ag Knochenfester Lokator und Navigationssystem
US7623250B2 (en) 2005-02-04 2009-11-24 Stryker Leibinger Gmbh & Co. Kg. Enhanced shape characterization device and method
CA2826925C (en) * 2005-02-22 2017-01-24 Mako Surgical Corp. Haptic guidance system and method
US8073528B2 (en) * 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
CA2611404C (en) 2005-06-09 2016-01-12 Ife Industrielle Forschung Und Entwicklung Gmbh Device and method for the contactless determination of spatial position/orientation of bodies
GB2428110A (en) 2005-07-06 2007-01-17 Armstrong Healthcare Ltd A robot and method of registering a robot.
JP4153528B2 (ja) * 2006-03-10 2008-09-24 ファナック株式会社 ロボットシミュレーションのための装置、プログラム、記録媒体及び方法
WO2007113815A2 (en) 2006-03-30 2007-10-11 Activiews Ltd System and method for optical position measurement and guidance of a rigid or semi flexible tool to a target
WO2009045827A2 (en) 2007-09-30 2009-04-09 Intuitive Surgical, Inc. Methods and systems for tool locating and tool tracking robotic instruments in robotic surgical systems
DE102010042540B4 (de) 2010-10-15 2014-09-04 Scopis Gmbh Verfahren und Vorrichtung zum Kalibrieren einer Abstandsbestimmungsvorrichtung eines optischen Systems
US9370332B2 (en) * 2010-11-10 2016-06-21 Siemens Medical Solutions Usa, Inc. Robotic navigated nuclear probe imaging
US9119655B2 (en) 2012-08-03 2015-09-01 Stryker Corporation Surgical manipulator capable of controlling a surgical instrument in multiple modes
US9921712B2 (en) * 2010-12-29 2018-03-20 Mako Surgical Corp. System and method for providing substantially stable control of a surgical tool
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US9572539B2 (en) 2011-04-08 2017-02-21 Imactis Device and method for determining the position of an instrument in relation to medical images
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US10363102B2 (en) 2011-12-30 2019-07-30 Mako Surgical Corp. Integrated surgery method
DE102012208389A1 (de) 2012-05-18 2013-11-21 Fiagon Gmbh Registrierverfahren und -vorrichtung für ein Positionserfassungssystem
US20220346895A1 (en) * 2012-06-21 2022-11-03 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US9226796B2 (en) * 2012-08-03 2016-01-05 Stryker Corporation Method for detecting a disturbance as an energy applicator of a surgical instrument traverses a cutting path
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
US8848201B1 (en) * 2012-10-20 2014-09-30 Google Inc. Multi-modal three-dimensional scanning of objects
KR102218244B1 (ko) * 2012-12-10 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
CN105377174A (zh) 2013-02-11 2016-03-02 尼奥梅德兹有限责任公司 用于相对于身体跟踪对象的跟踪设备
KR20230173231A (ko) * 2013-03-11 2023-12-26 매직 립, 인코포레이티드 증강 및 가상 현실을 위한 시스템 및 방법
WO2014189969A1 (en) * 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
US9675419B2 (en) * 2013-08-21 2017-06-13 Brachium, Inc. System and method for automating medical procedures
CN105658167B (zh) 2013-08-23 2018-05-04 斯瑞克欧洲控股I公司 用来对用于手术导航的坐标转换进行确定的计算机实现技术
US10786309B2 (en) 2013-12-10 2020-09-29 Koninklijke Philips N.V. Radiation-free registration of an optical shape sensing system to an imaging system
EP3243476B1 (en) * 2014-03-24 2019-11-06 Auris Health, Inc. Systems and devices for catheter driving instinctiveness
US10912523B2 (en) * 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
CN111184577A (zh) * 2014-03-28 2020-05-22 直观外科手术操作公司 器械在视野中的定量三维可视化
US20170079723A1 (en) 2014-05-14 2017-03-23 Brainlab Ag Method for determining the spatial position of objects
WO2016126914A1 (en) * 2015-02-05 2016-08-11 Intuitive Surgical Operations, Inc. System and method for anatomical markers
US10499996B2 (en) * 2015-03-26 2019-12-10 Universidade De Coimbra Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
KR102488295B1 (ko) 2016-05-23 2023-01-16 마코 서지컬 코포레이션 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법
US10398514B2 (en) * 2016-08-16 2019-09-03 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239001B2 (en) * 2003-10-17 2012-08-07 Medtronic Navigation, Inc. Method and apparatus for surgical navigation
WO2007041267A2 (en) * 2005-09-30 2007-04-12 Restoration Robotics, Inc. Automated systems and methods for harvesting and implanting follicular units
WO2008002830A2 (en) * 2006-06-29 2008-01-03 Intuitive Surgical, Inc. Surgical tool position and identification indicator displayed in a soundary area of a computer display screen
US20100274389A1 (en) * 2007-11-19 2010-10-28 Kuka Roboter Gmbh Device Comprising A Robot, Medical Work Station, And Method For Registering An Object
US20100290690A1 (en) * 2009-05-13 2010-11-18 Medtronic Navigation, Inc. System And Method For Automatic Registration Between An Image And A Subject
CN104185446A (zh) * 2011-12-30 2014-12-03 玛口外科股份有限公司 用于基于图像的机器人外科手术的系统
CN104736092A (zh) * 2012-08-03 2015-06-24 史赛克公司 用于机器人外科手术的系统和方法
US20140180001A1 (en) * 2012-12-20 2014-06-26 avanteramedical GmBH Endoscope Comprising a System with Multiple Cameras for Use in Minimal-Invasive Surgery
CN105073054A (zh) * 2013-01-16 2015-11-18 史赛克公司 指示视线误差的导航系统和方法
US20140276943A1 (en) * 2013-03-13 2014-09-18 Stryker Corporation Systems and Methods for Establishing Virtual Constraint Boundaries
CN104994805A (zh) * 2013-03-13 2015-10-21 史赛克公司 用于建立虚拟约束边界的系统和方法
CN105050527A (zh) * 2013-03-15 2015-11-11 圣纳普医疗(巴巴多斯)公司 智能定位系统和用于其的方法
CN105411678A (zh) * 2014-09-16 2016-03-23 X-Nav技术有限责任公司 医疗程序期间用于确定和追踪运动的系统
US20170189125A1 (en) * 2015-12-31 2017-07-06 Stryker Corporation System And Methods For Performing Surgery On A Patient At A Target Site Defined By A Virtual Object

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112512757A (zh) * 2018-11-09 2021-03-16 欧姆龙株式会社 机器人控制装置、模拟方法以及模拟程序
CN109549705A (zh) * 2019-01-21 2019-04-02 华科精准（北京）医疗科技有限公司 一种手术机器人系统及其使用方法
CN109549705B (zh) * 2019-01-21 2024-04-26 华科精准（北京）医疗科技有限公司 一种手术机器人系统及其使用方法
CN109758234A (zh) * 2019-02-15 2019-05-17 哈尔滨工业大学 用于微创手术移动腹腔镜自动控制系统及其控制方法
CN113950301A (zh) * 2019-04-26 2022-01-18 康迈德机器人公司 用于计算机引导手术的系统
CN110251209A (zh) * 2019-05-24 2019-09-20 北京贝麦克斯科技有限公司 一种校正方法和装置
CN110533702A (zh) * 2019-08-12 2019-12-03 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN110533702B (zh) * 2019-08-12 2023-04-18 上海大学 一种基于光场多层折射模型的水下双目视觉立体匹配方法
CN110956633A (zh) * 2020-02-26 2020-04-03 南京安科医疗科技有限公司 一种基于虚拟立体定位像的快速ct扫描方法及系统
WO2021217713A1 (zh) * 2020-04-26 2021-11-04 深圳市鑫君特智能医疗器械有限公司 手术导航系统及执行手术导航方法的计算机与存储介质
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN111906784B (zh) * 2020-07-23 2023-04-07 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112155733B (zh) * 2020-09-29 2022-01-28 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112155733A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统
CN112402013A (zh) * 2020-11-20 2021-02-26 胡颖 自动识别超声影像的智能导航系统、电子装置及储存介质
WO2023078249A1 (zh) * 2021-11-02 2023-05-11 武汉联影智融医疗科技有限公司 一种手术机器人避障方法、系统、装置和存储介质
CN114378825A (zh) * 2022-01-21 2022-04-22 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN116919597A (zh) * 2023-09-15 2023-10-24 中南大学 基于多视觉融合采集信息的手术导航系统
CN116919597B (zh) * 2023-09-15 2023-12-26 中南大学 基于多视觉融合采集信息的手术导航系统
CN118181306A (zh) * 2024-05-17 2024-06-14 上海术之道医疗器械有限公司 机器人控制方法、装置、控制设备及可读取存储介质

Also Published As

Publication number Publication date
AU2022231780A1 (en) 2022-10-13
US20240156543A1 (en) 2024-05-16
JP7134872B2 (ja) 2022-09-12
EP3463164B1 (en) 2023-01-11
KR102488295B1 (ko) 2023-01-16
US11937881B2 (en) 2024-03-26
JP2022169764A (ja) 2022-11-09
AU2017269937B2 (en) 2022-06-16
WO2017205351A1 (en) 2017-11-30
CN109152615B (zh) 2021-08-17
EP4186458A1 (en) 2023-05-31
AU2017269937A1 (en) 2018-12-06
EP3463164A1 (en) 2019-04-10
US20200107887A1 (en) 2020-04-09
US10531926B2 (en) 2020-01-14
CA3025300A1 (en) 2017-11-30
KR20190010860A (ko) 2019-01-31
US20170333137A1 (en) 2017-11-23
CN113616332A (zh) 2021-11-09
JP2019523664A (ja) 2019-08-29

Similar Documents

Publication Publication Date Title
CN109152615A (zh) 在机器人手术过程期间识别和跟踪物理对象的系统和方法
US11103315B2 (en) Systems and methods of merging localization and vision data for object avoidance
US11918305B2 (en) Systems and methods for establishing virtual constraint boundaries
US20240050156A1 (en) Surgical Systems And Methods For Providing Surgical Guidance With A Head-Mounted Device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant