CN110621253A - 用于导航手术中的增强现实显示的系统和方法 - Google Patents

用于导航手术中的增强现实显示的系统和方法 Download PDF

Info

Publication number
CN110621253A
CN110621253A CN201880031884.3A CN201880031884A CN110621253A CN 110621253 A CN110621253 A CN 110621253A CN 201880031884 A CN201880031884 A CN 201880031884A CN 110621253 A CN110621253 A CN 110621253A
Authority
CN
China
Prior art keywords
dimensional space
orientation
real
anatomical structure
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880031884.3A
Other languages
English (en)
Inventor
理查德·T·凡森
安德鲁·N·哈迪奥
让·施华科夫
乔纳森·史密斯
卢克·A·W·贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellijoint Surgical Inc
Original Assignee
Intellijoint Surgical Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellijoint Surgical Inc filed Critical Intellijoint Surgical Inc
Publication of CN110621253A publication Critical patent/CN110621253A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery

Abstract

本发明提供一种用于为导航手术提供增强现实的系统和方法。在跟踪的解剖结构的图像上渲染并显示一个增强现实叠加层(例如由计算机生成的图像)。光学传感器单元提供与包括真实三维空间中的解剖结构的物体相关联的目标的跟踪图像以及其可见图像。对解剖结构进行配准，在计算三维空间中从真实三维空间中的姿势产生解剖结构的相应姿势。将计算三维空间中的叠加层姿势与解剖结构姿势对准，使得叠加层以所需姿势渲染在解剖结构的显示屏上。叠加层可从(三维)叠加层模型生成，例如物体、一般骨骼或患者特定骨骼、或其它解剖结构或物体的三维模型。叠加层可用于配准解剖结构。

Description

用于导航手术中的增强现实显示的系统和方法
交叉引用
本申请要求于2017年3月17日提交的美国临时专利申请62/472,705的美国国内优先权和巴黎公约优先权，在允许的情况下其全部内容通过引用结合在此。
技术领域
本公开涉及导航手术，在这种手术中跟踪诸如手术工具，假肢和患者解剖结构部分(例如骨骼)等物体的姿势并且确定并显示信息以辅助手术过程，更具体地说，本公开涉及一种用于增强现实的系统和方法，例如通过将计算机生成的图像叠加在该过程的实时可见图像上来进行。
背景技术
使用诸如光学、电磁等各种形态的导航手术系统在外科手术中用于获得关于物体(例如刚性物体和患者的解剖结构)的空间定位的信息。这种信息可在手术过程中实时显示在显示屏上，以辅助外科医生或其他专业人员。
导航手术系统执行将真实三维空间中被跟踪的物体配准到由系统维护的坐标系(例如计算三维空间)的任务。通过这种方式，物体的姿势(位置和朝向)可通过计算获知，并且可在系统中彼此关联。相对姿势信息可用于确定关于真实三维空间中的物体的各种测量值或其他参数。
发明内容
本发明提供了一种用于增强与患者相关的导航手术的现实的系统和方法。在跟踪解剖结构时，在患者的图像上渲染并显示一个增强现实(AR)叠加层(例如由计算机生成的图像)。光学传感器单元向系统提供与真实三维空间中的手术过程的视野中的物体相关联的目标的跟踪图像以及其可见图像。系统配准(register)解剖结构，在计算三维空间中从真实三维空间中的姿势产生解剖结构的相应姿势。将计算三维空间中的叠加层的姿势与解剖结构的姿势对准(align)，从而在对叠加层进行渲染并将其提供给解剖结构的显示屏时，叠加层处于所需位置。叠加层可从叠加层模型生成，例如物体、一般骨骼或患者特定骨骼、或其他解剖结构的三维模型。增强现实叠加层可用于辅助解剖结构的配准，例如通过将跟踪的解剖结构移动为与显示屏上渲染的叠加层对准，或者通过保持解剖结构的位置并移动真实三维空间中的与计算三维空间中的叠加层相关联的跟踪器从而移动叠加层来进行。在对准后，锁定操作捕获姿势并配准解剖结构。此后在跟踪时使叠加层与结构的姿势对准。
本发明还提供了一种通过计算机实现的用于提供与患者相关的增强现实的方法，该方法包括：至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野；从该一个或多个目标中的各个目标的图像确定跟踪信息；在由至少一个处理器维护的计算三维空间中使用与解剖结构相关联的相应目标的跟踪信息配准患者的解剖结构，从解剖结构在真实三维空间中的位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向；相对于解剖结构的对应位置和朝向将增强现实叠加层的叠加层模型对准到计算三维空间中的所需位置和朝向；并且渲染并提供增强现实叠加层，以在显示屏上按所需位置和朝向进行显示。
该方法可包括提供真实三维空间的图像以在显示屏上显示，以同时可视化解剖结构和增强现实叠加层。
该光学传感器单元可包括用于从光学传感器单元提供的真实三维空间的二维图像确定三维测量值的校准数据，并且该确定跟踪信息的步骤包括：该至少一个处理器使用该校准数据确定跟踪信息。
该方法可包括：实时地响应于解剖结构和光学传感器单元在真实三维空间中的相对移动，其中与解剖结构相关联的相应目标的姿势连续指示解剖结构在真实三维空间中的位置和朝向：使用从光学传感器单元接收的图像确定真实三维空间中的解剖结构的移动后位置和朝向；更新增强现实叠加层相对于解剖结构的移动后位置和朝向的对准，以确定增强现实叠加层的移动后所需位置和朝向；并且提供增强现实叠加层，以按移动后所需位置和朝向进行显示。与解剖结构相关联的相应目标1)附接至解剖结构，使得光学传感器单元和解剖结构中的一个或两个可在真实三维空间中自由移动，或2)附接至另一个物体，同时使解剖结构的位置在真实三维空间中保持恒定，并且光学传感器单元可在真实三维空间中自由移动。
真实三维空间的图像可包括放大的图像，并且增强现实叠加层被放大以与放大的图像相匹配。
该解剖结构可以是股骨，并且与解剖结构相关联的目标之一是附接至股骨的股骨目标。该叠加层模型可以是一般股骨或患者特定股骨模型的三维模型，并且增强现实叠加层是分别代表一般股骨或患者特定股骨的图像。
该解剖结构是骨盆，并且与该解剖结构相关的目标之一是骨盆目标。该叠加层模型可以是一般骨盆或患者特定骨盆模型的三维模型，并且该增强现实叠加层是分别代表一般骨盆或患者特定骨盆的图像。
该叠加层模型可以是机械轴模型，并且该增强现实叠加层是机械轴和/或另外的轴或平面的图像，其位置相对于解剖结构的机械轴的位置确定。该方法可包括：在解剖结构围绕解剖结构的一端旋转时，使用从目标图像获得的跟踪信息确定解剖结构的机械轴。该另外的轴和/或平面可以是切除平面。可响应于用户输入调整沿着机械轴模型的切除平面的位置，从而调整增强现实叠加层中的切除平面的所需位置和朝向。该骨骼可以是股骨。该方法可包括：在计算三维空间中配准患者的同一条腿的胫骨，该胫骨结合至该一个或多个目标的胫骨目标，该至少一个处理器确定胫骨在真实三维空间中的位置和朝向，以根据从胫骨目标的图像确定的跟踪信息产生胫骨在计算三维空间中的对应位置和朝向；相对于胫骨的对应位置和朝向将第二增强现实叠加层的第二叠加层模型对准到计算三维空间中的第二所需位置和朝向；并且提供第二增强现实叠加层，以在显示屏上按第二所需位置和朝向进行显示。配准胫骨可使用附接至探头的目标之一的图像，其中该探头识别胫骨上的用于限定胫骨的第一端的第一代表性位置以及患者的脚踝周围的用于限定胫骨的第二端和机械轴的第二标识位置。该方法可包括：跟踪胫骨在真实三维空间中的位置和朝向的移动；响应于胫骨在真实三维空间中的位置和朝向的移动更新胫骨的对应位置和朝向；更新第二增强现实叠加层相对于移动后的胫骨的位置和朝向的对准，以确定移动后的第二所需位置和朝向；并且提供第二增强现实叠加层，以按移动后的第二所需位置和朝向进行显示。该方法可包括：确定股骨的增强现实叠加层和胫骨的增强现实叠加层之中的每一个的位置，并指示彼此的相对位置，以表示接近和交叉之中的至少一个。
该光学传感器单元可按照以下项目之一配置：a)多光谱摄像头(提供可见和跟踪通道)；(b)双摄像头(提供各自的可见和跟踪频道)；(c)双成像器(使用棱镜分割可见光和跟踪通道)；以及(d)使用可见光的跟踪通道。
该解剖结构可通过外科手术修改，该叠加层模型可以是在通过假体植入物替换之前的一般人体解剖结构或患者特定人体解剖结构的三维模型，并且该增强现实叠加层是分别表示一般人体解剖结构或患者特定人体解剖结构的图像。该方法可包括提供患者的图像以在显示屏上显示，以同时可视化解剖结构和增强现实叠加层。
该叠加层模型可以是根据患者的术前图像定义的患者特定模型。
该患者的图像可显示患病的人体解剖结构，并且该叠加层模型可代表患病的人体解剖结构的未患病形态。
本发明还提供了一种通过计算机实现的用于提供与患者相关的增强现实的方法，该方法包括：至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野；从该一个或多个目标中的各个目标的图像确定跟踪信息；提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的图像；以及ii)增强现实叠加层的渲染图；其中，该增强现实叠加层是从叠加层模型定义的，并且在显示屏上显示时按光学传感器单元的视野内的初始位置和朝向显示；该至少一个处理器通过接收输入在计算三维空间中配准患者的解剖结构，以使用跟踪信息来捕获视野中的目标之一的姿势，该目标之一附接于解剖结构，该输入是在显示的解剖结构与增强现实叠加层的初始位置和朝向对准时接收的；并且其中该姿势限定解剖结构在真实三维空间中的位置和朝向，以产生解剖结构在计算三维空间中的对应位置和朝向；并且在计算三维空间中相对于解剖结构的对应位置和朝向关联增强现实叠加层的所需位置和朝向。
本发明还提供了一种通过计算机实现的用于提供与患者相关的增强现实的方法，该方法包括：至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从(单个)光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野；从该一个或多个目标中的各个目标的图像确定跟踪信息；提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的光学传感器图像；以及ii)增强现实叠加层的渲染图；其中该增强现实叠加层是从叠加层模型定义的，并且相对于光学传感器的视野中的叠加层目标的姿势按叠加层位置和朝向显示，该叠加层位置和朝向响应于叠加层目标在真实三维空间中的移动而移动；该至少一个处理器通过接收输入在计算三维空间中配准患者的解剖结构，以使用跟踪信息来捕获叠加层目标的配准锁定姿势和与解剖结构相关联的解剖结构目标的配准姿势，该输入是在该增强现实叠加层与解剖结构在真实三维空间中的初始位置和朝向对准时接收的；从解剖结构在真实三维空间中的初始位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向；并且在计算三维空间中相对于解剖结构的对应位置和朝向关联增强现实叠加层的所需位置和朝向，以便在随后渲染增强现实叠加层时使用。
与用于使用叠加层进行配准的这些方法相关联，该方法可分别进一步包括：实时地响应于解剖结构和光学传感器单元在真实三维空间中的相对移动，其中与解剖结构相关联的解剖结构目标的姿势连续指示解剖结构在真实三维空间中的位置和朝向：使用从光学传感器接收的图像确定解剖结构移动后位置和朝向；更新增强现实叠加层相对于解剖结构移动后位置和朝向的对准，以确定增强现实叠加层的移动后所需位置和朝向；以及响应于增强现实叠加层的移动后所需位置和朝向渲染并提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的图像；以及ii)增强现实叠加层。
该方法可分别进一步包括执行解剖结构的初始配准、增强现实叠加层向解剖结构的初始对准、以及初始渲染和提供，使得增强现实叠加层和解剖结构在显示时在三维空间的图像中未对准。
本发明提供了一种通过计算机实现的用于提供与患者相关的增强现实的方法，该方法包括：至少一个处理器接收包含真实三维空间中的患者、骨骼移除工具、以及与患者的解剖结构相关联的目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器具有包含患者和该目标的真实三维空间的视野；从目标的图像确定跟踪信息；在由该至少一个处理器维护的计算三维空间中使用与解剖结构相关联的相应目标的跟踪信息配准患者的解剖结构，从解剖结构在真实三维空间中的位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向；相对于解剖结构的对应位置和朝向将包括计划的植入位置的增强现实叠加层的叠加层模型对准到计算三维空间中的所需位置和朝向；并且渲染并提供计划的植入位置和真实三维空间的图像以在显示屏上显示，以同时可视化计划的植入位置和骨骼移除工具。
本发明还提供了一种通过计算机实现的用于提供与患者相关的增强现实的方法，该方法包括：至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野；从该一个或多个目标中的各个目标的图像确定跟踪信息；在由至少一个处理器维护的计算三维空间中使用与解剖结构相关联的相应目标的跟踪信息配准患者的解剖结构，从解剖结构在真实三维空间中的位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向；配准以下一项或多项：手术计划和工具；相对于解剖结构、手术计划和/或工具的对应位置和朝向将增强现实叠加层的相应叠加层模型对准到计算三维空间中的所需位置和朝向；根据接收的用户输入或背景信息确定所需显示信息；并且根据所需显示信息有选择地渲染并提供增强现实叠加层，以在显示屏上按所需位置和朝向显示。
本发明提供了一种导航手术系统，该导航手术系统包括计算单元、光学传感器单元和用于通过光学传感器单元跟踪物体的一个或多个目标，该光学传感器单元向计算单元提供用于该目标的跟踪信息的跟踪图像以及该光学传感器单元的视野中的手术过程的可见图像，该计算单元具有至少一个处理器，该处理器配置为执行本文该方法之中的任何一个方法。该导航手术系统可包括用于将光学传感器单元和跟踪器之一中的一个有选择性地、可移除且刚性地附接至患者的解剖结构的平台，该平台包括具有至少一个表面的主体，该至少一个表面配置为提供可光学跟踪的图案、可重复的光学传感器安装件、以及可重复的目标安装件，其中该可光学跟踪的图案在安装到该平台上时延伸到光学传感器单元的视野中。可光学跟踪的图案和可重复的目标安装件之间的空间关系是通过目标图案定义预先限定的。该计算单元可配置为：当光学传感器单元安装到平台时，接收包含可光学跟踪的图案特征的第一图像；执行操作以计算可光学跟踪的图案的姿势；执行操作以根据可光学跟踪的图案的姿势和目标图案定义来计算可重复的目标安装件的姿势；当将光学传感器单元从平台移除并将跟踪器之一安装到平台上时，接收第二图像，该第二图像包含安装到平台上的该跟踪器之一；并且跟踪附接有该跟踪器之一的解剖结构。
应理解，本发明还提供了平台的多个方面以及计算机程序产品的多个方面，其中设备以非暂时性方式存储指令，以将系统配置为在该指令由设备的至少一个处理器执行时执行该方法之中的任何一个方法。
在说明书中对“一个实施例”、“优选实施例”、“实施例”或“多个实施例”(或者“示例”或“多个示例”)的引用意味着结合该实施例/示例所说明的特定特征、结构、特性或功能包括在至少一个实施例/示例中，并且如果可以，可包含在不止一个实施例/示例中。而且，在说明书中的各个位置出现的这种短语不一定都指代相同的实施例/示例。
附图说明
图1是一种导航手术系统的示意图；
图2是用于在图1的导航手术系统中进行配准的轴系的示意图；
图3是一个示例的配准方法的流程图；
图4是显示模拟手术中的骨盆叠加层的屏幕截图；
图5示出了一个示例用于提供与患者相关的增强现实的操作的流程图；
图6A是GUI的屏幕截图，示出了显示有叠加层的捕获视频图像，图6B是图6A的视频图像和叠加层的草图，其中为了清楚起见，点画被放大显示；
图7示出了用于在如图6A所示的GUI中显示的捕获视频图像，其中叠加了切割平面，用于在模拟全膝关节成形术中起到引导作用；
图8A和8B分别示出了用于在如图6A所示的GUI中显示的捕获视频图像，图中示出了当膝关节从伸展形态运动到屈曲形态时结合至膝关节解剖结构(例如股骨)的目标，在膝关节的实时图像上示出了机械轴和切除平面；
图9A和9B是显示使用探头在三维空间中跟踪解剖结构并留下可用作AR叠加层的标记的屏幕截图；
图10示出了一个示例的提供与患者相关的增强现实以实现配准的操作的流程图；
图11示出了一个示例的提供与患者相关的增强现实以实现配准的操作的流程图；
图12A示出了一个示例的手术室草图，包括通过跟踪器跟踪解剖结构的摄像头(例如光学传感器单元)和手术工具；
图12B示出了一个示例的显示屏1220，该显示屏显示图12A的手术室的视频图像，包括叠加层；
图13A是一个示例的AR平台的俯视透视图；
图13B-C是一个示例的AR平台的侧视图，示出了如何使用图13A的AR平台以便于将光学传感器单元附接至解剖结构。
具体实施方式
导航手术系统实现一个刚性物体(例如器械、假体植入物、解剖结构等)相对于另一个刚性物体(例如另一个器械、患者的解剖结构等)的空间定位。Hladio等人于2014年3月14日提交的标题为“术中腿部位置测量系统与方法(System and Method for Intra-operative leg Position Measurement)”的PCT/CA2014/000241申请中更详细地说明了导航手术系统和相关方法的示例，该申请的全部内容通过引用结合在此。导航手术系统可具有各种形态(包括光学技术)，并且可使用主动或被动目标来提供被跟踪的刚性物体的姿势(位置和朝向)数据。如下文所述，可用叠加层来增强提供包含跟踪信息的图像和手术过程的可见图像的光学型系统，以辅助手术过程。可见图像是主要包括来自可见光谱的图像并且可显示在显示屏上以供人类用户感知的图像。
已知有用于配准物体(尤其是患者的解剖结构)的各种方法。于2016年9月1日公开的标题为“用于解剖配准和手术定位的系统、方法和装置(Systems,methods and devicesfor anatomical registration and surgical localization)”的美国专利申请公告US20160249987A1说明了一些配准方法，该专利申请公告通过引用结合在此。如该专利申请公告所述，配准方法必须很迅速，以免不必要地增加手术工作流程的持续时间，并且应足够精确。
下面说明使用增强现实来辅助该步骤以实现跟踪操作的另外一些配准方法。
导航系统中的增强现实
可通过显示屏向外科医生或其他用户呈现外科手术的实时可见图像上的增强现实叠加层(例如包括由计算机生成的图像)，以提供外科手术的增强现实视图。虽然这些系统在此是参照导航手术系统说明的，但是应理解，这些系统可用于临床或其他环境，并且不一定专用于外科手术，也可用于诊断或其他治疗目的。
可从待显示的物体的三维模型生成增强现实叠加层，或者形成其他形状和/或位置信息。物体可从医学图像数据定义，该医学图像数据可经过分割或预先处理。医学图像数据可表示一般解剖结构或患者特定解剖结构，例如骨骼或其他解剖结构。可从解剖结构的三维图像构建叠加层模型。可从CT、MRI或其他扫描形态等生成患者特定图像。一般叠加层模型可从解剖结构的扫描(例如其他患者或物体的扫描)构建，或者从CAD或其他计算机模型和/或渲染图等构建。
叠加层中表示的解剖结构可以是患病的解剖结构，并且可在患者的真实解剖结构或假体上显示。所表示的解剖结构可以是从患者的患病解剖结构构建的健康或患病前的解剖结构，如下所述。
待显示的其他物体可以是手术工具(例如夹具)，或者是形状、线、轴和/或平面(例如患者解剖结构平面或切割平面)的表示或其他几何特征等。
叠加层可包括目标参数。目标参数可基于手术计划(即，今天的外科医生所做的相同类型的计划)。其中的一个益处是，这样的参数允许从业人员参照真实患者(不仅仅是相对于医学图像)更好地将计划可视化。目标参数可基于植入物的所需/计划位置。全髋关节置换术(THA)的例子包括髋臼杯角、髋关节旋转中心、股骨头切除平面。膝关节的例子包括股骨远端和/或胫骨近端的切除平面。脊柱的例子包括椎体内的椎弓根螺钉的位置。目标参数可包括目标解剖结构的位置。神经外科的例子包括肿瘤在脑内的位置。
叠加层例如可在手术期间根据由导航手术系统收集的跟踪数据生成，并且可包括(a)三维扫描(例如来自激光器的结构光可投射到患者的表面上，并且由光学传感器单元检测，以限定三维扫描)和(b)三维“图”。
从结合至系统的计算单元的光学传感器单元获得实时可见图像，该光学传感器单元提供手术过程的可见图像以及用于跟踪光学传感器的视野中的物体的跟踪信息(跟踪图像)。光学传感器通常使用红外型传感技术来感测结合至被跟踪物体的目标。为了提供跟踪图像(即，跟踪信息)和可见图像，可按照以下项目之一配置光学传感器单元：
多光谱摄像头(提供可见和跟踪通道)
双摄像头(例如提供各自的可见和跟踪频道)
双成像器(使用棱镜分割可见光和跟踪通道)
使用可见光的跟踪通道
光学传感器单元可配置为单个单元。在捕获独立的跟踪图像和可见图像时，捕获跟踪图像的摄像头或成像器的视野优选与捕获可见图像的摄像头或成像器的视野相同，以避免跟踪图像与可见图像的对准。
在一些实施例中，增强现实叠加层与跟踪系统跟踪的患者的解剖结构相关联地显示。在显示时，随着解剖结构的相对姿势相对于光学传感器单元移动(例如由于结构移动或光学传感器单元移动)以及由此引起的结构在实时图像内移动，叠加层可跟随解剖结构并类似地移动。
图1示出了在THA中使用的导航手术系统100，其中光学传感器单元102附接至患者的解剖结构(例如骨盆104)并与工作站或术中计算单元106通信。目标108的姿势(位置和朝向)可由光学传感器单元102检测，并显示在术中计算单元106的图形用户界面(GUI)110上。目标108可附接至器械112或患者的解剖结构的一部分(例如附接至股骨)。在一些实施例中，使用可移除的目标。系统100可用于其他手术过程，并且可相应地调整，例如通过使用不同的仪器、将光学传感器单元附接至不同的解剖结构或其他表面(例如患者身体之外的其他表面)来进行。
在系统100内，光学传感器单元102提供来自其视野的实时图像以及视野中的目标的跟踪信息。
为了在THA中提供关于患者的解剖结构的电子引导信息，需要患者的解剖结构(例如骨盆)相对于系统100的空间坐标。需要进行配准以获得这样的坐标。解剖配准涉及在所关注的解剖结构与定位系统或导航手术系统之间产生数字位置或坐标映射。有多种已知的方法，例如可参考美国专利申请公告US20160249987A1，其中使用了轴系。在此简要复述其中的方法。
在此选择了在THA中特别有用的骨盆配准作为一个示例性实施例；但是应理解，这种说明适用于一般解剖结构和各种其他手术。在本公开中，传感器通常附接至患者的解剖结构的骨骼或者诸如手术台等稳定表面上。可通过传感器按最多六个自由度检测的目标位于被跟踪的物体(例如患者的解剖结构的其他骨骼、工具、假体等)上。但是，通常能够反转传感器和目标的位置(例如将目标固定在骨骼或稳定表面上，而将传感器附接至待跟踪的物体上)而不会损害功能，并且在此情况下应相应地解读本公开。应理解，光学传感器单元可安装在患者身体上或身体之外、或安装在外科医生或手术团队的其他成员身上，例如安装在头部或躯体上，或者拿在手上。从不同角度(视野)测量解剖结构的能力可能是有利的。在一些实施例中，光学传感器单元可位于器械/工具或机器人上。在一些实施例中，光学传感器、计算单元和显示屏可集成为单个组件，例如平板计算机。在一些实施例中，光学传感器单元和显示屏可以是集成的或分离的，但是配置为由用户佩戴，例如戴在用户的头上。
现在请参考图2，其中示出了被称为轴系202的装置，该装置可用于配准患者的解剖结构。轴系202可通过其形状限定轴，例如第一轴204、第二轴206和第三轴208。例如，轴系可包括限定三个轴的三根正交杆。光学传感器单元102附接至患者的解剖结构的骨盆104，并且通过电缆210与术中计算单元106通信。光学传感器单元跟踪附接至轴系202的目标108的位置信息。该信息用于测量患者的解剖轴的方向，以便构建配准坐标系。在使用时，通过精确的制造公差或校准过程，术中计算单元106可获知轴系202的轴与目标108之间的位置关系。
当轴系与患者对准时，其上的目标108被定位在光学传感器单元102的视野内，以便(从目标)捕获姿势信息。在此方面可考虑患者之间的解剖差异、以及光学传感器单元102在骨盆104上的定位的变化。光学传感器单元102可包括其他传感器，以辅助姿势测量。一个例子是加速度计(未示出)。可集成其他感测组件以辅助配准和/或姿势估算，作为加速度计的补充或替代。这种传感部件包括但不限于陀螺仪、倾角仪、磁力计等。这些传感部件优选是电子集成电路的形式。
轴系202和加速度计都可用于配准。由系统100捕获的光学和倾斜测量值需要由外科医生使用以准确地定位患者，或沿着患者的解剖结构的轴准确地对准轴系，或者进行这两种工作。可能需要提供进一步的独立信息，以便配准患者的解剖结构。例如，在THA中，可通过使用附接至可跟踪目标的探头捕获沿着髋臼边缘的至少三个点的位置来配准原生髋臼平面。在相对于骨盆定位植入物时，可相互结合或独立地呈现关于两种配准的信息——由工作站从轴系的光学测量值和倾斜测量值捕获的对准信息(主配准坐标系)，以及由工作站使用从患者的髋臼缘上的局部标志的光学测量值产生的参考平面捕获的对准信息(辅配准坐标系)。
应理解，光学传感器单元102的位置可位于能检测一个或多个目标的位置和朝向的其他位置。例如，光学传感器单元102可附接至手术台，握在外科医生的手中，安装到外科医生的头部等。第一目标可附接至患者的骨盆，第二目标可附接至配准装置(例如探头或轴系)。光学传感器单元102捕获两个目标的位置和朝向。工作站计算两个目标之间的位置和朝向的相对测量值。另外，光学传感器单元102捕获倾斜测量值、以及附着到患者的解剖结构上的第一目标的位置和朝向。然后工作站计算相对于第一目标的重力方向。使用两个目标之间的相对姿势测量值以及相对于附接到患者的解剖结构上的第一目标的重力方向，工作站能构建最多六个自由度(6DOF)的配准坐标系。
一种示例性使用方法(其操作300在图3的流程图中示出)可包括以下步骤：在步骤302中，定位患者，该位置对于外科医生是已知的。在步骤304中，在相对于解剖结构的任意位置和朝向处将传感器刚性地附接至骨盆。在步骤306中，传感器跟踪具有可跟踪目标的轴系。在步骤308中，当轴系被外科医生定位成与患者解剖结构的已知位置对准时，执行步骤310。计算单元捕获轴系的姿势。该姿势用于计算传感器与解剖结构之间的6DOF的配准坐标系。在步骤312中，移除和/或丢弃轴系，并根据配准坐标系计算定位器系统的后续位置测量值。
配准坐标系提供6DOF的计算三维空间，该计算三维空间与光学传感器单元102的视野中的真实三维空间相关联。该配准根据从真实三维空间的图像接收的姿势数据产生解剖结构在该计算三维空间中的对应位置和朝向。
光学传感器单元102可向系统100提供配置/校准数据，以将从传感器接收的目标的二维图像与三维姿势信息相关联，从而实现配准。在一些实施例中，光学传感器单元中的一个或多个透镜是“鱼眼”型透镜。因此，真实三维空间中的直线在真实三维空间的图像中可能看起来不直(由于鱼眼失真)。在显示之前根据校准数据对图像进行校正可能是有利的，这能使直线在图像中看起来平直，并使曲线的弯曲度正确。或者，在渲染增强现实叠加层时，渲染操作可应用传感器的失真模型(也由校准数据表示)，以根据传感器对准/捕获真实三维空间的方式使平直的三维模型看起来是不平直的。
在完成配准时，可相对于解剖结构在计算三维空间中的位置将增强现实叠加层对准到计算三维空间中的所需位置和朝向。对于通过三维模型建模的增强现实叠加层，这样可将叠加层模型与该空间对准。叠加层模型的对准可包括计算足够的变换(例如矩阵变换)，以将模型数据的姿势变换为所需姿势。然后渲染并提供增强现实叠加层，以在显示屏上按所需位置和朝向进行显示。
请参考图4，其中示出了骨盆叠加层，叠加层的所需姿势例如可以是解剖结构的姿势，从而叠加层可在显示屏上显示在解剖结构的实时图像上。
THA中的其他骨盆叠加层(未示出)可包括目标杯部位置。
图5示出了一个实施例的用于提供与患者相关的增强现实的操作500的流程图。在步骤502中，该操作通过至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从(单个)摄像头单元接收的，该摄像头单元具有包含患者和一个或多个目标的真实三维空间的视野。在步骤504中，该操作从该一个或多个目标中的各个目标的图像确定跟踪器信息。在步骤506中，该操作在由该至少一个处理器维护的计算三维空间中使用与解剖结构相关联的相应目标的跟踪器信息配准患者的解剖结构，从解剖结构在真实三维空间中的位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向。
在步骤508中，该操作相对于解剖结构的对应位置和朝向将增强现实叠加层的三维模型对准到计算三维空间中的所需位置和朝向。在步骤510中，该操作渲染并提供增强现实叠加层，以在显示屏上按所需位置和朝向进行显示。
叠加层的显示可用于验证配准是否正确。如果叠加层没有像预期的那样在显示屏上对准，那么可通过相同方式或其他方式重复配准。可以采用相应的方式对准不同类型的叠加层。例如，基于骨骼的叠加层与相应的患者骨骼对准。基于平面或轴的叠加层与患者平面或轴等对准。如下文中所进一步说明的，可使用增强现实叠加层按照其他方法进行配准。
应理解，在配准后，可以改变光学传感器单元和解剖结构的相对姿势。例如，如果目标附接至骨盆或以其他方式与之相关联(即，在目标与被跟踪的物体之间没有相对运动)，那么可以移动光学传感器单元，以改变其视野。如果目标仍处于在视野中，则可跟踪骨盆，并且在显示实时图像时，叠加层会跟随骨盆。如果目标在骨盆上，那么可以移动骨盆以获得相同的效果。例如，实时地响应于解剖结构和光学传感器单元在真实三维空间中的相对移动，其中与解剖结构相关联的相应目标的姿势连续指示解剖结构在真实三维空间中的位置和朝向，计算单元可使用从光学传感器单元接收的图像确定解剖结构的移动后位置和朝向，相对于解剖结构的移动后位置和朝向更新增强现实叠加层的对准，以确定增强现实叠加层的移动后所需位置和朝向；并且提供增强现实叠加层，以按移动后所需位置和朝向进行显示。
应理解，根据手术过程期间所采用的目标配置，可限制解剖结构和光学传感器单元的相对运动。如果目标附接至解剖结构从而结构的移动使目标移动，那么可移动结构。如果结构以另一种方式相关联(例如该目标结合至静止结构(例如OR台))并且该关联是概念性的，假定与目标相关联的解剖结构在跟踪期间不移动，那么该结构将在真实三维空间中保持其初始配准位置，而光学传感器单元可单独移动。
应理解，无论是在THA手术还是全膝关节成形术(TKA)手术中，都可跟踪其他骨骼，例如股骨。可使用与股骨相关联的股骨目标来配准股骨(未示出)。可呈现股骨叠加层，将其三维模型对准到与股骨在计算三维空间中的对应位置相关联的所需位置。图6A是GUI的屏幕截图600，示出了捕获视频图像602，在视频图像中在股骨上显示有术前股骨的叠加层604以及捕获的替换植入物606(在模拟手术中)。术前股骨的叠加层604是使用点画(点)限定的，透过这些点画(点)能观察在实时视频图像中捕获的解剖结构和植入物606。图6B是图6A的视频图像602和叠加层604的草图，其中为了清楚起见，对点画进行了放大。图6A和6B还示出了跟踪器608和平台610，光学传感器单元可安装在平台610上。
如前文所述，叠加层可以是患者特定的，表示患病或未患病的患者解剖结构(例如患病前的解剖结构)。可从在手术之前获得的患者的扫描图像(在其中患者表现出疾病)来构建患病的解剖学叠加层。可通过在至少一些疾病发作之前对患者进行的历史扫描或者从表现出疾病但经过编辑或通过其他方式预处理(例如表面填充、表面去除或缩减等)的较近期的扫描来构建患病前的解剖叠加层，以限定没有疾病的解剖结构。在第一示例中，解剖结构是膝关节，疾病是退行性关节炎(主要是软骨磨损)。对膝关节图像(例如计算机断层扫描(CT)或磁共振成像(MRI)扫描图像)进行处理，并识别软骨磨损区域，并通过基于任何周围健康组织的差值来虚拟地填充。在第二示例中，解剖结构是髋关节，疾病是退行性关节炎，包括骨刺增生(例如髋臼内和/或髋臼外)。出现骨刺前的髋关节的几何形状是根据周围的正常骨骼结构确定的，并且还可能是从健康骨骼的模板确定的。
可在手术期间的任何时间在患者的解剖结构上显示增强现实叠加层。例如，可在解剖结构的治疗(例如主要手术切口、脱位、一部分骨骼的移除、植入物或工具的插入)之前显示增强现实叠加层，或者在治疗之后显示增强现实叠加层，例如在治疗后的解剖结构(例如图6A-6B，其中治疗后的解剖结构可包含植入物)上显示。
在一个示例中，手术是全膝关节成形术，手术目标是运动对准。解剖结构是股骨，所生成的叠加层是股骨远端。可从表示患关节炎之前的膝关节的叠加层模型生成叠加层。该计算机实现的方法提供了一个在股骨试验期间(即，在将临时植入物配装到切除的股骨远端以确认是否相配时)显示与临时植入物相关的叠加层(包含患关节炎之前的股骨远端)的步骤。运动膝关节置换的目标是准确地替换被切除的骨，同时针对关节炎疾病的影响进行调节。包括真实的临时(或正式)植入物以及患关节炎之前的解剖结构的叠加层的真实三维空间的视图为外科医生提供关于手术的运动对准目标的实现程度以及是否应调整对准的信息。
在三维叠加层是机械轴或相对于患者的机械轴显示的其他轴或平面的情况下，计算单元106计算机械轴。
虽然在附图中未示出，但是被跟踪的骨骼(例如股骨)可围绕其第一端旋转(例如在髋臼内旋转)。可根据从光学传感器单元102接收的跟踪信息捕获旋转。例如，可通过在探头触及膝关节附近的点时跟踪探头来接收股骨的第二端位置。可接收探头的姿势并且确定计算三维空间中的位置。可通过计算单元106根据计算三维空间中的旋转中心和探头的姿势来确定机械轴。
可从机械轴确定其他平面，例如切除平面。该切除可显示角度和深度。因此，该三维模型可以是机械轴模型，并且该增强现实叠加层可以是机械轴和/或另外的轴或平面的图像，其该位置相对于解剖结构的机械轴的位置确定。图7示出了用于在如图6A所示的GUI中显示的剪裁捕获视频图像700，其中叠加了显示髋关节中心的切割平面702和机械轴704，用于在模拟全膝关节成形术中起到引导作用。
切除平面的初始位置可由计算单元106根据预设数据(示例限定为距末端X毫米)或者从接收的输入(例如通过下拉菜单或输入表格(均未示出)接收的输入)确定。可响应于接收的输入按增量或绝对方式等移动初始位置，从而调整增强现实叠加层中的切除平面的所需位置和朝向。还可定义初始角度和调整角度。
例如，对于TKA，还可配准胫骨(未示出)和为胫骨确定的机械轴，例如通过探测膝关节内的胫骨上的点以提供第一端部位置并通过探测脚踝端周围的点以提供第二末端位置来进行。还可按参照股骨说明的方式渲染和显示胫骨叠加层。可相对于机械轴实时提供两种骨骼的叠加层，并且可在膝关节的运动范围进行跟踪。可显示一个或两个叠加层。针对膝关节应用的股骨和胫骨叠加层可显示或确认股骨远端和胫骨近端(股骨：内翻/外翻、斜面；胫骨：内翻/外翻，斜面)处的所需骨骼切口(角度和深度)。图8A和8B分别示出了用于在如图6A所示的GUI上显示的捕获视频图像800和810，其中示出了当膝关节从伸展形态运动到屈曲形态时结合至膝关节解剖结构(例如股骨)的目标802，在膝关节的实时图像上示出了机械轴804和切除平面806。图6A、7和8A-8B的捕获图像中的解剖结构是用于模拟手术的物理模型。
虽然在附图中未示出，但是可按放大方式显示真实三维空间的可见图像，例如，自动放大或者在关注区域上输入时放大。可通过计算单元或其他处理装置进行缩放，使得摄像头的视野不缩小，并且目标离开视野。例如，当在一系列运动中跟踪膝关节时，膝关节的放大视图是有帮助的。该视图在显示时不需要包含跟踪器。然后相应地以放大方式缩放(渲染)增强现实叠加层。放大视图可1)锁定到成像器的特定区域，或2)相对于解剖结构锁定到特定区域(即，在一系列运动中自适应地跟随膝关节)。
两个叠加层(例如对于股骨和胫骨)可在视觉上为不同颜色。股骨和胫骨的相对运动以及所渲染的相应叠加层可示出或确认预先计划参数，以确保相对位置不过于接近并且没有交叉。计算单元可确定每个叠加层的位置并指示相对位置，以指示接近和交叉中的至少一个。例如，当相对位置(距离)低于阈值时，可突出显示两个叠加层之间的邻近区域。突出显示可包括低于阈值的叠加层区域的颜色变化。
在一些实施例中，可在手术过程期间定义叠加层，例如通过捕获由跟踪仪器(例如探头)在物体上追踪时识别的多个位置来进行。物体可以是患者解剖结构的一部分，并且解剖结构的跟踪部分不一定是在跟踪时被跟踪的部分。
图9A和9B示出了绘图的捕获(没有传感器的视野和相关联的解剖结构的实时图像)。可调用计算单元106来捕获位置并存储位置，从而定义三维模型。可调用按钮或其他输入装置来发起捕获。在一个实施例中，按钮/输入可在捕获期间处于保持状态，在释放时停止捕获。
增强现实辅助配准
增强现实叠加层可辅助患者解剖结构的配准。在一个实施例中，可在显示屏上投影叠加层(显示在患者解剖结构的实时图像上)。目标被结合至要在计算三维空间中配准的解剖结构。例如，患者的结构可以是股骨，并且叠加层可以是股骨叠加层。然后将股骨移动为与叠加层对准，然后将股骨的姿势锁定或与计算三维空间中的叠加层的当前姿势相关联。随后，股骨叠加层跟随股骨和光学传感器单元在真实三维空间中的相对移动。举例来说，对于THA，光学传感器单元102可结合至骨盆104，并且骨盆104以如前文所述的方式配准到系统100。光学传感器单元102朝向股骨，目标结合至光学传感器单元102的视野中的股骨。显示叠加层。
系统100限定计算三维空间中的叠加层的初始或配准姿势。初始姿势可以是相对于光学传感器单元或配准轴或相对于附接至股骨的目标的位置的默认位置。可保持叠加层的这个初始姿势，并移动股骨使其与叠加层对准，然后“锁定”，例如通过系统100接收用户输入以捕获股骨目标的当前姿势来进行。如果先前进行了的配准但是不够精确(例如因为叠加层和解剖结构看起来没有在显示屏上对准)，那么可使用该方法进行重新配准，即，通过移动患者解剖结构(具有目标的结构)同时使叠加层保持当前姿势来调整当前配准，直到解剖结构和叠加层在显示屏上对准。可调用系统以使叠加层保持不动或从被跟踪的解剖结构或脱离，使得初始姿势是计算三维空间中的叠加层的当前姿势，直到解剖结构被对准，并调用系统以锁定向叠加层移动的解剖结构的姿势。此后，解剖结构相对于光学传感器单元的移动会使叠加层如上所述地在显示屏上移动。
外科医生能看到“系统”所认为的股骨轴的位置与股骨轴的视觉上的位置的叠加，并使它们对准。
增强现实叠加层可基于医学图像，或者可由描述股骨(或其他适用的解剖结构)的线/平面/轴组成。
可通过旋转髋臼或髋臼杯中的股骨并捕获股骨目标的足够姿势以确定旋转中心的位置来执行股骨旋转中心的计算。然后该位置可用作股骨配准标志。
在另一个实施例中，在患者解剖结构在真实三维空间中保持静止时，与待配准的解剖结构相关联的叠加层显示在解剖结构上。计算三维空间中的叠加层的姿势与传感器的视野中的目标(例如具有目标的配准轴系或具有目标的另一个器械、或者仅仅是目标本身)相关联，从而目标在真实三维空间中的移动会使叠加层的姿势移动。将目标附接至另一个机械物体(例如轴系或探头等器械)可辅助精确位置对准。当叠加层与解剖结构对准时，解剖结构的姿势就在计算三维空间中被配准，并且叠加层的姿势与解剖结构相关联或被锁定。锁定可响应于接收的用户输入，以捕获当前姿势。
叠加层在计算三维空间中的初始位置以及由此显示的初始位置可相对于视野中的叠加层目标的当前姿势。
若先前已进行了配准但是确定为未对准(参见上文中参照骨盆叠加层的说明和图4)，则初始位置可以是叠加层在计算三维空间中的当前位置。真实三维空间中的叠加层目标的姿势与叠加层的初始位置相关联，并且叠加层目标的移动会使叠加层在计算三维空间中移动并如此显示，直到其被对准。在对准时，可按上文所述将其锁定。
这些实施例中的初始配准和配准调整(即，移动叠加层或移动结构)按最多6DOF进行。
图10示出了一个实施例的提供与患者相关的增强现实以实现配准的操作的流程图1000。在此实施例中，移动解剖结构以与增强现实叠加层对准，以实现将解剖结构配准到导航手术系统。在1002处，至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野。在1004处，从该一个或多个目标中的各个目标的图像确定跟踪信息。
在1006处，计算单元提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的图像；以及ii)增强现实叠加层的渲染图。增强现实叠加层是从三维模型定义的，并且在显示屏上显示时按光学传感器单元的视野内的初始位置和朝向显示。在1008处，通过接收输入在计算三维空间中配准患者的解剖结构，以使用跟踪信息来捕获视野中的目标的姿势，该目标附接于解剖结构，该输入是在显示的解剖结构与增强现实叠加层的初始位置和朝向对准时接收的。该姿势限定解剖结构在真实三维空间中的位置和朝向，以产生解剖结构在计算三维空间中的对应位置和朝向。
在1010处，将增强现实叠加层的所需位置和朝向与解剖结构的对应位置和朝向相关联。
应理解，当在真实三维空间中有相对移动时，叠加层会相应地移动。例如，实时地响应于解剖结构和光学传感器单元在真实三维空间中的相对移动，其中附接至解剖结构的解剖结构目标的姿势连续指示解剖结构在真实三维空间中的位置和朝向，该至少一个处理器会：通过使用跟踪信息跟踪解剖结构在真实三维空间中的位置和朝向来更新解剖结构的对应位置和朝向；相对于更新后的解剖结构的对应位置和朝向更新增强现实叠加层的所需位置和朝向；以及响应于更新后的增强现实叠加层的所需位置和朝向渲染并提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的图像；以及ii)增强现实叠加层。
图11示出了用于提供与患者相关的增强现实以实现配准的操作的流程图1100。在1102处，至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，该图像是从单个光学传感器单元接收的，该光学传感器单元具有包含患者和一个或多个目标的真实三维空间的视野。在1104处，从该一个或多个目标中的各个目标的图像确定跟踪信息。在1106处，计算单元提供以下项目，以在显示屏上同时显示：i)来自光学传感器的真实三维空间的光学传感器图像；以及ii)增强现实叠加层的渲染图。该增强现实叠加层是从三维模型定义的，并且相对于光学传感器的视野中的叠加层目标的姿势按叠加层位置和朝向显示，该叠加层位置和朝向响应于叠加层目标在真实三维空间中的移动而移动。
在1108处，通过接收输入在计算三维空间中配准患者的解剖结构，以使用跟踪信息来捕获叠加层目标的配准锁定姿势和与解剖结构相关联的解剖结构目标的配准姿势，该输入是在该增强现实叠加层与解剖结构在真实三维空间中的初始位置和朝向对准时接收的；从解剖结构在真实三维空间中的初始位置和朝向产生解剖结构在计算三维空间中的对应位置和朝向。
在1110处，在计算三维空间中相对于解剖结构的对应位置和朝向关联增强现实叠加层的所需位置和朝向，以便在随后渲染增强现实叠加层时使用。
然后，该操作可如前文所述跟踪和移动叠加层。
针对计划位置的增强现实叠加层
在许多示例中可采用增强现实叠加层。请参考图12A和12B，另一个示例涉及将植入物(例如髋臼部件或固定螺钉)置于计划位置的外科手术。图12A示出了手术室1200的草图，包括通过跟踪器1206跟踪解剖结构1204的摄像头和手术工具1208。手术工具1208是钻头。叠加层可包含植入物的计划位置，该计划位置基于如前文所述的解剖结构1204的(先前)配准。在一个示例中，执行软件工作流程的外科手术导航系统可提供用于手术过程的骨骼移除步骤的特征，以准备骨骼，以便接收植入物(例如髋臼扩孔或螺钉导向孔钻孔)。用于该步骤的手术导航引导可包括在去除骨骼期间显示(例如持续地显示)植入物的计划位置与三维空间的真实视图的叠加图，以通过可视地指示真实骨骼移除工具(例如铰刀或钻头)相对于计划的植入物位置是否正确定位来可视地引导外科医生。图12B是显示屏1220的示图，示出了手术室1200的视频图像1221，该视频图像1221包含从摄像头1202的视点呈现(并且在视野1210内)的解剖结构1204。视频图像1221还示出了手术工具1208的一部分以及表示处于计划位置的固定螺钉的叠加层1222。应理解，虽然视频图像1221充满显示屏1220，但是也可在屏幕的一部分上显示。这个增强现实叠加层示例可能是有利的，因为它不需要跟踪与外科手术工具1208相关联的目标来实现位置引导。
AR平台
图13A是AR平台1300的俯视透视图，图13B-C是AR平台1300的侧视图，示出了如何使用AR平台1300以便于将光学传感器单元附接至解剖结构(在图13A-13C中未示出)以实现手术期间的某些用途，同时允许移除光学传感器单元(例如手持)以实现增强现实显示的目的。AR平台1300包括具有至少一个表面(例如表面1304和1306)的主体1302，该表面具有可光学跟踪的图案1308、可重复的光学传感器安装件1310以及可重复的目标安装件1312。AR平台1300可具有可重复的解剖结构安装件1314(例如在下侧表面上)以安装到配合安装件1316上，该配合安装件1316可被驱入解剖结构中或以其他方式固定到其上。
AR平台1300将刚性地安装到患者的解剖结构上。可光学跟踪的图案1308与可重复的目标安装件1312之间的空间关系是预先定义的，并且该目标-图案定义可在增强现实导航系统的计算单元上的存储器(在图13A-13C中未示出)中访问。当光学传感器单元1318在可重复的光学传感器安装件1310处安装到AR平台1300上时，可光学跟踪的图案1308处于该光学传感器的视野中。可光学跟踪的图案1308仅占据视野的一部分，从而光学传感器单元1318仍然能够检测其视野内的其他物体(例如其他目标)。计算单元接收包含可光学跟踪的图案特征的图像，并执行操作以计算可光学跟踪的图案的姿势。计算单元执行操作以根据可光学跟踪的图案的姿势和目标图案定义来计算可重复的目标安装件的姿势。图13C示出了将目标1320安装到可重复的跟踪器安装件1312，例如以便能够手持光学传感器单元1318，但仍然能跟踪附接有AR平台1300以及目标1320的解剖结构。
因此，在一种操作模式中，光学传感器单元1318可经由AR平台1300刚性地附接到患者的解剖结构上。计算三维空间可与光学传感器单元1318相关联。在增强现实操作模式中，光学传感器单元1318可从其可重复的光学传感器安装件1310移除，并且目标1320可在其可重复的目标安装件1312上安装在AR平台1300上。当光学传感器单元1318安装到AR平台1300上时，计算三维空间的关联可通过光学传感器单元1318和目标1320的相对姿势以及计算的光学传感器单元1318与可重复的目标安装件1312的关系从光学传感器单元1318传递至目标1320(通过在计算单元上执行的操作)。
因此，系统可按两种操作模式操作，其中单个计算三维空间与患者相关联：其中一个操作模式是光学传感器单元1318安装到患者体内(例如用于导航目的，例如THA中的髋臼植入物对准)；另一个操作模式是光学传感器单元1318不在患者身上，但是跟踪器1230安装在患者身上(例如用于增强现实目的)。
除了将解剖结构配准到计算三维空间之外，还可将工具配准到计算三维空间，并且可提供基于工具的增强现实叠加层。
增强现实导航系统(以及任何相关方法)可提供用于显示的视觉信息，包括：a)真实三维空间；b)解剖结构的增强现实叠加层(注意：该叠加层可能有不同的变化形式。例如，当前解剖结构与疾病前解剖结构)；c)工具的增强现实叠加层；以及手术计划的增强现实叠加层(例如计划的植入物位置)。这些信息可按各种组合方式显示。
手术计划可包括植入物相对于解剖结构的计划姿势(例如髋臼植入物相对于患者骨盆的计划姿势)。或者，手术计划可包括“安全区”，该“安全区”表明一个临床上可接受的空间区域或角度(例如限定相对于骨盆的可接受的髋臼植入角度的“Lewinnek安全区”，或者，在另一个示例中，是距可能受损的关键解剖结构(例如脊髓)足够远的区域。
由于视觉信息量可能对观察者来说是难以承受的，因此该计算机实现的方法可有选择性地提供视觉信息。例如，真实三维空间、解剖结构叠加层、工具叠加层和平面叠加层中的每一个可包括所显示的合成图像的层，并且可由用户打开或关闭(例如使用结合至光学传感器的按钮、通过语音命令或通过GUI或其他控制装置)。在另一个示例中，该计算机实现的方法可访问背景信息(例如在外科工作流程中正在执行的步骤是由用户的软件工作流程的哪个步骤检测的)，并且基于背景信息自动设置层。例如，在外科工作流程的验证步骤期间，该计算机实现的方法可被编程为显示真实三维空间(包含植入物的真实视图)和外科手术计划层，使观察者能直观地将植入物的真实视图与其计划位置比较。在该视图中，会抑制解剖结构和/或工具叠加层，以避免提供过多的视觉信息。
在一个示例中，用于修改所显示的信息的背景信息是光学传感器的姿势。光学传感器单元的姿势可表明观看者所需的显示。光学传感器单元的姿态可以是相对于目标的或相对于惯性系的(例如重力方向，假设光学传感器单元增强有重力感测能力)。
在一个示例中，提供外科手术计划的增强现实叠加层。该计算机实现的方法可通信地结合至手术计划模块。手术计划模块有助于实时改变手术计划，并且可相应地更新手术计划的增强现实叠加层。例如，手术计划可以是植入物相对于骨骼的姿势。在手术期间，可能需要将植入物相对于骨骼的初始姿势改变为更新姿势。在这种情况下，在增强现实叠加层包括植入物相对于骨骼的姿势时，叠加层会响应于计划的改变而从初始姿势更新为更新姿势。
在一个示例中，光学传感器单元结合至(或包括)重力感测装置，并且为显示设置叠加层，以表示重力方向。
权利要求的范围不应受这些示例性实施例的限制，而是应总体地按照说明书以最宽泛的方式来解读。

Claims (31)

1.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：
由至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的所述真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和一个或多个目标的所述真实三维空间的视野；
从所述一个或多个目标中的各个目标的所述图像确定跟踪信息；
在由所述至少一个处理器维护的计算三维空间中使用与所述解剖结构相关联的相应目标的跟踪信息配准所述患者的解剖结构，从所述解剖结构在所述真实三维空间中的位置和朝向产生所述解剖结构在所述计算三维空间中的对应位置和朝向；
相对于所述解剖结构的所述对应位置和朝向，将增强现实叠加层的叠加层模型对准到所述计算三维空间中的所需位置和朝向；和
渲染并提供所述增强现实叠加层，以在显示屏上按所述所需位置和朝向进行显示。
2.根据权利要求1所述的方法，包括提供所述真实三维空间的所述图像以在所述显示屏上显示，以同时可视化所述解剖结构和所述增强现实叠加层。
3.根据权利要求1和2中任一项所述的方法，其中所述光学传感器单元包括校准数据，以从所述光学传感器单元提供的所述真实三维空间的二维的所述图像来确定三维测量值，并且所述确定跟踪信息的步骤包括：由所述至少一个处理器使用所述校准数据以确定所述跟踪信息。
4.根据权利要求1至3中任一项所述的方法，包括：实时地响应于所述解剖结构和所述光学传感器单元在所述真实三维空间中的相对移动，其中与所述解剖结构相关联的所述相应目标的姿势连续地指示所述解剖结构在所述真实三维空间中的位置和朝向：
使用从所述光学传感器单元接收的所述图像来确定所述真实三维空间中的所述解剖结构的移动后位置和朝向；
更新所述增强现实叠加层相对于所述解剖结构的所述移动后位置和朝向的对准，以确定所述增强现实叠加层的移动后所需位置和朝向；和
提供所述增强现实叠加层，以按所述移动后所需位置和朝向进行显示。
5.根据权利要求4所述的方法，其中与所述解剖结构相关联的所述相应目标：1)附接至所述解剖结构，使得所述光学传感器单元和解剖结构中的一个或两个在所述真实三维空间中能够自由移动，或2)附接至另一个物体，同时使解剖结构的位置在所述真实三维空间中保持恒定，并且所述光学传感器单元在所述真实三维空间中能够自由移动。
6.根据权利要求1至5中任一项所述的方法，其中所述真实三维空间的所述图像包括放大图像，并且所述增强现实叠加层被放大以与所述放大图像相匹配。
7.根据权利要求1至6中任一项所述的方法，其中所述解剖结构是股骨，并且与所述解剖结构相关联的目标之一是附接至所述股骨的股骨目标。
8.根据权利要求7所述的方法，其中所述叠加层模型是一般股骨或患者特定股骨模型的三维模型，并且所述增强现实叠加层是分别代表一般股骨或患者特定股骨的图像。
9.根据权利要求1至6中任一项所述的方法，其中所述解剖结构是骨盆，并且与所述解剖结构相关联的所述目标是骨盆目标。
10.根据权利要求9所述的方法，其中所述叠加层模型是一般骨盆或患者特定骨盆模型的三维模型，并且所述增强现实叠加层是分别代表一般骨盆或患者特定骨盆的图像。
11.根据权利要求1至6中任一项所述的方法，其中所述叠加层模型是机械轴模型，并且所述增强现实叠加层是机械轴和/或另外的轴或平面的图像，其位置相对于所述解剖结构的机械轴的位置确定。
12.根据权利要求11所述的方法，包括：在所述解剖结构围绕所述解剖结构的一端旋转时，使用从目标图像获得的跟踪信息来确定所述解剖结构的所述机械轴。
13.根据权利要求12所述的方法，其中所述另外的轴和/或平面是切除平面。
14.根据权利要求13所述的方法，其中沿着所述机械轴模型的所述切除平面的位置能够响应于用户输入而调整，从而调整所述增强现实叠加层中的所述切除平面的所述所需位置和朝向。
15.根据权利要求11至14中任一项所述的方法，其中所述骨骼是股骨。
16.根据权利要求15所述的方法，包括：
在所述计算三维空间中配准所述患者的同一条腿的胫骨，所述胫骨结合至所述一个或多个目标的胫骨目标，所述至少一个处理器确定所述胫骨在所述真实三维空间中的位置和朝向以根据从所述胫骨目标的图像确定的跟踪信息来产生所述胫骨在所述计算三维空间中的对应位置和朝向；
相对于所述胫骨的所述对应位置和朝向，将第二增强现实叠加层的第二叠加层模型对准到所述计算三维空间中的第二所需位置和朝向；
提供所述第二增强现实叠加层，以在所述显示屏上按所述第二所需位置和朝向进行显示。
17.根据权利要求16所述的方法，其中所述配准使用附接至探头的目标之一的图像，其中所述探头识别所述胫骨上的用于限定所述胫骨的第一端的第一代表性位置以及所述患者的脚踝周围的用于限定所述胫骨的第二端和机械轴的第二标识位置。
18.根据权利要求16所述的方法，包括：
跟踪所述胫骨在所述真实三维空间中的所述位置和朝向的移动；
响应于所述胫骨在所述真实三维空间中的所述位置和朝向的所述移动而更新所述胫骨的所述对应位置和朝向；
更新所述第二增强现实叠加层相对于移动后的所述胫骨的所述位置和朝向的所述对准，以确定移动后的所述第二所需位置和朝向；和
提供所述第二增强现实叠加层，以按移动后的所述第二所需位置和朝向进行显示。
19.根据权利要求18所述的方法，包括：确定所述股骨的所述增强现实叠加层和所述胫骨的所述增强现实叠加层之中的每一个增强现实叠加层的位置，并指示彼此的相对位置，以表示接近和交叉之中的至少一者。
20.根据权利要求1至19中任一项所述的方法，其中所述光学传感器单元包括按以下之一配置的单个单元：
多光谱摄像头(提供可见和跟踪通道)；
双摄像头(提供各自的可见和跟踪频道)；
双成像器(使用棱镜以分割可见光和跟踪通道)；和
使用可见光的跟踪通道。
21.根据权利要求1至20中任一项所述的方法，其中所述解剖结构通过外科手术修改，并且其中所述叠加层模型是在通过假体植入物替换之前的一般人体解剖结构或患者特定人体解剖结构的三维模型，并且所述增强现实叠加层是分别表示一般人体解剖结构或患者特定人体解剖结构的图像；并且其中所述方法包括提供所述患者的图像以在所述显示屏上显示，以同时可视化所述解剖结构和所述增强现实叠加层。
22.根据权利要求1至21中任一项所述的方法，其中所述叠加层模型是从所述患者的术前图像定义的三维模型。
23.根据权利要求1至6中任一项所述的方法，其中所述叠加层模型是从所述患者的术前图像定义的三维模型，并且所述患者的所述术前图像显示患病的人体解剖结构，并且其中所述叠加层模型表示所述患病的人体解剖结构在未患病时的形态。
24.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：
由至少一个处理器接收包含真实三维空间中的所述患者以及与相应物体和/或所述患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和一个或多个目标的所述真实三维空间的视野；
从所述一个或多个目标中的各个目标的所述图像确定跟踪信息；
提供以下项目以在显示屏上同时显示：i)来自所述光学传感器的所述真实三维空间的图像；和ii)增强现实叠加层的渲染图；其中所述增强现实叠加层是从计算三维空间中的叠加层模型定义的，并且在所述显示屏上显示时按所述光学传感器单元的视野内的初始位置和朝向显示；
由所述至少一个处理器通过接收输入在所述计算三维空间中配准所述患者的解剖结构，以使用跟踪信息来捕获所述视野中的目标之一的姿势，所述目标之一附接于所述解剖结构，所述输入是在显示的所述解剖结构与所述增强现实叠加层的所述初始位置和朝向对准时接收的；并且其中所述姿势限定所述解剖结构在所述真实三维空间中的位置和朝向，以产生所述解剖结构在所述计算三维空间中的对应位置和朝向；和
在所述计算三维空间中相对于所述解剖结构的所述对应位置和朝向关联所述增强现实叠加层的所需位置和朝向。
25.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：
由至少一个处理器接收包含真实三维空间中的所述患者以及与相应物体和/或所述患者的解剖结构相关联的一个或多个目标的真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和一个或多个目标的所述真实三维空间的视野；
从所述一个或多个目标中的各个目标的所述图像确定跟踪信息；
提供以下项目以在显示屏上同时显示：i)来自所述光学传感器单元的所述真实三维空间的光学传感器图像；和ii)增强现实叠加层的渲染图；其中所述增强现实叠加层是从计算三维空间中的叠加层模型定义的，并且相对于所述光学传感器单元的所述视野中的叠加层目标的姿势按叠加层位置和朝向显示，所述叠加层位置和朝向响应于所述叠加层目标在所述真实三维空间中的移动而移动；
由所述至少一个处理器通过接收输入在所述计算三维空间中配准所述患者的解剖结构，以使用跟踪信息来捕获所述叠加层目标的配准锁定姿势和与所述解剖结构相关联的解剖结构目标的配准姿势，所述输入是在所述增强现实叠加层与所述解剖结构在所述真实三维空间中的初始位置和朝向对准时接收的以影响对准；从所述解剖结构在所述真实三维空间中的初始位置和朝向产生所述解剖结构在所述计算三维空间中的对应位置和朝向；
在所述计算三维空间中相对于所述解剖结构的所述对应位置和朝向关联所述增强现实叠加层的所需位置和朝向，以便在随后渲染所述增强现实叠加层时使用。
26.根据权利要求24或25所述的方法，包括：实时地响应于所述解剖结构和所述光学传感器单元在所述真实三维空间中的相对移动，其中与所述解剖结构相关联的所述解剖结构目标的姿势连续地指示所述解剖结构在所述真实三维空间中的位置和朝向：
使用从所述光学传感器单元接收的所述图像来确定所述解剖结构的移动后位置和朝向；
更新所述增强现实叠加层相对于所述解剖结构的所述移动后位置和朝向的对准，以确定所述增强现实叠加层的移动后所需位置和朝向；和
响应于所述增强现实叠加层的所述移动后所需位置和朝向而渲染并提供以下项目以在所述显示屏上同时显示：i)来自所述光学传感器单元的所述真实三维空间的图像；和ii)所述增强现实叠加层。
27.根据权利要求24或25所述的方法，包括执行所述解剖结构的初始配准、所述增强现实叠加层向所述解剖结构的初始对准、以及初始渲染和提供，使得所述增强现实叠加层和解剖结构在显示时在所述真实三维空间的所述图像中未对准。
28.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：
由至少一个处理器接收包含真实三维空间中的所述患者、骨骼移除工具、以及与所述患者的解剖结构相关联的目标的真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和所述目标的所述真实三维空间的视野；
从所述目标的所述图像确定跟踪信息；
在由所述至少一个处理器维护的计算三维空间中使用与所述解剖结构相关联的相应目标的跟踪信息来配准所述患者的所述解剖结构，从所述解剖结构在所述真实三维空间中的位置和朝向产生所述解剖结构在所述计算三维空间中的对应位置和朝向；
相对于所述解剖结构的所述对应位置和朝向将包括计划的植入位置的增强现实叠加层的叠加层模型对准到所述计算三维空间中的所需位置和朝向；和
渲染并提供所述计划的植入位置和所述真实三维空间的所述图像以在显示屏上显示，以同时可视化所述计划的植入位置和所述骨骼移除工具。
29.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：
由至少一个处理器接收包含真实三维空间中的所述患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的所述真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和一个或多个目标的所述真实三维空间的视野；
从所述一个或多个目标中的各个目标的所述图像确定跟踪信息；
在由所述至少一个处理器维护的计算三维空间中使用与所述解剖结构相关联的相应目标的跟踪信息来配准所述患者的解剖结构，从所述解剖结构在所述真实三维空间中的位置和朝向产生所述解剖结构在所述计算三维空间中的对应位置和朝向；
配准以下一项或多项：手术计划和工具；
相对于所述解剖结构、所述手术计划和/或所述工具的所述对应位置和朝向，将增强现实叠加层的相应叠加层模型对准到所述计算三维空间中的所需位置和朝向；
基于接收用户输入或背景信息来确定所需显示信息；和
基于所述所需显示信息来有选择地渲染并提供所述增强现实叠加层，以在显示屏上按所述所需位置和朝向显示。
30.一种导航手术系统，所述导航手术系统包括计算单元、光学传感器单元和用于通过所述光学传感器单元跟踪物体的一个或多个目标，所述光学传感器单元向所述计算单元提供具有用于所述目标的跟踪信息的跟踪图像以及所述光学传感器单元的视野中的手术过程的可见图像，所述计算单元具有至少一个处理器，所述处理器被配置为执行如权利要求1至29中任一项所述的方法。
31.根据权利要求30所述的导航手术系统，包括：
用于将所述光学传感器单元和所述跟踪器之一中的一个有选择性地、可移除且刚性地附接至所述患者的解剖结构的平台，所述平台包括具有至少一个表面的主体，所述至少一个表面被配置为提供可光学跟踪的图案、可重复的光学传感器安装件、以及可重复的目标安装件，其中所述可光学跟踪的图案在安装到所述平台上时延伸到所述光学传感器单元的视野中；并且其中：
所述可光学跟踪的图案与所述可重复的目标安装件之间的空间关系是通过目标图案定义预先限定的；并且
所述计算单元被配置为：
当所述光学传感器单元安装到所述平台时，接收包含所述可光学跟踪的图案特征的第一图像；
执行操作以计算所述可光学跟踪的图案的姿势；
执行操作以基于所述可光学跟踪的图案的姿势和所述目标图案定义来计算所述可重复的目标安装件的姿势；
当将所述光学传感器单元从所述平台移除并将所述跟踪器之一安装到所述平台上时，接收第二图像，所述第二图像包含安装到所述平台上的所述跟踪器之一；并且
跟踪附接有所述跟踪器之一的所述解剖结构。
CN201880031884.3A 2017-03-17 2018-03-16 用于导航手术中的增强现实显示的系统和方法 Pending CN110621253A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762472705P 2017-03-17 2017-03-17
US62/472,705 2017-03-17
PCT/CA2018/050323 WO2018165767A1 (en) 2017-03-17 2018-03-16 Systems and methods for augmented reality display in navigated surgeries

Publications (1)

Publication Number Publication Date
CN110621253A true CN110621253A (zh) 2019-12-27

Family

ID=63521755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880031884.3A Pending CN110621253A (zh) 2017-03-17 2018-03-16 用于导航手术中的增强现实显示的系统和方法

Country Status (4)

Country Link
US (1) US20210121237A1 (zh)
JP (2) JP2020511239A (zh)
CN (1) CN110621253A (zh)
WO (1) WO2018165767A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111134841A (zh) * 2020-01-08 2020-05-12 北京天智航医疗科技股份有限公司 髋关节置换术中配准骨盆的方法及配准工具
CN111345898A (zh) * 2020-03-18 2020-06-30 上海交通大学医学院附属第九人民医院 激光手术路径引导方法、及其计算机设备和系统
CN111658065A (zh) * 2020-05-12 2020-09-15 北京航空航天大学 一种下颌骨切削手术的数字化引导系统
CN111938700A (zh) * 2020-08-21 2020-11-17 电子科技大学 基于人体解剖结构实时匹配的超声探头引导系统及方法
CN113243990A (zh) * 2020-01-28 2021-08-13 格罗伯斯医疗有限公司 手术系统
CN114098797A (zh) * 2020-08-26 2022-03-01 通用电气精准医疗有限责任公司 用于提供解剖取向指示符的方法和系统
CN115363751A (zh) * 2022-08-12 2022-11-22 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US10874466B2 (en) 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US10470645B2 (en) 2017-05-22 2019-11-12 Gustav Lo Imaging system and method
WO2019040493A1 (en) * 2017-08-21 2019-02-28 The Trustees Of Columbia University In The City Of New York SYSTEMS AND METHODS FOR AUGMENTED REALITY GUIDANCE
EP3810013A1 (en) 2018-06-19 2021-04-28 Tornier, Inc. Neural network for recommendation of shoulder surgery type
JP6970154B2 (ja) * 2018-10-10 2021-11-24 グローバス メディカル インコーポレイティッド 追跡マーカーを備えた手術用ロボットオートメーション
KR20220048973A (ko) 2019-05-29 2022-04-20 스티븐 비. 머피 수술에서 증강 현실을 이용하기 위한 시스템들 및 방법들
US11288802B2 (en) 2019-07-17 2022-03-29 Gustav Lo Systems and methods for displaying augmented anatomical features
US10832486B1 (en) 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
WO2022072296A1 (en) * 2020-10-02 2022-04-07 Gustav Lo Systems and methods for displaying augmented anatomical features
FR3120940B1 (fr) * 2021-03-17 2023-07-28 Institut Hospitalo Univ De Strasbourg Procédé d’imagerie médicale mettant en œuvre une caméra hyperspectrale
CN113509264A (zh) * 2021-04-01 2021-10-19 上海复拓知达医疗科技有限公司 一种基于校正物体在空间中位置的增强现实系统、方法及计算机可读存储介质
US20230018541A1 (en) * 2021-07-08 2023-01-19 Videntium, Inc. Augmented/mixed reality system and method for orthopaedic arthroplasty
WO2023064429A1 (en) * 2021-10-13 2023-04-20 Smith & Nephew, Inc. Dual mode structured light camera
WO2023159104A2 (en) * 2022-02-16 2023-08-24 Monogram Orthopaedics Inc. Implant placement guides and methods
WO2023158878A1 (en) * 2022-02-21 2023-08-24 Trustees Of Dartmouth College Intraoperative stereovision-based vertebral position monitoring
US20230355309A1 (en) * 2022-05-03 2023-11-09 Proprio, Inc. Methods and systems for determining alignment parameters of a surgical target, such as a spine

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105263409A (zh) * 2013-03-15 2016-01-20 智能联合外科公司 用于手术中腿部位置测量的系统和方法
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
US20170071673A1 (en) * 2015-09-11 2017-03-16 AOD Holdings, LLC Intraoperative Systems and Methods for Determining and Providing for Display a Virtual Image Overlaid onto a Visual Image of a Bone

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2228043T3 (es) * 1998-05-28 2005-04-01 Orthosoft, Inc. Sistema quirurgico interactivo asistido por ordenador.
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
JP5216949B2 (ja) * 2008-06-04 2013-06-19 国立大学法人 東京大学 手術支援装置
US10842461B2 (en) * 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US20140168264A1 (en) * 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US11086970B2 (en) * 2013-03-13 2021-08-10 Blue Belt Technologies, Inc. Systems and methods for using generic anatomy models in surgical planning
US10070929B2 (en) * 2013-06-11 2018-09-11 Atsushi Tanji Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
US10758198B2 (en) * 2014-02-25 2020-09-01 DePuy Synthes Products, Inc. Systems and methods for intra-operative image analysis
US10070120B2 (en) * 2014-09-17 2018-09-04 Qualcomm Incorporated Optical see-through display calibration
US20170017301A1 (en) * 2015-07-16 2017-01-19 Hand Held Products, Inc. Adjusting dimensioning results using augmented reality
WO2017204832A1 (en) * 2016-05-27 2017-11-30 Mako Surgical Corp. Preoperative planning and associated intraoperative registration for a surgical system
US10410422B2 (en) * 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105919547A (zh) * 2011-05-13 2016-09-07 直观外科手术操作公司 提供用于图像引导的外科手术的解剖结构的模型的动态配准的医疗系统
CN105263409A (zh) * 2013-03-15 2016-01-20 智能联合外科公司 用于手术中腿部位置测量的系统和方法
US20170071673A1 (en) * 2015-09-11 2017-03-16 AOD Holdings, LLC Intraoperative Systems and Methods for Determining and Providing for Display a Virtual Image Overlaid onto a Visual Image of a Bone

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111134841A (zh) * 2020-01-08 2020-05-12 北京天智航医疗科技股份有限公司 髋关节置换术中配准骨盆的方法及配准工具
CN111134841B (zh) * 2020-01-08 2022-04-22 北京天智航医疗科技股份有限公司 髋关节置换术中配准骨盆的方法及配准工具
CN113243990A (zh) * 2020-01-28 2021-08-13 格罗伯斯医疗有限公司 手术系统
CN111345898A (zh) * 2020-03-18 2020-06-30 上海交通大学医学院附属第九人民医院 激光手术路径引导方法、及其计算机设备和系统
CN111658065A (zh) * 2020-05-12 2020-09-15 北京航空航天大学 一种下颌骨切削手术的数字化引导系统
CN111938700A (zh) * 2020-08-21 2020-11-17 电子科技大学 基于人体解剖结构实时匹配的超声探头引导系统及方法
CN114098797A (zh) * 2020-08-26 2022-03-01 通用电气精准医疗有限责任公司 用于提供解剖取向指示符的方法和系统
CN115363751A (zh) * 2022-08-12 2022-11-22 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法
CN115363751B (zh) * 2022-08-12 2023-05-16 华平祥晟(上海)医疗科技有限公司 术中解剖结构指示方法

Also Published As

Publication number Publication date
JP2020511239A (ja) 2020-04-16
WO2018165767A1 (en) 2018-09-20
JP2022133440A (ja) 2022-09-13
US20210121237A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
CN110621253A (zh) 用于导航手术中的增强现实显示的系统和方法
AU2018316092B2 (en) Systems and methods for sensory augmentation in medical procedures
US10398514B2 (en) Systems and methods for sensory augmentation in medical procedures
US20240050156A1 (en) Surgical Systems And Methods For Providing Surgical Guidance With A Head-Mounted Device
US10786307B2 (en) Patient-matched surgical component and methods of use
CN109069208B (zh) 用于无线超声跟踪和通信的超宽带定位
CA3027964C (en) Robotized system for femoroacetabular impingement resurfacing
US10973580B2 (en) Method and system for planning and performing arthroplasty procedures using motion-capture data
US20200038112A1 (en) Method for augmenting a surgical field with virtual guidance content
EP2723270B1 (en) On-board tool tracking system of computer assisted surgery
JP2022535738A (ja) 外科手術に拡張現実を利用するためのシステム及び方法
US20180071032A1 (en) Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera
US7660623B2 (en) Six degree of freedom alignment display for medical procedures
US20230355312A1 (en) Method and system for computer guided surgery
EP1523950A1 (en) Apparatus for surgical navigation of a multiple piece construct for implantation
WO2016065459A1 (en) Devices, systems and methods for natural feature tracking of surgical tools and other objects
Philip et al. Stereo augmented reality in the surgical microscope
KR20220141308A (ko) 의료 시술에서 감각 증강을 위한 시스템 및 방법
TW202402246A (zh) 手術導航系統及其使用方法
US20230018541A1 (en) Augmented/mixed reality system and method for orthopaedic arthroplasty
US20230233257A1 (en) Augmented reality headset systems and methods for surgical planning and guidance
USRE49930E1 (en) Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191227