CN111356395A - 用于在程序期间帮助可视化的系统和方法 - Google Patents

用于在程序期间帮助可视化的系统和方法 Download PDF

Info

Publication number
CN111356395A
CN111356395A CN201880074295.3A CN201880074295A CN111356395A CN 111356395 A CN111356395 A CN 111356395A CN 201880074295 A CN201880074295 A CN 201880074295A CN 111356395 A CN111356395 A CN 111356395A
Authority
CN
China
Prior art keywords
subject
view
instrument
camera
view screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880074295.3A
Other languages
English (en)
Inventor
K·A·戈德温
J·B·希索恩
C·S·凯勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Medtronic Xomed LLC
Original Assignee
Medtronic Xomed LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Medtronic Xomed LLC filed Critical Medtronic Xomed LLC
Publication of CN111356395A publication Critical patent/CN111356395A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363—Use of fiducial points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3954—Markers, e.g. radio-opaque or breast lesions markers magnetic, e.g. NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966—Radiopaque markers visible in an X-ray image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Otolaryngology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

一种系统，其可经操作以允许使用关于与覆盖其上的受试者分离的至少一个物体的信息来查看物理受试者。所述系统包括视图屏幕。所述系统进一步能够确定所述物体相对于所述受试者的位置。

Description

用于在程序期间帮助可视化的系统和方法
技术领域
本公开涉及执行程序，并且特定而言涉及将图像空间与真实或受试者空间配准。
背景技术
在所选择的程序期间，用户可获取基于根据受试者的图像数据的受试者的图像。通常，可使用各种成像技术或系统来获取图像数据，并且可重构图像数据以供用户在远离手术区定位的显示装置(如，平板或平板屏幕、阴极射线管等)上查看。手术区可与用于执行所选择的程序的受试者，如人类患者相关。举例来说，可执行窦程序并且可在不覆盖受试者的显示装置上显示受试者的窦的图像。
程序可进一步包括如用内窥镜直接查看关注区或手术区的至少一部分。内窥镜可将相机定位在所选择的位置，如在鼻或可触及的窦腔内。内窥镜在所选择的解剖区域内的各个位置处可具有有限的移动范围和/或视场。
发明内容
此部分提供对本公开的整体概述，并且并非是其全部范围或所有其特征的详尽公开内容。
在各种实施例中，可相对于受试者的一部分定位器械以执行程序。受试者可包括有生命的受试者或无生命的受试者。在各种实施例中，有生命的受试者可包括人类，并且可相对于鼻道和/或窦腔执行正在执行的程序。举例来说，可发生球囊窦扩张手术，如使用由在明尼苏达州(Minnesota)具有营业地点的美敦力有限公司(Medtronic，Inc.)出售的
Figure BDA0002493974660000011
EM球囊窦扩张系统执行的程序。应理解，不需要用电磁(EM)导航器械来执行窦扩张，然而，用充气器械来扩张窦可包括包含各种充气和扩展特征的器械，如
Figure BDA0002493974660000012
窦扩张手术。
在各种实施例中，程序可发生在受试者的手术区中。手术区可为特定或有限的区域或体积，在所述区域或体积上正在执行程序或相对于所述区域或体积正在执行程序。手术区也可被称为关注区或在其中包括关注区。在各种实施例中，例如，可对人类受试者的窦进行手术，如用于执行清创术、扩张术或其它适当的程序。程序可在手术区内发生，而关注区可包括患者或颅骨的整个头部。
对窦执行的手术通常可为低侵入性或非开放性程序。在低侵入性程序中，使用各种自然体腔如鼻道来进入窦。因此，在进入窦时，用户可看不到器械的操作端。
用于执行程序的器械可包括被配置为或可经操作为由跟踪系统跟踪的跟踪装置。在各种实施例中，跟踪系统可包括视觉或光学跟踪系统，所述视觉或光学跟踪系统如通过查看或记录来跟踪器械上的跟踪装置。然后，包括处理器系统的导航或跟踪系统可基于操作端与跟踪装置之间的已知和/或预定几何关系来确定操作端相对于跟踪装置的位置。
跟踪系统可包括相对于显示装置定位的一个或多个相机或光学跟踪装置。显示装置可包括透明或半透明的视图屏幕。视图屏幕可相对于用户定位，如允许用户通过视图屏幕查看受试者。视图屏幕可安装到允许用户将视图屏幕穿戴在相对靠近用户眼睛的结构上，使得视图屏幕填充用户视场的全部或相当大部分。然后可在视图屏幕上显示显示的图像，以允许用户在查看图像的同时还查看受试者。器械的跟踪位置或其至少一部分(如操作端)也可使用视图屏幕显示在显示器上。因此，相机可与用户穿戴的装置相关联，以允许确定器械相对于手术区和/或手术区中的关注区的位置，并且通过显示器械的跟踪位置来叠加在图像上或增强用户对受试者的查看。
系统可包括查看部分或系统和跟踪部分。查看部分可查看真实受试者(例如，受试者)和显示的图像。因此，查看系统可为增强现实查看系统。除此之外或作为替代，查看系统可包括与受试者分离或隔开的视图屏幕或监视器。另外，可使用所选择的成像系统(如内窥镜)实时捕获图像。内窥镜可相对于受试者定位，如在鼻道和/或窦内，并且可将使用内窥镜获取的图像与在手术程序之前获取的受试者的视图同时显示。因此，查看系统可用于显示和查看实时和预先获取的图像。可使用各种技术(如本文另外描述的那些技术)将两种类型的图像与受试者配准。
根据本文所提供的具体实施方式，其它应用领域将变得显而易见。此发明内容中的描述和特定实例预期仅出于说明的目的，并且并不旨在限制本公开的范围。
附图说明
本文中所描述的图仅出于说明选定实施例而非所有可能实施方案的目的，并且并不只在限制本公开的范围。
图1为用户和查看系统的环境视图；
图2A为根据各种实施例的包括器械的关注区的真实/物理世界视图；
图2B为根据各种实施例的包括器械的关注区的真实/物理世界视图；
图3A为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看点；
图3B为根据各种实施例的查看真实/物理世界和至少一个显示图标的用户的查看点；
图3C为根据各种实施例的使用显示装置查看至少一个显示图标和实时图像的用户的查看点的显示；和
图4为示出显示系统的操作的流程图。
对应附图标记贯穿附图的若干视图指示对应部分。
具体实施方式
现将参考附图更充分地描述实例实施例。
参考图1，在手术室或手术房间10中，如外科医生12的用户可对如患者14的受试者执行程序，所述受试者可躺在病床或支撑架15上或由其支撑。患者14可限定患者纵向轴线141。为了帮助执行程序，用户12可使用成像系统16来获取患者14的图像数据，以允许所选择的系统生成或创建图像来帮助执行程序。成像系统16可包括任何适当的成像系统，如计算机断层扫描(CT)成像器、由美敦力有限公司出售的
Figure BDA0002493974660000041
成像系统和/或由在意大利维罗纳(Verona，Italy)具有营业地点的NewTom出售的
Figure BDA0002493974660000042
VGi evo锥形束成像器。
可使用图像数据生成模型(如三维(3D)图像)。生成的模型可在显示装置20上显示为图像18。除显示装置18之外或作为替代，可显示由成像系统16捕获的投影图像(例如，2Dx射线投影)。此外，可向用户12提供或由其使用增强视图屏幕(AV)或显示装置21。如本文中另外讨论的，AV 21可由用户12穿戴。此外，如本文所讨论的，AV 21也可被称为查看系统，即用于查看各种物体的集成系统或系统的一部分。
显示装置20或增强视图屏幕21中的任一个或两个都可为处理器系统22的一部分和/或连接到所述处理器系统22，所述处理器系统22包括输入装置24(输入装置可包括键盘、鼠标、用于语音输入的麦克风和来自相机的输入)和处理器26(其可包括与处理系统22结合的一个或多个处理器或微处理器，以及所选择的类型的非暂时性和/或暂时性存储器27。可在处理器26与显示装置20或增强视图屏幕21之间提供连接28，用于数据通信，以允许驱动显示装置20显示或示出图像18。
如上文所讨论，成像系统16可包括由在美国科罗拉多州路易斯维尔(Louisville，CO，USA)具有营业地点的美敦力导航有限公司(MedtronicNavigation，Inc.)出售的
Figure BDA0002493974660000043
成像系统。包括
Figure BDA0002493974660000044
成像系统的成像系统16或其它适当的成像系统可在所选择的程序期间使用，如美国专利号8,238,631；9,411,057；和9,807,860中描述的成像系统，所述专利全部以引用的方式并入本文中。成像系统16可用于在使用AV 21之前或期间获取患者14的图像数据。
当例如包括
Figure BDA0002493974660000051
成像系统时，成像系统16可包括包含控制器和/或控制系统32的移动推车30。控制系统可包括处理器33a和存储器33b(例如，非暂时性存储器)。存储器33b可包括由处理器33a执行以控制成像系统(包括成像系统16的各个部分)的各种指令。
其中定位有源单元36和检测器38的成像台架34可连接到移动推车30。台架34可为O形或环形的，其中台架34为基本上环形的，并且包括形成源单元36和检测器38可在其中移动的体积的壁。移动推车30可从一个手术室移动到另一手术室，并且台架34可相对于推车30移动，如本文中另外讨论的。这允许成像系统16相对于受试者14为移动的和可移动的，从而允许其在多个位置和以多种程序使用，而不需要专用于成像系统的资本支出或空间。控制系统可包括处理器33a(其可为通用处理器或特定的应用程序处理器)和存储器系统33b(例如，非暂时性存储器，如旋转盘或固态非易失性存储器)。举例来说，存储器系统可包括待由处理器执行以执行功能并且确定结果的指令，如本文所讨论的。
源单元36可为x射线发射器，其可发射穿过患者14的x射线以由检测器38检测。如本领域的技术人员所理解的，由源36发射的x射线可以锥形发射并且由检测器38检测。源36/检测器单元38通常在台架34内在直径上相对。检测器38可在台架34内围绕患者14以360°运动移动，而源36保持与检测器38大致180°相对(如，使用固定的内部台架或移动系统)。此外，台架34可相对于可放置在患者支撑架或工作台15上的受试者14通常在如图1中所示的箭头40的方向上等距移动。台架34还可相对于患者14倾斜，如箭头42所示，相对于患者14的纵向轴线14L和推车30沿线44纵向移动，可相对于推车30并且横向于患者14通常沿线46上下移动，以允许源36/检测器38相对于患者14定位。可精确地控制成像装置16以相对于患者14移动源36/检测器38，以生成患者14的精确图像数据。成像装置16可经由连接50与处理器26连接，所述连接50可包括从成像系统16到处理器26的有线或无线连接或物理介质传输。因此，使用成像系统16收集的图像数据可传输到处理系统22用于导航、显示、重构等。
源36可为任何适当的x射线源，如多功率x射线源。然而，应理解，成像系统16可为任何适当的成像系统，如磁共振成像(MRI)系统、C型臂x射线成像系统；计算机断层扫描(CT)成像系统等。然而，使用所选择的成像系统获取的图像数据和/或图像可显示在显示装置20、21中的一个或多个上。
另外应理解，在对患者14执行程序之前，可以操作成像系统16以获取图像数据和/或图像。举例来说，可获取和研究图像以诊断和/或计划用于患者14的程序。因此，对患者14执行程序的用户12不需要在与正在执行的程序相同的房间中使用成像系统16。
根据各种实施例，成像系统16可与跟踪系统和导航系统一起使用，所述跟踪系统和导航系统包括如本文所讨论的各个部分，可经操作以跟踪成像装置16和/或其它部分的位置。跟踪系统可包括定位器和/或数字化器，包括光学定位器60和电磁定位器62中的任一个或两个，可用于在相对于患者14的导航域内生成场和/或接收和/或发送信号。相对于患者14的导航空间或导航域可与图像18配准。如本领域中所理解的，相关性允许在导航域内定义的导航空间和由图像18定义的图像空间的配准。
在各种实施例中，患者跟踪器或动态参考框架64可连接到患者14，以允许动态跟踪和维持患者14与图像18的配准。患者跟踪装置或动态配准装置64允许配准图像，并且然后将其用于所选择的程序。在各种实施例中，定位器60、62可跟踪患者跟踪器。可在各种特征(如定位器60、62，成像系统16以及接口系统76和处理器系统22(其可为导航处理器系统))之间提供另外的通信线74。在各种实施例中，通信系统74可为有线的、无线的或使用物理介质传输系统(例如，对存储器芯片的读/写)。
另外，台架34可包括如使用光学定位器60或电磁定位器62中的一个或多个来跟踪的跟踪装置，如光学跟踪装置82或电磁跟踪装置84。因此，成像装置16可相对于患者14被跟踪，器械66也可跟踪，以允许患者14相对于图像18的初始配准、自动配准或继续配准。配准和导航过程在上面并入的美国专利号8，238，631中讨论，其以引用的方式并入本文中。
本领域技术人员将理解，器械66可为任何适当的器械，如心室或血管支架、脊柱植入物、神经支架或刺激器、消融装置、扩张器等。器械66可为介入器械，或可包括或为可植入装置。跟踪器械66允许使用配准图像18查看器械66相对于患者14的位置(包括x、y、z位置和定向)，而无需在患者14内直接查看器械66。
继续参考图1并且额外参考图2A，除患者跟踪器64之外和/或作为替代，患者14可包括一个或多个患者标记或跟踪器100(在本文中称为100和小写字母)。患者跟踪器100可包括各种特征，如为不透明的或用各种成像系统(如，X射线或MRI)可成像的。根据各种实施例，根据各种实施例的跟踪器100通常可为可见的或捕获在使用成像系统16获取的图像数据中。因此，患者标记100可在受试者14的图像或图像数据中被识别。
在各种实施例中，可通过处理器系统26和/或33a或任何其它适当的成像处理器或处理器系统基本上自动地识别患者标记100。标记100可包括可在图像或图像数据中识别的所选择的和/或唯一的几何形状。可使用各种技术来分割和识别所选择的图像或图像数据中的标记100。然而，还应理解，用户12可如通过选择图像中的部分并且使用一个或多个用户输入24将所述部分识别为标记100来识别图像数据中的标记。
标记100可以任何适当的方式定位在患者14上。举例来说，标记100可如使用自粘背衬、添加到标记100和/或患者14的适当的胶水或粘合剂材料或其它适当的机制粘附到患者14。另外，或除此之外，标记100(例如，标记100d和100e)可固定到患者14的骨结构上。标记100可形成或提供为螺钉，或具有螺纹部分，以允许它们旋入并且固定地定位到如患者14的颅骨的骨结构中。
不管连接技术如何，标记100在所选择的时间定位在患者14上。通常，标记100在成像之前被定位在患者14上，如利用成像系统16获取患者14的图像数据或图像。因此，当操作图像系统16以获取患者14的图像时，标记100定位在患者14上并且将出现在任何获取的图像数据或图像中。
因此，标记100可用作基准点。应理解，患者14还可包括各种物理和解剖基准点，如鼻尖、眼角、耳垂等。尽管如此，基准点，无论是由标记100提供的和/或患者14的解剖基准点，都可用于配准由成像系统16获取的图像。本领域技术人员应理解，患者14获取的图像可定义图像空间。图像空间可为手术区或程序区(RO)和/或大于但至少包括RO的区域，如称为关注区(ROI)。应理解，程序可在关注区中的特定区域中发生。尽管如此，图像数据或空间的坐标可在物理或真实空间中与患者14相关或配准。标记100可用于将图像空间与患者和/或由患者14所定义的导航空间和/或在患者14之内或相对于其的手术区配准。
如上所述，器械66可为任何适当的器械。器械66可包括扩张器器械，其包括可定位在患者14的一部分内，如通过鼻道112，并且进入患者14的一个或多个窦(如额窦)内的远侧端部110。器械66可进一步包括近侧端部114，连接器116连接到所述近侧端部114，充气系统(未示出)可连接到所述连接器116，例如连接至连接器或接头。连接器116可允许材料穿过器械66，如手柄120，进入器械66的远侧端部110处或附近的球囊或其它可扩张部分122。如本领域技术人员通常理解的，球囊122的充气可扩展以扩张或扩展窦的一部分。
在各种实施例中，用户12可如使用手130抓握器械66。然后，用户12可相对于患者14如在患者14内移动器械66，以便将器械远侧端部110移动到如上颌窦134的窦中。然而，应理解，根据各种配置的包括器械66的各种器械也可用于进入患者14的其它窦的一个或多个部分，如额窦136和/或蝶窦138。
器械66可进一步包括跟踪装置146。跟踪装置146可附连到器械66，如细长的手柄部分120。通常，跟踪装置146相对于手柄120基本上为固定的，使得用户12(例如，用户用手130)对手柄120的移动使手柄120和跟踪装置146移动。根据各种实施例，跟踪装置146还相对于器械66的远侧端部110刚性地固定在空间中。因此，知道跟踪装置146的位置(例如方位和/或定向)将允许知道远侧端部110的位置。另外，远侧端部110可沿相对于手柄120的轴线120a成角度150的轴线110a延伸。因此，跟踪装置146可被定位并且相对于待跟踪的远侧端部110具有已知的或预定的位置和几何形状，以确定远侧尖端110相对于附连到手柄120的跟踪装置146的位置。
除了用户12可使用的器械66之外，相对于受试者14还可使用额外器械。举例来说，如图2B所示，用户12可包括或操作成像系统137。成像系统137可包括远侧图像捕获部分139，如相机镜头或相机。成像器械137通常可被理解为是内窥镜，如由美国奥林巴斯(Olympus America)出售的EVIS EXERA III内窥镜。根据各种通常已知的技术和实施例，内窥镜137可由用户12相对于受试者14定位。图像收集部分139可对受试者14的各个部分成像，如包括窦腔134的受试者14的内部部分，或包括鼻道112的其它适当的部分。如本文中另外讨论的，内窥镜137可捕获基本上可为实时的图像，如在将器械66定位在受试者14内期间。使用内窥镜137捕获的实时图像可显示在各种显示装置或查看系统上，如显示装置20和/或AV 21。因此，内窥镜137可用于根据通常已知的技术在成像部分或端部139处捕获图像并且显示图像。图像可通过如无线或有线发送系统的各种系统被发送到处理系统22，以在包括显示装置20和/或AV 21的所选择的显示器或查看系统上显示。来自内窥镜137的信号可为数字信号和/或模拟信号，并且可直接从内窥镜和/或通过接口系统76发送。无论如何，用户12和/或任何其他适当的个人都可查看在内窥镜137的成像部分139处获取的图像。另外，可出于各种目的捕获和记录图像。
如上文所讨论，内窥镜137可用于获取受试者14的图像。为了帮助获取图像或执行程序，可由一个或多个跟踪装置确定内窥镜的位置，特别是正在获取的图像的位置。举例来说，内窥镜跟踪装置147可结合到内窥镜137上，类似于连接到仪器66的跟踪装置146，如上文所讨论。跟踪装置147可包括一个或多个可查看标记或部分147a，类似于跟踪装置146上的标记146a。因此，如本文所论述，跟踪装置147可与AV 21一起查看或成像，以由所选择的跟踪系统来进行跟踪，如本文中另外讨论的。跟踪装置147可用于确定捕获图像的端部139的位置，以帮助确定图像在患者14内的位置。内窥镜137可定位在受试者14内，如在用户12不可直接查看的窦腔134内。额外的和/或替代的跟踪装置可包括可在图像捕获端部139处或附近定位或结合到内窥镜137中的端部跟踪装置143。跟踪装置143可类似于上文讨论的跟踪装置64。跟踪装置143可为光学跟踪装置、EM跟踪装置、超声跟踪装置或其它适当的跟踪装置。如本文中另外讨论的，器械137的配准，如与跟踪装置143的配准，以及患者或受试者跟踪器64的配准，可用于帮助配准和维持内窥镜137相对于受试者14的配准。
用户12还可具有和/或使用替代或增强视图屏幕或查看系统21以在程序期间使用。AV 21可为适当的装置，其包括至少一个视图屏幕并且通常包括两个视图屏幕，包括第一视图屏幕160和第二视图屏幕162。视图屏幕可固定到框架构件166，所述框架构件166可具有一个或多个镜腿构件168，以允许AV 21被用户12以与眼镜类似的方式穿戴。因此，视图屏幕160、162可通常定位在用户12的两只眼睛172和174的前面。以这种方式，图像可显示在视图屏幕160、162中的一个或两个上，以允许用户12查看图像。AV 21可包括一个或多个各种装置和系统，如由微软公司(Microsoft Corporation)出售的
Figure BDA0002493974660000111
可穿戴计算机外围配置、由在加利福尼亚州旧金山(San Francisco，California)具有营业地点的Osterhout Design Group出售的R-9 Smartglasses可穿戴计算机外围配置，和/或由在加利福尼亚洛杉矶具有营业地点的DAQRI出售的DAQRI
Figure BDA0002493974660000112
可穿戴计算机外围配置。
在各种实施例中，除了显示图像(例如，图标或渲染)的部分之外，视图屏幕160、162也可为基本上透明的。因此，用户12可查看患者14以及由视图屏幕160、162显示的任何图像。此外，由于两个视图屏幕160、162显示所选择的图像，因此用户12可相对于患者14将显示器感知为基本上立体的和/或三维的。因此，如本文中另外讨论的，用户12可在执行程序时查看患者14和图像。
AV 21还可包括一个或多个相机，如第一相机180和第二相机182。两个相机180、182可用于查看关注区，如患者14的头部。如图2A所示，当在手术区中如在患者14的窦中执行程序时，用户12可基本上查看患者的头部和颈部。因此，相机180、182也可出于各种目的查看患者14，如本文另外讨论的。此外，相机可查看关注区中的其它受试者，如器械66上的跟踪装置146和/或标记100。跟踪装置146可包括一个或多个可查看标记或部分146a，其可由相机180、182查看，以用于由AV 21确定跟踪装置146的透视或视图。
尽管本文公开和讨论使用两个相机180、182来查看和确定跟踪装置146和/或标记100的位置，但是本领域技术人员应理解，跟踪可需要仅一个相机，如相机180、182中的仅一个，如本文所讨论。基于跟踪装置146、跟踪装置147和/或标记100上的各种特征(例如形状、图像等)，单个相机(如相机180)可用于确定相对于相机180和/或相对于其它可跟踪物体的位置(即x、y、z坐标和定向)。举例来说，相机180可用于确定跟踪装置146(并且因此器械66)相对于标记100的相对位置。另外，相机180可放置在相对于用户12的任何位置，如在用户12的头部与AV 21分离。然而，相机180仍然可与处理器系统22保持通信，以在视图屏幕160、162中的一个或多个上显示各种图像。
因此，包括相机180、182的AV 21可结合器械66上的跟踪装置146查看患者14上的标记100。患者14上的标记100可通过相机180、182来查看，并且可通过用户12来识别和/或通过在处理器系统上执行指令(如通过使用处理器26执行指令)来基本上自动地识别。
如上文所讨论，处理器系统22可访问指令，如存储在存储器27上的那些指令，以帮助识别图像中的标记100。相机180、182可具有包括关注区的视场，所述关注区包括患者14的头部并且还查看标记100。可包括在所选择的软件中的指令可如通过图像的分割并且识别标记100的所选择的形状、密度、颜色等来识别查看的图像中的标记100。
一旦识别标记100，使用成像系统14获取的图像就可如使用处理器系统22来配准，以在其中将包括标记100的图像配准在AV 21的相机180、182的视场中。可通过使由图像装置16获取的图像数据中的识别的标记100与使用AV 21的相机180、182获取的视场图像中的标记100相匹配来发生配准。在使用成像系统16获取图像数据期间并且当在程序期间在相机180、182的视场中时，标记100通常维持在患者身上的相同位置。也可由于内窥镜137上的跟踪装置143和患者跟踪器或动态参考框架64而发生配准。如上文所讨论，可由于各种配准技术而发生配准，如美国专利号8，238，631中公开的那些，其以引用的方式并入本文中。可通过跟踪跟踪装置143(与内窥镜137相关联)和/或患者跟踪器64来进行配准。另外，AV 21可包括跟踪装置149，其可允许AV 21在相对于内窥镜137上的受试者或动态参考框架64和/或跟踪器143的相同或类似跟踪系统和/或参考系中被跟踪。因此，AV 21可相对于内窥镜137和/或受试者14被配准。使用内窥镜137获取的此图像可用于相对于用户12的视图显示相对于用户12的视图进行显示或用于由用户12查看，如本文另外讨论的。
如上文所讨论，参考图2A和图2B，使用其中标记100连接到患者14的成像系统16获取的图像数据和/或图像将包括标记100的数据。如上文所讨论，可在使用成像系统16获取的图像数据或图像中识别标记100。标记100也可由与AV 21相关联的相机180、182查看。相机180、182还可查看患者14以识别或辅助识别解剖基准标记。尽管如此，在使用成像系统18获取的图像数据中识别的标记100也可在使用相机180、182获取的图像中被识别。本领域技术人员应理解，使用相机180、182获取的图像可为任何适当类型的图像，如彩色图像、红外光图像等。尽管如此，在使用成像系统16获取的图像数据中识别的标记100的匹配可与使用相机180、182查看的标记的识别位置匹配，以将由AV 21查看的空间或视场与使用成像系统16获取的图像的图像空间配准。因此，如本文中另外讨论的，使用成像系统16获取的图像或图像的部分可与视图屏幕160、162一起显示为看起来像叠加在患者14上。
由于受试者跟踪器64和内窥镜137上的跟踪器143，受试者14还可相对于目前获取的图像或使用内窥镜137获取的实时图像进行配准。可如使用基准标记100d和/或其它基准特征来对受试者14进行配准。因此，也可将使用内窥镜137获取的实时图像与预先获取的图像配准。因此，可将预先获取的图像如使用相机180、182与仪器66配准和/或经由AV 21跟踪器149与AV 21配准。因此，可将使用内窥镜137获取的图像与受试者14的预先获取的图像配准，并且用于由用户12(例如，使用AV 21)查看。
用户12可通过AV 21查看受试者14，如图3A和图3B所示。用户12可查看或具有视场21f，如图3A和图3B中的虚线所示。视场21f可代表当查看受试者14时用户12通过AV 21的视图，或者通过AV 21的任何区域。因此，用户12可查看真实或物理的受试者14，并且视图还可通过由AV 21显示的图形表示(在本文中也称为图标)来增强。当通过AV 21查看视场时，图标或图形表示可显示在视场21f中，以由用户12查看。
除了图标之外，如本文中另外讨论的，可以在AV视场21f内显示附加图像或图像区域153，以供用户12查看。补充查看区域153可以用于显示供用户12使用或查看的各种图像或信息。例如，可以在内窥镜137中获取的实时图像显示在辅助或扩大观察区域153中。因此，用户12可以在视场21f中查看受试者14以查看受试者14，如本文进一步讨论的各种图形表示以及辅助或附加查看区域153中的附加图像(例如内窥镜图像)。用户12还可以选择性地选择或选定要在辅助显示区域153中显示的信息，如预先获取的图像，使用内窥镜的实时图像或其他适当信息。
另外参考图3A和图3B，例如，鼻窦诸如上颌窦134可被显示为上颌窦图标134′。图3A是用户12通过AV 21查看患者14以及用视图屏幕160、162显示的各个部分的视角的图示。因此，如上所述，可以显示上颌窦图标134′以供用户12查看，就好像用户12可以看到患者14中并查看上颌窦134一样。上颌图标134′可以是图像数据的图形渲染或代表上颌窦的人工创建图标。
也可以选择它来说明患者14的其他解剖结构如额窦136和一个或多个蝶窦138。用户12还可以查看任何现实世界受试者如患者14和/或固定到患者14的标记100。用户还可以查看其他现实世界部分，如患者支撑架15。因此，通过经由视图屏幕160、162的透明部分进行查看，用户12可以查看由于屏幕160、162而叠加在患者14上的特征以及现实世界中的物体。
另外，相机180、182可以查看跟踪装置146。通过查看跟踪装置146，相机180、182可以确定跟踪装置146相对于标记100的位置。标记100的位置被放置在患者14上以识别患者14的位置。器械跟踪装置146相对于标记100中的一个或多个的已知位置允许确定器械66的一部分相对于跟踪装置146和患者14。如上所讨论，器械的远侧端部110可以相对于跟踪装置146处于已知且固定的位置。因此，远侧端110相对于跟踪装置146的已知且固定的相对位置(例如，几何形状)可以存储在存储器27或其他合适的存储器中。
跟踪装置146的被跟踪位置可以通过基于跟踪装置的“视图”用相机180、182中的一个或多个对跟踪装置146的位置进行三角测量来确定。处理器系统22可以执行本领域中通常理解的指令，以然后确定远侧端部110和/或工作部分(如122的可充气构件)的位置，并且通过将其在视图屏幕160、162上显示，器械图标可以示出为包括或示出相对于患者14的各个部分。处理器系统22执行的指令可以包括存储在存储器27中和从其中调用的指令。指令可以包括基于来自两个相机180、182的单独视图，基于对所查看的部分(如跟踪装置146)的位置进行三角测量的算法的那些指令。单独的视图可以用于从两个相机180、182生成信号(例如，包括图像数据)，并且信号可以被发送到处理器系统22。跟踪装置146的位置的三角测量可以基于两个相机180、182之间的已知距离以及由两个相机180、182中的每一个捕获的每个单独的视图。
因此，视图屏幕160、162可以包括图形表示，其也称为远侧端部的图标110′和/或器械66的可充气部分的图标122′。图标，如远侧端部图标110′，可以被示为在视图屏幕160、162中的一个或多个上的图标，如它看起来相对于患者14叠加或显示。应当理解，可以使用器械66的多于一部分的图标，因此，器械图标66′可以被示为包括器械66的所有部分的整个器械。
AV 21可以与处理器系统22通信和/或可以包括机载处理和/或其他通信特征以与其他处理器系统通信。因此，可以通过AV 21的相机180、182将如患者14的头部的关注区域的视图发送到处理器系统22。至少由于相机180、182的间隔，可以针对空间中的每个查看点，如相对于相机180、182的标记100和/或跟踪装置146，确定三角测量。可以如通过用处理器系统22执行指令来确定跟踪装置146相对于标记100中的一个或多个的相对位置。
从两个相机180、182中的一个或两者接收图像的处理器系统22可以处理并确定各种跟踪的或任何查看的部分(如标记100和跟踪装置146)之间的距离。因此，执行在存储器27中访问的指令的处理器系统22然后可以将所选择的和/或适当的图像部分(如器械图标66′或其一部分)和/或其他成像的特征(如表示包括额窦136′的窦或来自图像数据的其他适当部分的图标)提供给视图屏幕160、162。预先获取的图像(如基于跟踪装置146的跟踪位置和/或标记100，用成像系统16获取的那些图像)的配准可以基于已知的配准技术，如美国专利第8,238,631号中公开的那些，所述专利通过引用并入本文。配准可以是基本上自动的和/或基于对患者14上的图像18和/或标记100中的基准标记如标记100的识别。
因此，用户12可以基于视图屏幕160、162相对于患者14查看患者14和其他特征，如器械图标66′。相机180、182可以提供相对于用户12和患者14的所有跟踪信息，用于确定器械66的各个部分(如远侧尖端110)的位置，用于用视图屏幕160、162显示它们。用户12的感知可以是，即使器械66在患者14内，其相对于患者14也是可以看到的。另外，用成像系统16获取的图像数据可以相对于患者14用视图屏幕160、162显示为特征，如图标。同样，患者14的用户12的感知可以是，由于AV 21，用户12可以看到诸如鼻窦134、136、138的各个部分。因此，如图3A所示，患者14的视图可以被增强以示出在其他情况下用户12无法以用户12的视力看到的特征。换句话说，用户12可以在物理空间中查看患者14，如图3A所示，并且如可以用上面讨论的图标或渲染来查看患者14内的区域的表示。该视图也可以是3D，并且随着用户相对于患者14和/或器械66的移动而发生角度变化。
如在图3A中具体示出的，可以通过视图屏幕160、162查看患者14。可以相对于器械66的图标66′显示各种图标，例如上颌图标134′和蝶形图标138′。这些图标可以具有各种和所选择的不透明度和/或切面，以相对于解剖结构图标(例如蝶骨图标138′)查看器械图标66′。因此，查看包括如蝶骨图标138′和器械图标66′的图标的视场的用户12可以同时看到两个图标。此外，用户12可以通过基本上同时查看器械图标66′和窦图标(例如蝶窦图标138′)来感知器械66在所选择的窦(例如蝶窦138)内的位置。换句话说，可以选择各种图标(例如，窦图标)的不透明度以具有透明视图，从而能够查看在所选择的解剖部分内或好像在所选择的解剖部分内的器械图标。这允许用户12基本上同时并且好像存在于患者14上一样查看患者14以及器械和解剖结构的图标，如图3A所示。
除此之外或替代地，各种图标可以显示在远离患者14的位置处。例如，如图3B所示，器械图标66′可以显示为远离患者14，但是在相对于如蝶骨图标138′的解剖部分图标的跟踪和确定的位置处。可以选择仅示出与器械66相互作用或已经通过的那些解剖部分，因此可以不必示出所有图标。应当理解，即使当器械66在鼻道112内并且从用户12的非增强视图中看不清楚时，各种通路，如在解剖结构的各个部分之间如通过鼻道112的图标通路139′(参见图3A和图3B)也是如此。因此，如图3B所示，应当理解，表示或基于患者14的所获取的图像数据的解剖结构的显示部分可以显示在远离患者14上的相应和相对的物理位置的位置处。因此，如窦图标的图标可以显示在距患者14一定距离处。这可以允许用户12得到患者14的更加无障碍和/或基本上无障碍的视图，同时还能够查看器械66相对于所选择的解剖部分的相对位置。
此外，视图屏幕160、162可以用于显示其他图像，如内窥镜图像，如果选择的话，这些图像可基本上同时且实时地获取。也就是说，用户12也可以将内窥镜放置在鼻道112中，并且视图屏幕160、162中的一个或多个可以显示内窥镜视图。因此，应当理解，用户12可将内窥镜与器械66一起定位通过鼻道112，以提供实时和内窥镜查看点，其也可显示在视图屏幕160、162上并且相对于所选择的图标如窦图标和/或器械图标66′显示。
此外，应当理解，各种图像可以显示在两个视图屏幕160和162上，或者显示在视图屏幕160、162中的仅一个上。应当理解，在两个视图屏幕160、162上显示的图像可以基本上相似，但是被改变以允许用户12基于图像数据和/或图标感知所选择部分如鼻窦和/或器械66的深度和/或三维度。因此，显示器160、162可以具有相同的显示、基本上不同的显示或每个视图屏幕仅一个显示，或者可以相似以提供深度感知以供用户12查看。
如上所讨论，辅助图像153可以示出或图示器械66的位置，如在辅助图像153中示出的远侧端部图像110”。辅助图像153可以是用内窥镜137获取的实时图像，如上所讨论。因此，远侧端部图像110″也可以是器械66的实时图像。辅助图像153还可以显示解剖结构的表面，例如在鼻窦内，以供用户12在所选择的程序期间查看。因此，视场21f可以允许用户12查看受试者14、相对于受试者14显示和/或叠加在受试者14上的器械的图形表示、相对于受试者14显示和/或叠加在受试者14上的受试者的预先获取的图像，和/或辅助图像，如器械66的实时图像。因此，用户12可以选择在视场21f中查看哪些图像。应当理解，任何图像或图形表示也可以显示在如显示装置20的各种其他显示装置上。显示装置20还可以单独或组合地查看或显示器械66的位置的图形表示、预先获取的图像和实时图像。
参考图3C，视场也可以用显示装置20显示。在各种实施例中，内窥镜的视图可以作为辅助视图153′显示在显示器20上。图标110′和解剖结构的部分，如窦134′，也可以用显示装置20显示。当在显示装置20上显示时，图形表示可以基本上是三维(3D)的。因此，视场显示21f可以基本上在显示装置20上再现，尽管可以不显示患者14，但是可以仅显示如窦134′的获取的图像以及如用内窥镜137实时获取的图像。应当理解，显示装置20可以是可移动的，并且为了用户12的最佳视野而定位。
无论是在显示器20上显示和/或在视场21f中用AV 21显示，图形表示的显示(例如窦134′和器械110′)可以是从用户12的角度来看的。因此，当用户12相对于受试者12移动时，视场21f中和/或显示装置20上的显示可以改变以为用户12提供显示，就好像用户12正在受试者12内在所选择的位置观看一样。换句话说，如果用户12移动到从下方而非上方观看的受试者12的头部处的位置，则图形表示的显示将被改变以匹配用户12相对于受试者14的位置。在各种实施例中，可以通过跟踪器149和/或与AV 21相关联的成像装置180、182的视图来确定用户12的确定位置。
继续参考图1-3B并另外参考图4，在流程图210中描述了一种用户12使用AV21来帮助执行程序，如相对于包括额窦136的窦中一个或多个的程序的方法。通常，过程可以在开始框214中开始。在开始方框214中开始过程之后，可以执行图像数据或受试者14的图像的获取。可以以任何适当的方式执行图像数据或图像的获取。例如，可以在执行程序之前的所选择的时间，如当患者14准备好将器械66引入患者14中时，获取受试者14的图像并存储在如存储系统27和/或存储系统33b的存储系统上。可以用所选择的成像系统如CT扫描仪和/或MRI来获取图像，并以如原始数据和/或重构图像的适当格式来保存图像。重构图像可以包括已经以三维方式渲染的图像，以供用户12用如显示装置20和/或AV 21的不同显示装置来查看。另外，可以分割图像或图像数据的各个部分，如从其他图像数据分割包括额窦136的窦。此外，可以如通过包括处理器26和/或33a的处理器来执行对图像或图像数据中的标记100的识别。可以使用各种分割技术来执行分割解剖结构的各个部分(如额窦136)和/或识别标记100。分割技术可以包括结合在各种成像和导航系统如美敦力公司出售的FUSIONTM导航系统中的那些技术。
图像数据也可以基本上在程序期间或刚好在程序之前如用成像装置14获取，所述成像装置14可以基本上在手术中使用(例如，当患者为所述程序做好准备时)。可以对图像或图像数据的各个部分进行分割，如上所讨论，而不是在所述程序之前存储在存储器中持续所选择的时间段，数据可以基本上实时地传输到处理器系统22，以供在程序期间使用。然而，可以理解的是，图像数据可以存储持续所选择的时间段，如以分析和/或处理图像数据或图像，以供在程序期间使用。
图像数据的获取可以是任选的，因为不需要准备图像以供AV 21显示和/或在程序期间使用。例如，如本文所讨论，包括AV 21和处理器系统22的系统可以跟踪标记100和跟踪装置146以在没有患者14的图像数据的情况下表示器械的位置。在各种实施例中，处理器系统22可以访问图像以用AV 21显示，如上所讨论。
在框224中，可以将AV 21放置用于所述程序。放置AV 21用于所述程序可以包括将AV 21放置在用户12上，如本文另外所讨论。此外，AV 21可以被放置成与处理器系统22通信，如用于提供处理能力以如用标记100和/或器械66，如用跟踪装置146跟踪患者14。因此，AV 21可以在框226中查看关注区域，并且用户可以在框228中确认能够查看关注区域。在查看关注区域时，相机180、182可以能够至少查看患者14的要在其上进行程序的部分，如通常是头部区域。如上所讨论，用户12通过患者14的各种外部组织可能基本上看不到操作区域。因此，操作的区域可以包括窦，如额窦136，并且关注区域可以包括患者14的整个头部。因此，相机180、182可以被定位成查看关注区域，并且用户12可以通过视图屏幕160、162确认查看关注区域。当在视图屏幕160、162的一部分上没有显示图标时，视图屏幕160、162基本上是透明的。
一旦AV 21具有关注区域的视图，就可以在框232中用AV 21相机执行关注区域的记录。在框232中记录关注区域可以允许用相机180、182收集图像(但是应当理解，可以使用多于两个或少于两个相机)。关注区域的记录可以包括以持续的方式(如在整个程序期间)对患者14的至少一部分进行成像。对患者14的关注区域进行成像可以包括对标记100和/或患者14的其他基准点或部分进行成像。因此，在框236中，所记录的关注区域可以包括识别患者标记。
识别患者标记可以包括在框232中对记录在关注区域处的图像数据进行分割以识别图像中的患者标记100。所识别的患者标记100可以用视图屏幕160、162显示为图标，如与图标100a′一起，所述图标可以包括当由用户12查看时定位在患者14上的标记100a上方的三维立方体，如图3所示。然而，在框236中识别患者标记可能不需要或不提供图标100a′的显示，而是可以由处理器系统22简单地执行以识别标记从而识别患者14的区域，如用于识别器械66或其一部分(如远侧端部110)的位置，如本文另外所讨论。
识别患者14上的标记100允许处理器系统(如导航系统的一部分)在标记100处于AV 21的相机的视场内时跟踪患者14。标记100可以包括在用相机180、182获取的图像中可识别的部分，如颜色、图案、形状等。另外，标记100可以包括可识别用于确定位置的特征，包括标记相对于AV 21的姿势、位置和定向。因此，可以相对于用户12穿戴的AV 21跟踪患者14。
在框240中，可以识别器械跟踪器146。器械跟踪器146可以包括在用相机180、182获取的图像中可识别的部分，如颜色、图案、形状等。另外，器械跟踪器146可以包括可识别用于确定位置的特征，包括标记相对于AV 21的姿势、位置和定向。例如，跟踪装置146可以包括相机180、182可以看到的图案。从相对于跟踪装置的不同角度来看，跟踪装置146上的图案可以是基本上或完全唯一的。因此，跟踪装置146上的查看图案可以用于确定器械跟踪器146的位置，以及因此器械66的位置。
器械跟踪器146可以固定到器械66，如上所讨论。可以预先确定并输入器械66的各个部分(如远侧尖端110和/或操作部分122)之间的几何关系，以便由处理器系统22进行处理。在各种实施例中，几何形状可以被保存在存储器27中，并且由于器械66的自动识别(例如，通过用相机180、182查看器械)和/或由用户12输入器械的识别而被调用。然而，AV 21可用于查看跟踪装置146以确定包括各种自由度(例如，三个自由度)中的位置(例如，三维坐标)和定向的位置。器械66的跟踪位置可以由处理系统22使用用于各种目的。
例如，如图3所示，在框244中执行的，器械图标66’可以用AV 21显示，如显示在视图屏幕160、162中的一个或多个上。除了示出图标的部分之外，视图屏幕160、162可以是基本上透明的。可以相对于患者14在视图屏幕160、162上示出图标66′和/或器械的部分，如远侧尖端图标110′和/或操作部分122′。用户12然后可以通过视图屏幕160、162查看患者14和一个或多个图标。因此，用户12可以查看器械66的至少一部分相对于患者14(包括患者14的一部分)的位置。
在框248中，可以选择性地或替代地显示受试者部分图标的显示。例如，如图3A和/或图3B所示，可以显示额窦136′图标。可以相对于器械图标66′和患者14显示额窦图标136′。因此，用户12可以查看患者14、器械图标66′和额窦图标136′。由于在患者14上跟踪标记100，因此可以将器械66的相对位置与器械图标66′一起显示在视图屏幕160、162上。此外，由于使用标记100将预先获取的图像配准给患者，因此可以显示受试者部分(如额窦136)的相对位置，如上所讨论。
同样，因为AV 21由于标记100而能够跟踪患者14，因此可以基本上实时地更新器械66和如额窦136的受试者部分的相对位置并显示在视图屏幕160、162上，以便由用户12与受试者14一起观看。应当理解，可以生成如器械图标66′和受试者部分图标136′的图标并显示在视图屏幕160、162上，而用户能够通过视图屏幕160、162实时和在物理空间上查看患者14。另外应当理解，如用户12所选择的，图标可以显示在视图屏幕160、162中的一个或两个上。
如上所讨论，用户12还可以选择使实时图像任选地显示在框252中。实时图像可以是用内窥镜137获取的图像，如上所讨论并且如本领域技术人员通常理解。实时图像可以包括受试者14的表面，如内表面。另外，或除此之外，图像可以包括器械66(如器械66的远侧端部110”显示器)的显示或图像。用户12可以选择使辅助图像153显示在视场21f中或在任何适当的显示器上，如显示装置20。用户12还可以选择使辅助显示器153关闭或不显示，使得用户12仅使用受试者14和所选择的增强现实部分，如如上所讨论的图形表示或图标。另外应当理解，用户12可以选择使图形表示显示在辅助显示区域153中，并且相对于受试体14使实时图像显示叠加或显示在视场21f中。如上所讨论，由于所选择的基准部分和/或受试者和患者或受试者跟踪器64上的标记，可以将用内窥镜137获取的图像相对于受试者14配准。因此，用户12可以部分地或由于预先获取的图像(例如，MRI和/或CT图像)以及用内窥镜137或其他合适的成像系统获取的实时图像来查看相对于器械66的图标、相对于所选择的鼻窦或内部部分的图标。
在框262中，可以通过查看受试者14和由于AV 21而选择的图标(如器械图标66′和/或额窦图标136′)来执行程序。另外应当理解，可以显示其他适当的图标，如上颌窦图标134′和/或蝶窦图标138′。此外，由于与器械相关联的各种跟踪装置，还可以显示附加的器械图标。另外，不同器械可能具有不同的几何形状，这些几何形状也可以在包括AV 21的显示装置上显示图标之前输入和/或调用。然后，方法210可以在框272处结束，所述框272包括各种其他程序，如各种止血和/或闭合程序。
提供实例实施例使得本公开全面，并且将范围全面地传达给本领域技术人员。阐述了许多具体细节，如具体组件、装置和方法的实例，以提供对本公开的实施例的透彻理解。对于本领域技术人员来说，显而易见的是，不需要采用具体细节、实例实施例可以被具体化为许多不同形式并且两者均不应解释为限制本公开的范围。在一些实例实施例中，没有详细描述众所周知的过程、众所周知的装置结构和众所周知的技术。
已经出于展示和描述的目的，提供了前述对实施例的描述。其并不旨在是详尽的或限制本公开。特定实施例的单独要素或特征通常不限于所述特定实施例，但在可适用的情况下是可互换的，并且可以用于所选择的实施例中，即使没有具体地示出或描述。可以以许多方式进行改变。这类变化不会被视为脱离本公开，并且所有这类修改旨在包括于本公开的范围内。

Claims (40)

1.一种用于在对受试者进行手术时查看所述受试者的系统，其包括：
视图屏幕和相机系统，其具有：
第一视图屏幕，其被配置为定位靠近用户的第一眼睛；
第二视图屏幕，其被配置为定位靠近用户的第二眼睛；和
至少第一相机，其被配置为具有第一视场；
固定到器械的器械跟踪装置，其可由所述第一相机查看；
受试者标记，其可由所述第一相机查看；和
处理器系统，其被配置为执行指令(i)，以基于来自所述第一相机的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，和(ii)生成待显示于待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述第一视图屏幕或所述第二视图屏幕中的至少一个中的器械表示。
2.根据权利要求1所述的系统，其中，所述视图屏幕和相机系统进一步包括：
第二相机，其被配置为具有第二视场；
和所述第二相机；
其中，所述处理器系统进一步可经操作以执行指令(i)，以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的所述第一信号和来自所述第二相机的第二信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置；
其中，所述视图屏幕和相机系统是用户可穿戴的。
3.根据权利要求1或2所述的系统，其中，在所述第一视图屏幕和所述第二视图屏幕上显示时所述器械表示被所述用户视为单个表示。
4.根据权利要求1至3中任一项所述的系统，其中，所述器械表示在所述用户看来如同处于所述用户的包括所述受试者的视野中的所述器械的一部分。
5.根据权利要求1至4中任一项所述的系统，其进一步包括：
存储器，其上存储所述受试者的手术区中的至少一部分的图像；
其中，所述图像包括表示所述受试者标记的图像部分；
其中，所述处理器系统执行另外的指令以(i)配准所述手术区中的所述至少一部分的所述图像，和(ii)使用所述第一视图屏幕或所述第二视图屏幕中的至少一个显示解剖结构表示；
其中，所述解剖结构表示被配置为出现在所述用户的与所述受试者相关的视野中。
6.根据权利要求1至5中任一项所述的系统，其中所述器械表示和所述解剖结构表示均被配置为出现在所述用户的与所述受试者相关的视野中。
7.根据权利要求1至6中任一项所述的系统，其中，所述第一视场和所述第二视场重叠。
8.根据权利要求1至7中任一项所述的系统，其进一步包括可相对于所述受试者移动并且可连接到到所述器械跟踪装置的器械。
9.根据权利要求1至8中任一项所述的系统，其中，所述第一视图屏幕或所述第二视图屏幕是基本上透明的并且被配置为允许所述用户查看所述受试者。
10.一种用于在对受试者进行手术时查看所述受试者的系统，包括：
可佩戴视图屏幕和相机系统，其被配置为相对于用户的第一眼睛保持，其具有：
安装结构；
第一视图屏幕，其被配置为定位靠近所述用户的所述第一眼睛并且固定到所述安装结构；和
第一相机，其被配置为具有第一视场；
固定到器械的器械跟踪装置，其可由所述第一相机查看；
受试者标记，其可由所述第一相机查看；和
处理器系统，其被配置为执行指令(i)，以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，和(ii)生成待显示于待由所述第一眼睛查看的所述第一视图屏幕中的器械图标。
11.根据权利要求10所述的系统，其中所述可穿戴视图屏幕和相机进一步包括：
第二相机，其被配置为具有第二视场并且固定到所述安装结构；
其中，所述第一视场与所述第二视场不同；
其中，所述第一相机被固定到所述安装结构；和
第二视图屏幕，其被配置为定位靠近所述用户的第二眼睛。
12.根据权利要求11所述的系统，其中，所述可穿戴视图屏幕和相机被配置为使得所述用户能够通过所述第一视图屏幕和所述第二视图屏幕同时查看所述受试者。
13.根据权利要求11所述的系统，其中，所述可穿戴视图屏幕和相机被配置为使得所述用户能够同时查看所述受试者和所述器械图标。
14.根据权利要求13所述的系统，其中，所述处理器系统被配置为执行另外的指令，以配准(i)所述受试者的预先获取的图像与(ii)使用所述第一相机和所述第二相机的所述受试者的视图；
其中，使用与所述受试者配准的所述第一视图屏幕或所述第二视图屏幕中的至少一个来显示预先获取的图像的至少一部分；
其中，使用所述第一视图屏幕或所述第二视图屏幕中的至少一个将所述器械图标示出在所述器械相对于预先获取的图像的所述至少一部分的确定位置处。
15.一种用于查看受试者的方法，其包括：
定位被配置为定位靠近用户的第一眼睛的第一视图屏幕；
定位被配置为定位靠近所述用户的第二眼睛的第二视图屏幕；
相对于所述第一视图屏幕和所述第二视图屏幕而至少固定被配置为具有第一视场的第一相机或被配置为具有第二视场的第二相机；
将固定到器械的器械跟踪装置放置在所述至少第一相机或第二相机的视场中；
放置待由至少所述第一相机或所述第二相机可查看的受试者标记；和
操作处理器系统以执行指令(i)以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的第一信号或来自所述第二相机的第二信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置；和(ii)生成待显示于待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述第一视图屏幕或所述第二视图屏幕中的至少一个中的器械图标。
16.根据权利要求15所述的方法，其进一步包括：
提供具有被配置为待相对于所述受试者定位的端部的所述器械。
17.根据权利要求16所述的方法，其进一步包括：
操作处理器系统，以执行指令，以从存储器系统调用所述操作端相对于所述器械跟踪装置的位置。
18.根据权利要求17所述的方法，其进一步包括：
配置所述第一视图屏幕或所述第二视图屏幕中的至少一个以便所述用户同时查看所述受试者和所述器械图标。
19.根据权利要求18所述的方法，其进一步包括：
在所述用户能够同时查看所述受试者和所述器械图标时配置所述器械相对于所述受试者移动。
20.根据权利要求19所述的方法，其进一步包括：
在同时查看所述受试者和所述器械图标时执行程序。
21.一种用于在对受试者进行手术时查看所述受试者的系统，其包括：
用户可佩戴的视图屏幕和相机系统，其具有：
视图屏幕，其被配置为生成用于用户的视场图像；
具有第一视场的第一相机，其可经操作以移动成包括所述受试者的至少一部分；
与所述用户可佩戴视图屏幕和相机系统分离的成像系统，其可经操作以生成所述受试者的图像；和
处理器系统，其被配置为执行指令(i)确定所述成像系统的位置和所述生成的图像，和(ii)使用所述视图屏幕显示所述生成的图像。
22.根据权利要求21所述的系统，其中，所述用户可穿戴视图屏幕和相机系统的所述视图屏幕进一步包括：
第一视图屏幕，其被配置为定位靠近用户的第一眼睛；
第二视图屏幕，其被配置为定位靠近所述用户的第二眼睛。
23.根据权利要求21或22所述的系统，其中所述用户可佩戴视图屏幕和相机系统进一步包括：
第二相机，其被配置为具有第二视场。
24.根据权利要求21至23中任一项所述的系统，其进一步包括：
器械，其具有被配置为定位在手术区中以对所述受试者进行手术的操作端；和
固定到所述器械的器械跟踪装置，其可由所述第一相机和所述第二相机查看。
25.根据权利要求24所述的系统，其中，所述处理器系统进一步可经操作以执行指令(i)，以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的第一信号和来自所述第二相机的信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置；和(ii)生成待显示于待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述第一视图屏幕或所述第二视图屏幕中的至少一个中的器械图标。
26.根据权利要求24所述的系统，其进一步包括：
受试者标记；和
跟踪系统，其被配置为跟踪所述器械跟踪装置、所述成像系统和所述受试者标记。
27.根据权利要求26所述的系统，其中，所述视图屏幕可经操作以基本上同时显示在所述器械的跟踪位置处的器械表示和所述生成的图像。
28.根据权利要求27所述的系统，其进一步包括：
存储器，其上存储所述受试者的手术区中的至少一部分的图像；
其中，所述图像包括表示所述受试者标记的图像部分；
其中，所述处理器系统执行另外的指令以(i)配准所述手术区中的所述至少一部分的所述图像；和(ii)使用所述第一视图屏幕或所述第二视图屏幕中的至少一个显示解剖结构图标；
其中，所述解剖结构图标被配置为出现在所述用户的与所述受试者相关的视野。
29.根据权利要求28所述的系统，其中，所述器械图标和所述解剖结构图标都被配置为出现在所述用户的与所述受试者相关的视野中。
30.一种用于在对受试者进行手术时查看所述受试者的系统，其包括：
第一实时图像捕获系统，其可经操作以获得所述受试者的图像；
视图屏幕和相机系统，其具有：
第一视图屏幕，其被配置为定位靠近用户的第一眼睛；
第二实时图像捕获系统，其被配置为具有第一视场；
可固定到器械的器械跟踪装置，其可由所述第二实时图像捕获系统查看；
受试者标记，其可由所述第二实时图像捕获系统查看；
跟踪系统，其被配置为跟踪至少所述第一实时图像捕获系统和受试者跟踪系统；
辅助显示装置，其与所述视图屏幕和相机系统分离，其中，所述辅助显示装置可与所述第一视图屏幕中分离和单独地查看；
处理器系统，其被配置为执行指令(i)，以基于来自所述第二实时图像捕获系统的第一信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，和(ii)生成待使用至少所述辅助显示装置显示的器械表示。
31.根据权利要求30所述的系统，其中所述受试者标记和所述受试者跟踪装置被集成到单个装置中。
32.根据权利要求30或31所述的系统，其中，所述处理器系统进一步被配置为执行指令以：
配准所述第一实时图像捕获系统的跟踪位置和所述受试者的跟踪位置；和
生成待用至少所述辅助显示装置显示的所述第一实时图像捕获系统的表示。
33.根据权利要求30至32中任一项所述的系统，其中，所述第一实时图像捕获系统被配置为在所述受试者内移动；并且
至少一个所述辅助显示装置可经操作以显示所获得的图像。
34.根据权利要求30至33中任一项所述的系统，其中，所述第一实时图像捕获系统被配置为在所述受试者内移动；并且
所述第一视图屏幕或所述第二视图屏幕中的至少一个可经操作以显示所述获得的图像。
35.根据权利要求33所述的系统，其中，所述显示的所获得的图像被分别显示并与所述生成的器械表示间隔开。
36.根据权利要求34所述的系统，其进一步包括：
用户输入件，其用于开启和关闭所述获得的图像的所述显示。
37.根据权利要求30至36中任一项所述的系统，其进一步包括：
视图屏幕和相机系统跟踪装置；
其中，所述处理器系统被进一步配置为执行指令以配准所述视图屏幕和相机系统跟踪装置的参考框架和所述受试者的跟踪位置的参考框架；
其中，使用所述辅助显示装置的所述显示至少部分地基于所述视图屏幕和相机系统跟踪装置的所述跟踪位置。
38.一种用于查看受试者的方法，包括：
相对于受试者定位第一图像捕获系统以捕获所述受试者的实时图像；
将第一视图屏幕定位靠近用户的第一眼睛；
将第二视图屏幕定位靠近所述用户的第二眼睛；
相对于所述第一视图屏幕和所述第二视图屏幕而至少固定被配置为具有第一视场的第一相机或被配置为具有第二视场的第二相机；
操作处理器系统，以执行指令(i)生成待显示于待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述第一视图屏幕或所述第二视图屏幕中的至少一个中的器械图标，和(ii)在待由所述第一眼睛或所述第二眼睛中的至少一个查看的所述第一视图屏幕或所述第二视图屏幕中的至少一个中显示至少一个捕获的实时图像。
39.根据权利要求38所述的方法，其进一步包括：
将固定到器械的器械跟踪装置放置在所述至少第一相机或第二相机的视场中；
放置待由至少所述第一相机或所述第二相机可查看的受试者标记；和
操作所述处理器系统以进一步执行指令(i)，以基于关于所述器械跟踪装置相对于所述受试者标记的视图的来自所述第一相机的第一信号或来自所述第二相机的第二信号来确定所述器械跟踪装置相对于所述受试者标记的相对位置，其中基于所述确定的相对位置显示所述生成的器械图标。
40.根据权利要求39所述的方法，其进一步包括：
在同时查看所述受试者、所述器械图标或所述捕获的实时图像中的至少两个时执行程序。
CN201880074295.3A 2017-12-07 2018-12-06 用于在程序期间帮助可视化的系统和方法 Pending CN111356395A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201762595822P 2017-12-07 2017-12-07
US62/595,822 2017-12-07
US16/210,669 US20190175059A1 (en) 2017-12-07 2018-12-05 System and Method for Assisting Visualization During a Procedure
US16/210,669 2018-12-05
US16/210,647 US11944272B2 (en) 2017-12-07 2018-12-05 System and method for assisting visualization during a procedure
US16/210,647 2018-12-05
PCT/US2018/064280 WO2019113334A1 (en) 2017-12-07 2018-12-06 System and method for assisting visualization during a procedure

Publications (1)

Publication Number Publication Date
CN111356395A true CN111356395A (zh) 2020-06-30

Family

ID=66734354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880074295.3A Pending CN111356395A (zh) 2017-12-07 2018-12-06 用于在程序期间帮助可视化的系统和方法

Country Status (8)

Country Link
US (2) US20190175059A1 (zh)
EP (1) EP3720334A1 (zh)
JP (1) JP2021505226A (zh)
KR (1) KR20200097747A (zh)
CN (1) CN111356395A (zh)
AU (1) AU2018378696A1 (zh)
CA (1) CA3084998A1 (zh)
WO (1) WO2019113334A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US11058497B2 (en) * 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US20230138666A1 (en) * 2020-01-24 2023-05-04 Memorial Sloan Kettering Cancer Center Intraoperative 2d/3d imaging platform
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11607277B2 (en) * 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US20230248441A1 (en) * 2020-06-29 2023-08-10 Regents Of The University Of Minnesota Extended-reality visualization of endovascular navigation
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090068620A1 (en) * 2005-06-09 2009-03-12 Bruno Knobel System and method for the contactless determination and measurement of a spatial position and/or a spatial orientation of bodies, method for the calibration and testing , in particular, medical tools as well as patterns or structures on, in particular, medical tools
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN103238339A (zh) * 2010-12-02 2013-08-07 尤特瑞登特生产公司 查看和跟踪立体视频图像的系统和方法
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization
US20170202633A1 (en) * 2014-02-21 2017-07-20 The University Of Akron Imaging and display system for guiding medical interventions

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4395731A (en) 1981-10-16 1983-07-26 Arnold Schoolman Television microscope surgical method and apparatus therefor
JPH07504764A (ja) 1992-03-13 1995-05-25 コピン・コーポレーシヨン 頭部取り付け表示系
US7343195B2 (en) 1999-05-18 2008-03-11 Mediguide Ltd. Method and apparatus for real time quantitative three-dimensional image reconstruction of a moving organ and intra-body navigation
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US6891518B2 (en) * 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
CA2486520A1 (en) 2001-06-13 2002-12-19 Volume Interactions Pte. Ltd. Guide systems for interacting with a subject, and methods therefor
US6947786B2 (en) * 2002-02-28 2005-09-20 Surgical Navigation Technologies, Inc. Method and apparatus for perspective inversion
US8010180B2 (en) 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
WO2003077763A2 (en) 2002-03-13 2003-09-25 Breakaway Imaging, Llc Systems and methods for quasi-simultaneous multi-planar x-ray imaging
WO2003081220A2 (en) 2002-03-19 2003-10-02 Breakaway Imaging, Llc Computer tomograph with a detector following the movement of a pivotable x-ray source
EP1511423B1 (en) 2002-06-11 2007-08-15 Breakaway Imaging, Llc Cantilevered gantry apparatus for x-ray imaging
US6901941B2 (en) 2002-07-10 2005-06-07 Air Products And Chemicals, Inc. Vessel with optimized purge gas flow and method using same
US7106825B2 (en) 2002-08-21 2006-09-12 Breakaway Imaging, Llc Apparatus and method for reconstruction of volumetric images in a divergent scanning computed tomography system
US7835778B2 (en) 2003-10-16 2010-11-16 Medtronic Navigation, Inc. Method and apparatus for surgical navigation of a multiple piece construct for implantation
MXPA06011083A (es) 2004-03-26 2007-04-13 Atsushi Takahashi Sistema de cristal de aumento de entidad digital tridimensional, con funciones de instruccion visual tridimensional.
US20050228270A1 (en) 2004-04-02 2005-10-13 Lloyd Charles F Method and system for geometric distortion free tracking of 3-dimensional objects from 2-dimensional measurements
US7376903B2 (en) * 2004-06-29 2008-05-20 Ge Medical Systems Information Technologies 3D display system and method
US8060186B2 (en) 2007-02-15 2011-11-15 Siemens Aktiengesellschaft System and method for intraoperative guidance of stent placement during endovascular interventions
US8600478B2 (en) 2007-02-19 2013-12-03 Medtronic Navigation, Inc. Automatic identification of instruments used with a surgical navigation system
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
EP3714771A1 (en) 2008-10-01 2020-09-30 Inspire Medical Systems, Inc. System for treating sleep apnea transvenously
US9737235B2 (en) 2009-03-09 2017-08-22 Medtronic Navigation, Inc. System and method for image-guided navigation
WO2010117810A1 (en) 2009-03-31 2010-10-14 Inspire Medical Systems, Inc. Percutaneous access for systems of treating sleep-related disordered breathing
US8238631B2 (en) 2009-05-13 2012-08-07 Medtronic Navigation, Inc. System and method for automatic registration between an image and a subject
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
WO2011134083A1 (en) 2010-04-28 2011-11-03 Ryerson University System and methods for intraoperative guidance feedback
US8842893B2 (en) 2010-04-30 2014-09-23 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
US20120316486A1 (en) * 2010-08-20 2012-12-13 Andrew Cheung Surgical Component Navigation Systems And Methods
US20120099768A1 (en) 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
US9769912B2 (en) 2010-10-20 2017-09-19 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US8768029B2 (en) 2010-10-20 2014-07-01 Medtronic Navigation, Inc. Selected image acquisition technique to optimize patient model construction
US9807860B2 (en) 2010-10-20 2017-10-31 Medtronic Navigation, Inc. Gated image acquisition and patient model construction
US8562211B2 (en) 2011-03-30 2013-10-22 Medtronic Navigation, Inc. System and method for off-center imaging
US9411057B2 (en) 2011-04-01 2016-08-09 Medtronic Navigation, Inc. X-ray imaging system and method
WO2013040498A1 (en) * 2011-09-16 2013-03-21 Translucent Medical, Inc. System and method for virtually tracking a surgical tool on a movable display
US8891847B2 (en) 2012-01-23 2014-11-18 Medtronic Navigation, Inc. Automatic implant detection from image artifacts
US8670816B2 (en) 2012-01-30 2014-03-11 Inneroptic Technology, Inc. Multiple medical device guidance
CN113974689A (zh) 2012-03-07 2022-01-28 齐特奥股份有限公司 空间对准设备
US20130267833A1 (en) 2012-04-09 2013-10-10 General Electric Company, A New York Corporation Automatic instrument detection for surgical navigation
JP6017198B2 (ja) 2012-06-28 2016-10-26 オリンパス株式会社 内視鏡装置およびプログラム
US9192445B2 (en) 2012-12-13 2015-11-24 Mako Surgical Corp. Registration and navigation using a three-dimensional tracking sensor
US9710968B2 (en) 2012-12-26 2017-07-18 Help Lightning, Inc. System and method for role-switching in multi-reality environments
US20140221819A1 (en) * 2013-02-01 2014-08-07 David SARMENT Apparatus, system and method for surgical navigation
RU2621488C2 (ru) 2013-02-14 2017-06-06 Сейко Эпсон Корпорейшн Укрепляемый на голове дисплей и способ управления для укрепляемого на голове дисплея
US9717442B2 (en) 2013-03-15 2017-08-01 Medtronic Navigation, Inc. Method and system for navigating an instrument
WO2015061793A1 (en) 2013-10-25 2015-04-30 The University Of Akron Multipurpose imaging and display system
US10197803B2 (en) * 2014-03-28 2019-02-05 Alma Mater Studiorum—Universita' di Bologna Augmented reality glasses for medical applications and corresponding augmented reality system
DE102014206004A1 (de) 2014-03-31 2015-10-01 Siemens Aktiengesellschaft Triangulationsbasierte Tiefen- und Oberflächen-Visualisierung
US10639104B1 (en) 2014-11-07 2020-05-05 Verily Life Sciences Llc Surgery guidance system
EP3226799A4 (en) 2014-12-05 2018-07-25 Camplex, Inc. Surgical visualization systems and displays
US10013808B2 (en) * 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20160242623A1 (en) 2015-02-20 2016-08-25 Cefla Societá Cooperativa Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device
JP2016158911A (ja) 2015-03-03 2016-09-05 株式会社クレッセント 画像表示装置を使った外科手術方法及び、その外科手術に用いる装置
US20160324580A1 (en) * 2015-03-23 2016-11-10 Justin Esterberg Systems and methods for assisted surgical navigation
US20180140362A1 (en) 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
US10390890B2 (en) 2015-07-27 2019-08-27 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
US9675319B1 (en) * 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
JP2017164007A (ja) 2016-03-14 2017-09-21 ソニー株式会社 医療用画像処理装置、医療用画像処理方法、プログラム
US20180049622A1 (en) * 2016-08-16 2018-02-22 Insight Medical Systems, Inc. Systems and methods for sensory augmentation in medical procedures
US11839433B2 (en) 2016-09-22 2023-12-12 Medtronic Navigation, Inc. System for guided procedures
US20180092698A1 (en) * 2016-10-04 2018-04-05 WortheeMed, Inc. Enhanced Reality Medical Guidance Systems and Methods of Use

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090068620A1 (en) * 2005-06-09 2009-03-12 Bruno Knobel System and method for the contactless determination and measurement of a spatial position and/or a spatial orientation of bodies, method for the calibration and testing , in particular, medical tools as well as patterns or structures on, in particular, medical tools
US20090088634A1 (en) * 2007-09-30 2009-04-02 Intuitive Surgical, Inc. Tool tracking systems and methods for image guided surgery
CN103238339A (zh) * 2010-12-02 2013-08-07 尤特瑞登特生产公司 查看和跟踪立体视频图像的系统和方法
US20170202633A1 (en) * 2014-02-21 2017-07-20 The University Of Akron Imaging and display system for guiding medical interventions
US20160191887A1 (en) * 2014-12-30 2016-06-30 Carlos Quiles Casas Image-guided surgery with surface reconstruction and augmented reality visualization

Also Published As

Publication number Publication date
JP2021505226A (ja) 2021-02-18
AU2018378696A1 (en) 2020-05-07
US20190175058A1 (en) 2019-06-13
KR20200097747A (ko) 2020-08-19
CA3084998A1 (en) 2019-06-13
WO2019113334A1 (en) 2019-06-13
US11944272B2 (en) 2024-04-02
EP3720334A1 (en) 2020-10-14
US20190175059A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US11944272B2 (en) System and method for assisting visualization during a procedure
CN109996511B (zh) 用于引导进程的系统
US11750788B1 (en) Augmented reality guidance for spinal surgery with stereoscopic display of images and tracked instruments
US11883118B2 (en) Using augmented reality in surgical navigation
EP1011424A1 (en) Imaging device and method
US20230120638A1 (en) Augmented reality soft tissue biopsy and surgery system
Galloway et al. Overview and history of image-guided interventions
CN111631814B (zh) 术中血管立体定位导航系统及方法
US20230015717A1 (en) Anatomical scanning, targeting, and visualization
US20220409283A1 (en) Presentation device for displaying a graphical presentation of an augmented reality
US12010285B2 (en) Augmented reality guidance for spinal surgery with stereoscopic displays
EP3917430B1 (en) Virtual trajectory planning
AU2022349022A1 (en) Anatomical scanning, targeting, and visualization
KR20240064970A (ko) 혼합현실 기반 수술 지원 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination