CN114206251A - 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法 - Google Patents

用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法 Download PDF

Info

Publication number
CN114206251A
CN114206251A CN202080052031.5A CN202080052031A CN114206251A CN 114206251 A CN114206251 A CN 114206251A CN 202080052031 A CN202080052031 A CN 202080052031A CN 114206251 A CN114206251 A CN 114206251A
Authority
CN
China
Prior art keywords
image
surgical space
surgical
imaging modality
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080052031.5A
Other languages
English (en)
Inventor
P·施拉兹安
A·J·麦克劳德
D·普若克斯
M·阿兹安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114206251A publication Critical patent/CN114206251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Pulmonology (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

示例性系统访问由不同成像模态捕获的外科手术空间的影像，并且基于所访问的影像生成包括由不同成像模态捕获的外科手术空间的集成表示的合成影像。示例性合成图像包括由第一成像模态捕获的用由第二成像模态捕获的外科手术空间的集成表示增强的外科手术空间的表示。由第二成像模态捕获的外科手术空间的集成表示可以选择性地移动并且可以以提供视觉真实的深度外观的方式基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像生成。

Description

用于将通过不同成像模态捕获的影像集成到外科手术空间的 合成影像中的系统和方法
相关申请
本申请要求2019年5月31日提交的标题为“SYSTEMS AND METHODS FORINTEGRATING IMAGERY CAPTURED BY DIFFERENT IMAGING MODALITIES INTO COMPOSITEIMAGERY OF A SURGICAL SPACE”的美国临时专利申请No.62/855,755的优先权，其内容通过引用整体并入本文。
背景技术
在外科手术过程期间，内窥镜可用于捕获外科手术空间的内窥镜影像。内窥镜影像可以通过显示设备呈现给外科医生，使得外科医生可以在执行外科手术过程的同时可视化外科手术空间。内窥镜是一种用于捕获外科手术空间的影像的成像模态。
在一些情况下，可以使用一种或多种附加成像模态来捕获也可以呈现给外科医生的外科手术空间的附加影像。例如，超声扫描、计算机断层(CT)扫描和磁共振成像(MRI)扫描是可用于捕获外科手术空间的影像的其他成像模态。
可以将不同成像模态捕获的影像呈现给外科医生，使得外科医生可以在执行外科手术过程的同时可视化外科手术空间。然而，处理和呈现由不同外科手术空间成像模态捕获的影像的技术仍有改进的空间。
发明内容
以下描述呈现了本文描述的系统和方法的一个或多个方面的简化总结。本发明内容并非对所有预期方面的全面概述，并且既不旨在标识所有方面的主要或关键元素，也不划定任何或所有方面的范围。其唯一目的是将本文描述的系统和方法的一个或多个方面呈现为下面呈现的具体实施方式的序言。
一种示例性系统包括存储器，其存储指令；和处理器，其通信地耦合到存储器并被配置为执行指令以：确定图像呈现视点(image render viewpoint)，其中从图像呈现视点呈现外科手术空间的图像；从图像呈现视点的角度确定增强区域相对于外科手术空间的位置，增强区域相对于外科手术空间选择性地移动；从图像呈现视点的角度并且基于增强区域相对于外科手术空间的确定的位置，生成外科手术空间的合成图像(composite image)；以及指示显示设备以显示合成图像。合成图像可以包括：在增强区域相对于外科手术空间的确定的位置处的增强区域；在增强区域之外，由第一成像模态捕获的外科手术空间的第一部分的表示；以及在增强区域之内，由第二成像模态捕获的外科手术空间的第二部分的表示，外科手术空间的第二部分的表示基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像生成。
另一个示例性系统包括存储器，其存储指令；和处理器，其通信地耦合到存储器并且被配置为执行指令以：访问由第一成像模态捕获的外科手术空间的第一影像；访问由第二成像模态捕获的外科手术空间的第二影像，第二成像模态不同于第一成像模态；基于由第一成像模态捕获的第一影像和由第二成像模态捕获的第二影像生成外科手术空间的合成图像；以及指示显示设备以显示合成图像。合成图像可以包括：由第一成像模态捕获的外科手术空间的第一部分的表示，外科手术空间的第一部分的表示基于由第一成像模态捕获的第一影像生成；集成在外科手术空间的第一部分的表示内的增强区域；以及在增强区域之内，由第二成像模态捕获的外科手术空间的第二部分的表示，外科手术空间的第二部分的表示包括由第二成像模态捕获的通过由第一成像模态捕获的外科手术空间的影像的特征修改的外科手术空间的影像的合成图(composition)。
一种示例性方法包括计算系统确定图像呈现视点，其中从图像呈现视点呈现外科手术空间的图像；从图像呈现视点的角度确定增强区域相对于外科手术空间的位置，增强区域相对于外科手术空间选择性地移动；从图像呈现视点的角度并基于增强区域相对于外科手术空间的所确定的位置，生成外科手术空间的合成图像；以及指示显示设备以显示合成图像。合成图像可以包括：在增强区域相对于外科手术空间的确定的位置处的增强区域；在增强区域之外，由第一成像模态捕获的外科手术空间的第一部分的表示；以及在增强区域之内，由第二成像模态捕获的外科手术空间的第二部分的表示，外科手术空间的第二部分的表示基于由第一成像模态捕获的外科手术空间的第一影像以及由第二成像模态捕获的外科手术空间的第二影像而生成。
附图说明
附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
图1图示了根据本文描述的原理的示例性成像模态集成系统。
图2图示了根据本文描述的原理的图1的成像模态集成系统，成像模态集成系统被配置为基于由不同成像模态捕获的影像来生成外科手术空间的合成影像。
图3图示了根据本文描述的原理的外科手术空间的示例性合成影像。
图4图示了根据本文描述的原理的图像呈现视点和增强区域相对于外科手术空间的示例性定位。
图5A图示了根据本文描述的原理的包括在外科手术空间中的示例性真实工作空间。
图5B图示了根据本文描述的原理的图5A的真实工作空间的示例性内窥镜图像。
图5C图示了根据本文描述的原理的从图5B的内窥镜图像提取的示例性斜坡图像。
图6A图示了根据本文描述的原理的示例性虚拟工作空间。
图6B图示了根据本文描述的原理的图6A的虚拟工作空间的示例性图像。
图6C图示了根据本文描述的原理的示例性蒙版图像。
图7图示了根据本文描述的原理的外科手术空间的示例性合成图像。
图8图示了根据本文描述的原理的示例性计算机辅助外科手术系统。
图9图示了根据本文描述的原理的示例性方法。
图10图示了根据本文描述的原理的示例性计算设备。
具体实施方式
本文描述了用于将由不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法。在某些示例中，成像模态集成系统可以被配置为通过生成包括由多个不同成像模态捕获的外科手术空间的集成表示的合成影像来集成由不同成像模态捕获的影像。例如，成像模态集成系统可以被配置为生成合成图像，该合成影像包括由第一成像模态捕获的外科手术空间的第一部分的表示和由第二成像模态捕获的外科手术空间的第二部分的集成表示。成像模态集成系统可以被配置为以一种方式将外科手术空间的第二部分的表示与外科手术空间的第一部分的表示进行集成，该方式增强由一种成像模态(例如，内窥镜成像)捕获的外科手术空间的影像与由第二成像模态(例如，超声、CT或MRI成像)捕获的外科手术空间的影像。
在某些示例中，成像模态集成系统可以被配置为基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像生成外科手术空间的第二部分的表示。例如，可以生成外科手术空间的第二部分的表示以包括外科手术空间的第二影像和外科手术空间的第一影像的特征的合成图。例如，为了产生外科手术空间的第二部分的表示，外科手术空间的第二影像可以与表示从外科手术空间的第一影像提取的梯度信息的斜坡影像组合。这种合成图可以产生与外科手术空间的第一部分的表示集成的外科手术空间的第二部分的表示的视觉上真实的外观(例如，促进深度感知的深度的外观)。在某些示例中，合成图是基于第一影像和第二影像的实际有机颜色生成的，而不使用人工或非照片级真实感颜色。本文描述了如何生成外科手术空间的第二部分的表示并将其与外科手术空间的第一部分的表示集成的示例。
在某些示例中，第一成像模态可以包括捕获包括在外科手术空间中的表面解剖结构的内窥镜影像的内窥镜成像(例如，通过内窥镜成像)，并且第二成像模态(例如，超声、CT或MRI成像)可以捕获包括在外科手术空间中的表面下解剖结构的影像。在这种示例中，成像模态集成系统可以被配置为生成合成影像(composite imagery)，该合成影像包括基于由内窥镜捕获的表面解剖结构的内窥镜影像生成的外科手术空间的第一部分的表示和外科手术空间的第二部分的集成表示，该集成表示基于由第二成像模态捕获的表面下解剖结构的影像生成。可以生成外科手术空间的第二部分的表示以包括由第二成像模态捕获的表面下解剖结构的影像和由内窥镜捕获的表面解剖结构的内窥镜影像的特征的合成图。例如，由第二成像模态捕获的表面下解剖结构的影像可以与从内窥镜影像中提取的斜坡影像组合以产生外科手术空间的第二部分的表示。当表示被集成到合成图像中时，这种合成图可以产生成像的表面下解剖结构相对于成像的表面解剖结构的视觉真实外观(例如，促进深度感知的深度的外观)。
在某些示例中，外科手术空间的第二部分可以通过对计算机辅助外科手术系统的用户输入来动态选择或由计算机辅助外科手术系统(例如，通过执行自动扫描)自动选择。例如，成像模态集成系统可以被配置为提供增强区域(例如，表示增强区域的虚拟对象)，该增强区域基于对计算机辅助外科手术系统的用户输入或基于由计算机辅助外科手术系统控制的自动移动(例如，作为自动扫描的一部分)相对于外科手术空间可选择性地移动。在外科手术期间的任何给定时间，成像模态集成系统可以被配置为确定增强区域相对于外科手术空间的位置，并且使用增强区域相对于外科手术空间的确定的位置来确定外科手术空间的第一部分和第二部分将用于生成外科手术空间的合成图像。例如，成像模态集成系统可以被配置为将外科手术空间的第一部分识别为外科手术空间的从图像呈现视点的角度来看在增强区域之外的部分，并且将外科手术空间的第二部分识别为外科手术空间的从图像呈现视点的角度来看在增强区域的确定位置之内的部分。成像模态集成系统可以使用外科手术空间的所识别的第一部分和第二部分来生成外科手术空间的合成图像。如本文所描述的，合成图像可以包括分别由第一成像模态和第二成像模态捕获的外科手术空间的第一部分和第二部分的集成表示。
为了说明示例，成像模态集成系统可以被配置为：确定图像呈现视点，其中从图像呈现视点呈现外科手术空间的图像呈现；从图像呈现视点的角度确定增强区域相对于外科手术空间的位置；并从图像呈现视点的角度并基于增强区域相对于外科手术空间的确定的位置生成外科手术空间的合成图像，使得合成图像包括：在增强区域相对于外科手术空间的确定的位置处的增强区域(例如，增强区域的表示)；在增强区域之外，由第一成像模态捕获的外科手术空间的第一部分的表示；以及在增强区域之内，由第二成像模态捕获的外科手术空间的第二部分的表示。外科手术空间的第二部分的表示可以以本文描述的任何方式生成并且可以基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像。
本文描述的系统和方法可以提供各种优点和益处。例如，本文描述的系统和方法可以以一种方式将不同成像模态捕获的影像集成到外科手术空间的合成影像中，该方式在合成影像内产生由不同的成像模态捕获的外科手术场景的影像的集成的和视觉真实的外观。本文描述的系统和方法可以将生成的合成影像呈现给计算机辅助外科手术系统的用户，例如利用计算机辅助外科手术系统执行外科手术过程的外科医生。所呈现的合成影像对于外科医生来说可以是视觉上真实的和直观的，可以为外科医生降低外科手术过程的复杂性(例如，通过消除外科医生在精神上对准以非集成方式单独呈现的外科手术空间的影像的需要)，可以允许外科医生同时、方便和直观地可视化集成在合成影像中的表面和表面下解剖结构，和/或可以允许外科医生提供输入以方便和动态地选择外科手术空间要被增强的一部分，使得可以使用与用于查看外科手术空间的另一部分不同的成像模态来查看所选部分(例如，通过选择外科手术空间的一部分，在该部分处将表面下解剖结构的影像显示作为对正在显示的表面解剖的影像的增强)。此外，与基于人工或非照片级真实感颜色生成的合成影像相比，基于所捕获影像的实际有机颜色生成的合成影像在外观上可能更真实(例如，促进更好的深度感知)。
本文描述的系统和方法的这些和其他优点和益处将本文变得明显。
图1图示了示例性成像模态集成系统100(“系统100”)，其被配置为集成由不同成像模态捕获的影像，包括通过使用捕获的影像来生成合成影像，该合成影像包括由不同成像模态捕获的外科手术空间的部分的集成表示。系统100可以被包括在计算机辅助外科手术系统的一个或多个部件中、由其实施或连接到计算机辅助外科手术系统的一个或多个部件。例如，系统100可以由计算机辅助外科手术系统的一个或多个部件实施。作为另一个示例，系统100可以由通信耦合到计算机辅助外科手术系统的独立计算系统来实施。下面进一步描述示例性计算机辅助外科手术系统。
如图1所示，系统100可包括选择性地且可通信地彼此耦合的存储设施102和处理设施104。设施102和104中的每一个可以包括一个或多个物理计算设备或由其实施，一个或多个物理计算设备包括硬件和/或软件部件，诸如处理器、存储器、存储驱动器、通信接口、存储在存储器中供处理器执行的指令等。虽然设施102和104在图1中被示为分开的设施，但该设施102和104可以组合成更少的设施，诸如组合成单个设施，或者被分成更多的设施，以服务于特定的实施方式。在一些示例中，设施102和104中的每一个可以分布在多个设备和/或多个位置之间，以服务于特定的实施方式。
存储设施102可以维护(例如，存储)由处理设施104使用的可执行数据以执行本文描述的一个或多个操作。例如，存储设施102可存储可由处理设施104执行的指令106以执行本文所描述的一个或多个操作。指令106可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例实施。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)与将由不同成像模态捕获的影像集成到外科手术空间的合成影像相关联的各种操作。例如，处理设施104可以被配置为生成合成影像，该合成影像包括由多个不同成像模态捕获的外科手术空间的集成表示。例如，处理设施104可以被配置为生成合成图像，该合成影像包括由第一成像模态捕获的外科手术空间的第一部分的表示和由第二成像模态捕获的外科手术空间的第二部分的表示。处理设施104可以被配置为将外科手术空间的第二部分的表示与外科手术空间的第一部分的表示集成，使得这些表示成为合成图像内的集成整体。处理设施104可以以本文描述的任何方式并且以将通过由一个成像模态(例如，内窥镜成像)捕获的外科手术空间的影像与由第二成像模态(例如，超声、CT或MRI成像)捕获的外科手术空间的影像增强的方式来执行集成。
本文描述了可以由处理设施104执行的这些和其他操作。在下面的描述中，对系统100执行的操作的任何引用都可以理解为由系统100的处理设施104执行。
图2图示了配置200，其中系统100被配置为基于由不同成像模态捕获的影像来生成外科手术空间的合成影像。如图所示，配置200可以包括多个成像模态202(例如，成像模态202-1和202-2)，该成像模态被配置为捕获外科手术空间206的影像204(例如，由成像模态202-1捕获的影像204-1和由成像模态202-2捕获的影像204-2)。
外科手术空间206可以包括与外科手术过程相关联的任何体积空间。例如，外科手术空间206可以包括患者身体的任何一个或多个部分，例如与外科手术过程相关联的空间中的患者的解剖结构208(例如，组织等)。在某些示例中，外科手术空间206可以完全设置在患者内并且可以包括在患者内靠近计划要执行、正在执行或已经执行外科手术的位置的空间。例如，对于在患者体内的组织上执行的微创外科手术过程，外科手术空间206可以包括组织、组织下面的解剖结构以及组织周围位于例如正使用外科手术器械以执行外科手术过程的位置的空间。在其他示例中，外科手术空间206可以至少部分地设置在患者体外。例如，对于对患者执行的开放式外科手术过程，外科手术空间206的一部分(例如，在其上操作的组织)可以在患者体内，而外科手术空间206的另一部分(例如，组织周围可以设置一个或多个外科手术器械的空间)可以在患者体外。外科手术空间206可以包括在其中执行外科手术过程的真实工作空间，例如与患者相关联的实际的真实世界工作空间并且其中一个或多个外科手术器械用于对患者执行外科手术过程。
如本文所使用的，外科手术过程可包括任何医疗外科手术过程，包括其中手动和/或器械技术被用于患者以调查或治疗患者的身体状况的任何诊断或治疗过程。外科手术过程可以指医疗过程的任何阶段，例如外科手术过程的术前、术中(即，手术中的)和术后阶段。
成像模态202可以被配置和/或用于捕获外科手术空间206的影像204。这种捕获由图2中的虚线210表示。成像模态202均可以以任何合适的方式在任何合适的时间捕获外科手术空间206的影像204。因此，一种或多种成像模态202可以在外科手术的一个或多个术前、术中和/或术后阶段期间捕获外科手术空间206的影像204。
成像模态202可包括可用于捕捉外科手术空间的影像的任何一组不同的成像模态。成像模态204的示例包括但不限于由内窥镜进行的内窥镜成像、由超声机进行的超声成像、由CT机进行的CT成像和由MRI机进行的MRI成像。在其他示例中可以使用任何合适的附加或替代成像模态。在某些实施方式中，成像模态202-1可以包括由内窥镜进行的内窥镜成像，并且成像模态202-2可以包括任何不同的成像模态，例由超声机进行的超声成像、由CT机进行的CT成像或由MRI机进行的MRI成像。在这种实施方式中，成像模态202-1可以捕获作为外科手术空间206的内窥镜影像的影像204-1，并且成像模态202-2可以捕获作为外科手术空间206的超声影像、CT影像或MRI影像的影像204-2。
在某些示例中，成像模态202-1可以被配置为捕获包括在外科手术空间中的表面解剖结构(例如，包括在外科手术空间中的组织的外表面)的影像，并且成像模态202-2可以被配置为捕获包括在外科手术空间中的表面下解剖结构(例如，包括在外科手术空间中的组织的外表面后面的表面下组织)的影像。例如，成像模态202-1可以包括由内窥镜进行的内窥镜成像，该内窥镜成像捕获患者体内的表面组织的图像，并且成像模态202-1可以包括捕获表面下组织的图像的超声、CT或MRI成像，表面下组织从内窥镜的角度来看位于内窥镜的后面并且从内窥镜的视图来看被患者体内的表面组织隐藏起来。
如上所述，每个成像模态202可以在任何合适的时间(例如在外科手术过程的一个或多个任何阶段期间)捕获外科场景206的影像204。在某些示例中，成像模态202可以同时捕获外科手术空间206的影像204。例如，成像模态202-1可以在外科手术过程期间(例如，在外科手术过程的操作阶段期间)捕捉内窥镜影像，并且成像模态202-1可以在外科手术过程期间同时捕捉另一种类型的影像。在其他示例中，成像模态202可以在不同时间和/或在外科手术过程的不同阶段期间捕获外科手术空间206的影像204。例如，成像模态202-1可以在外科手术过程的术中阶段期间捕捉内窥镜影像，并且成像模态202-2可以在外科手术过程的术前阶段期间捕捉另一种类型的影像。
外科手术空间206的影像204可以包括由成像模态202捕获的外科手术空间206的图像。例如，影像204可以包括外科手术空间206的内窥镜图像、超声图像、CT图像、MRI图像和/或任何其他合适形式的图像。影像204可以包括由任何合适数据格式中的数据表示的任何合适类型的图像。例如，影像204可以包括静止帧图像、视频、彩色图像、红外图像和/或可以在视觉上表示外科手术空间206的任何其他类型的图像。由成像模态捕获的图像可以包括具有表示由成像模态捕获的外科手术空间206的外观的值(例如，颜色值、亮度值等)的像素网格。捕获的图像中像素的颜色值可以表示由成像模态捕获的外科手术空间的实际有机颜色。
附加地或可替代地，影像204可以包括基于由成像模态执行的成像而生成的外科手术空间206的一个或多个模型。例如，影像204可以包括基于由成像模态执行的成像而生成的外科手术空间206的三维(3D)模型，该成像例由超声机、CT机、MRI机或其他合适的成像模态执行的成像。3D模型可以是包括体素(即，体积像素)的全体积模型，该体素具有表示模型内的3D点处的外科手术空间206的外观的值(例如，颜色值、亮度值等)。这种体积模型可以促进3D模型的任何切片被系统100识别和使用以产生3D模型的切片的图像。切片图像中像素的颜色值可以表示由成像模态捕获的外科手术空间的实际有机颜色。
虽然图2描绘了分别捕获作为输入提供给系统100的影像204-1和204-2的两个成像模态202-1和202-2，其他示例可以包括任何合适数量和/或配置的多个不同的成像模态，其捕获影像作为输入提供给系统100，用于生成外科手术空间206的合成影像。例如，三个或更多个不同的成像模态可以捕获输入到系统100的影像以用于生成外科手术空间206的合成影像。
系统100可以基于由成像模态202捕获的影像204生成外科手术空间206的合成影像212。系统100可以以本文所描述的任何方式执行此操作以生成合成影像，该合成影像包括由不同成像模态202捕获的外科手术空间206的部分的集成表示。本文描述了这种合成影像的示例以及如何生成合成影像。
系统100可以指示显示设备214以显示合成影像212。例如，系统100可以向显示设备214提供表示合成影像212的数据，显示设备214可以被配置为显示合成影像212以供计算机辅助外科手术系统的用户查看。显示设备214可以包括能够接收和处理影像数据以显示一个或多个图像的任何设备。为此，显示设备214可以包括在其上可以显示图像的一个或多个显示屏。在某些示例中，显示设备214可以是计算机辅助外科手术系统的部件或通信连接到计算机辅助外科手术系统。
图3图示了可以由系统100生成并由显示设备显示的示例性合成图像300。合成图像300可以是外科手术空间的图像并且可以包括相对于外科手术空间定位的增强区域的表示302。增强区域302在合成图像300内的定位可以表示增强区域3002相对于外科手术空间的位置和/或根据增强区域302相对于外科手术空间的位置(例如，表示增强区域302的虚拟对象的位置)来确定。本文描述了增强区域302相对于外科手术空间的定位的示例。
增强区域302可以是定义合成图像300内的区的任何合适的形状。例如，增强区域302可以是圆形、椭圆形、四边形(例如矩形、扇形)、三角形或任何其他合适的形状。
增强区域302在合成图像300内的定位可以定义合成图像300的两个部分——在增强区域302之外的第一部分，以及在增强区域302之内的第二部分。在合成图像300的在增强区域302之外的第一部分中，合成图像300可以包括由第一成像模态捕获的外科手术空间的第一部分的表示304。例如，表示304可以包括由第一成像模态捕获的外科手术空间的影像，例由第一成像模态202-1捕获的影像204-1。在增强区域302之内的合成图像300的第二部分中，合成图像300可以包括由第二成像模态捕获的外科手术空间的第二部分的表示306。例如，表示306可以包括由第二成像模态捕获的并被由第一成像模态捕获的外科手术空间的影像的特征修改的外科手术空间的影像，例由第二成像模态202-2捕获的并且被由第一成像模态202-1捕获的影像204-1的特征修改的影像204-2。因此，外科手术空间的第二部分的表示306可以基于影像204-1和影像204-2两者生成并且可以包括影像204-2和影像204-1的特征(例如，梯度信息)的合成图。如本文所指示的，当表示306与合成图像300中的表示304集成时，该合成图可以创建表示306的深度的视觉真实的外观。在图3中，表示304被图示为包括对角线，并且表示306被图示为包括竖直线以指示表示304和306表示由不同成像模态捕获的外科手术空间。
在合成图像300中，由第一成像模态捕获的外科手术空间的第一部分的表示304用由第二成像模态捕获的外科手术空间的第二部分的集成的表示306来增强。因此，查看合成图像300的外科医生和/或其他外科手术团队成员可以同时可视化由不同成像模态捕获的外科手术空间的部分的集成的表示304和306。因为表示306在位置上集成在表示304内，外科医生可以将由不同成像模态捕获的外科手术空间可视化，而不必在心理上将表示304和306彼此对准，并且如果表示304和306是分开呈现的，并且没有在位置上相互集成，则外科手术空间将是所需的。
在某些示例中，增强区域302可以通过对计算机辅助外科手术系统的用户输入而相对于外科手术空间可移动。计算机辅助外科手术系统可被配置为接收可用于相对于外科手术空间移动增强区域302的任何合适的用户输入。这种输入可以包括按钮的致动、控制器(例如，操纵杆控制器、主控制器等)的移动、连接到计算机辅助外科手术系统的外科手术器械的移动(例如，超声探头或增强区域302从其投射的其他外科手术器械的移动)和/或任何其他合适的用户输入。
增强区域302的这种移动可以允许计算机辅助外科手术系统的用户在外科手术过程中即时选择外科手术空间的特定部分，该部分将被视为由第二成像模态捕获而不是由第一成像模态捕获。这可以允许外科医生动态地“聚焦”外科手术空间的选择部分，以便查看由第二成像模态捕获的选择部分。例如，表示304可以表示由内窥镜捕获的患者的表面解剖结构，并且表示306可以表示由不同的成像模态(例如超声、CT或MRI设备)捕获的患者的表面下解剖结构。在该示例中，外科医生可以定位增强区域302以在外科手术空间的选择部分处查看表面下解剖结构，同时仍然在外科手术空间的另一部分处查看表面解剖结构。在这种实施方式中，增强区域302可以用作虚拟切除区域(例如，虚拟切除平面)，外科医生可以使用该虚拟切除区域来选择要从视图虚拟切除的表面解剖结构的表示的一部分以显露位于表面解剖结构后面的表面下解剖结构的表示(例如，外科手术空间的术前3D模型中的虚拟切割平面，其与外科手术空间的内窥镜视图配准)。
增强区域302相对于外科手术空间的移动可以包括相对于外科手术空间在一个或多个任何合适的方向上的移动。例如，该移动可以包括跨外科手术空间的图像平移增强区域302的横向移动。附加地或可替代地，该移动可以包括深度移动，该深度移动改变增强区域302距透视视点的距离，从该透视视点呈现外科手术空间的图像。增强区域302的这种深度移动可以将增强区域302定位在相对于外科手术空间的不同深度处，该位置可以用于识别要呈现的外科手术空间的虚拟表示的切片(例如，被映射到外科手术空间的虚拟表示的3D模型的切片)。增强区域302的这种自由移动可以为计算机辅助外科手术系统的用户提供灵活性以在外科手术期间即时选择要增强的外科手术空间的特定部分和要用于增强的影像。
为了生成外科手术空间的合成图像，系统100可以确定图像呈现视点，其中从图像呈现视点呈现外科手术空间的图像呈现，并且从图像呈现视点的角度确定增强区域相对于外科手术空间的位置。系统100可以从图像呈现视点的角度并基于增强区域相对于外科手术空间的确定位置来生成外科手术空间的合成图像。合成图像可以包括：在增强区域相对于外科手术空间的确定位置处的增强区域；在增强区域之外，由第一成像模态捕获的外科手术空间的第一部分的表示；在增强区域之内，由第二成像模态捕获的外科手术空间的第二部分的表示。外科手术空间的第二部分的表示可以以本文描述的任何方式生成并且可以基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态捕获的外科手术空间的第二影像。
图4图示了具有图像呈现视点402和相对于外科手术空间400定位的增强区域404的外科手术空间400的示例性描绘。虽然该描绘示出二维(2D)视图，但关于2D视图描述的原理也适用于具有图像呈现视点402和相对于外科手术空间定位的增强区域404的外科手术空间的3D视图。
如图4所示，外科手术空间400包括解剖结构406，其包括表面解剖结构408和表面下解剖结构410。表面下解剖结构410可以包括从图像呈现视点402的角度来看位于表面解剖结构408后面和/或从图像呈现视点402的角度来看被表面解剖结构408隐藏的任何解剖结构。在某些示例中，表面解剖结构408可以包括患者的组织的外层，并且表面下解剖结构410可以包括嵌入组织的外层内的解剖结构。
图像呈现视点402(“视点402”)可以是可以呈现外科手术空间400的图像的任何视点。视点402可以包括诸如内窥镜的成像模态的实际视点(例如，内窥镜的一个或多个相机的视点)。可替代地，视点402可以包括对应于诸如内窥镜的成像模态的实际视点的虚拟视点。视点402可以与成像设备的内在和外在特性相关联和/或表示其内在和外在特性，诸如内窥镜的一个或多个相机。视点402可以具有可以在其中呈现外科手术空间400的图像的视场。从视点400延伸的实线箭头412内的空间表示视点402的视场。
如图所示，视点402位于相对于外科手术空间400的位置处并且定义了从其可以呈现外科手术空间400的图像的透视图。图4所图示的视点402的位置仅是示例性的。视点402可以位于相对于外科手术空间400的任何位置，从该视点可以呈现外科手术空间400的图像。
增强区域404可以相对于外科手术空间400定位以限定外科手术空间400的要被增强的部分。增强区域404可以被定义为包括任何合适的形状、面积或体积，这些形状、面积或体积可以是相对于外科手术空间400定位以从视点402的角度描出外科手术空间400的将被增强的部分。在图4中，增强区域404被表示为平面形状的侧视图，平面形状可以是圆形、椭圆形、四边形或任何其他合适的平面形状。
在某些示例中，从视点402的角度，增强区域404可以是虚拟对象或虚拟对象的视图。例如，可以相对于外科手术空间定义和定位虚拟对象。虚拟对象可以是2D或3D对象。通过对计算机辅助外科手术系统的用户输入，虚拟对象可以相对于外科手术空间400移动。
在给定的时间点，系统100可以确定视点402和增强区域404相对于外科手术空间400的位置，并基于视点402和增强区域404相对于外科手术空间400的确定位置生成外科手术空间400的合成图像。在合成图像中，外科手术空间400的第一部分可以用第一成像模态捕获的影像表示，并且外科手术空间400的第二部分可以用第二成像模态捕获的影像表示。
为此，系统100可以使用视点402和增强区域404相对于外科手术空间400的所确定的位置来定义外科手术空间400的第一部分和第二部分。为了说明，图4示出了从视点402延伸并与增强区域404的边界相交以定义对准边界414的虚线。
在对准边界414内的空间之外的外科手术空间400的部分被称为外科手术空间400的未对准部分416，因为从视点402的角度来看，这些部分不与增强区域404对准。外科手术空间400的未对准部分416可以构成外科手术空间400的合成图像中的外科手术空间400的第一部分。
在对准边界414内的空间之内的外科手术空间400的部分被称为外科手术空间400的对准部分418，因为从视点402的角度来看，该部分与增强区域404对准。外科手术空间400的对准部分418可以构成外科手术空间400的合成图像中的外科手术空间400的第二部分。
在外科手术空间400的合成图像中，外科手术空间400的第一部分的表示(外科手术空间400的未对准部分416的表示)可以基于由第一成像模态捕获的影像生成。例如，第一成像模态可以包括定位在视点402处以捕获外科手术空间400的内窥镜影像的内窥镜，并且外科手术空间400的第一部分的表示可以包括外科手术空间400的未对准部分416中的表面解剖结构408的内窥镜影像。
在外科手术空间400的合成图像中，外科手术空间400的第二部分的表示(外科手术空间400的对准部分418的表示)可以基于由不同于第一成像模态的第二成像模态捕获的影像生成。例如，第二成像模态可以包括捕获外科手术空间400的超声、CT或MRI影像的超声、CT或MRI设备，并且外科手术空间400的第二部分的表示可以包括外科手术空间400的对准部分418中的表面解剖结构408或表面下解剖结构410的超声、CT或MRI影像。在基于外科手术空间400的对准部分418中的表面下解剖结构410的影像而生成外科手术空间400的第二部分的表示的示例中，影像可以是表面下解剖结构410的影像和表面解剖结构408后面的一个或多个任何深度的影像。在一些实施方式中，由第二成像模态捕获的表面下解剖结构410的影像的深度可以通过对计算机辅助外科手术系统的用户输入(例如，通过移动增强区域404的用户输入)以一种方式来进行选择(例如，在外科手术过程期间即时)，该方式改变视点402和增强区域404之间的距离和/或移动增强区域404以选择表面下解剖结构410内的深度。
如本文所描述的，合成图像中的外科手术空间400的第二部分的表示可以基于由第二成像模态捕获的影像和由第一成像模态捕获的影像生成。例如，外科手术空间400的第二部分的表示可以包括由第二成像模态捕获的对准区域418内的表面下解剖结构410的影像和由第一成像模态捕获的对准区域418内的表面解剖结构408的影像的特征的合成图。例如，系统100可以从对准区域418内的表面解剖结构408的影像中提取梯度信息并且生成表示所提取的梯度信息的斜坡影像。系统100可以用斜坡影像修改由第二成像模态捕获的对准区域418内的表面下解剖结构410的影像，诸如通过将提取的斜坡影像和在由第二成像模态捕获的对准区域418内的表面下解剖结构410的影像求和以生成对于在合成图像中的外科手术空间400的第二部分的表示的合成图。如所描述的，该合成图可以提供合成图像中的表面下解剖结构410相对于表面解剖结构408的深度的视觉真实表示。
在某些示例中，可以使用表面解剖结构408和/或表面下解剖结构410的影像的实际有机颜色值，而不使用人工或非照片级真实感颜色来执行从表面解剖结构408的影像提取的坡度影像与表面下解剖结构410的影像的组合。这可以有助于外科手术空间的视觉真实表示，包括合成图像中的表面下解剖结构410相对于表面解剖结构408的深度的视觉真实表示。
现在将描述生成外科手术空间的合成图像的示例性方式。图5A图示了可以包括在外科手术空间中的真实工作空间502。真实工作空间502可以是位于被配置为捕获工作空间的内窥镜影像的内窥镜504前面的真实世界物理工作空间。在某些示例中，真实工作空间502可以包括患者的解剖结构506和在真实工作空间502中相对于解剖结构506定位的一个或多个外科手术器械508(例如，外科手术器械508-1和508-2)。在所示示例中，外科手术器械508-1是抓取工具，并且外科手术器械508-2是超声探头。
系统100可以访问真实工作空间502的真实图像。例如，系统100可以访问由内窥镜504捕获的真实工作空间502的真实图像。图5B图示了由内窥镜504捕获的真实工作空间502的真实图像(R)的示例。
系统100可以从真实图像(R)生成斜坡图像。例如，系统100可以从真实图像(R)中提取梯度信息并且使用所提取的梯度信息来生成表示从真实图像(R)中提取的梯度信息的斜坡图像。梯度信息可以表示真实图像(R)的特征的方向变化，例如强度、颜色或真实图像(R)的另一特征的方向变化。梯度信息可以表示一个或多个方向的变化。
图5C图示了从真实图像(R)中提取的斜坡图像(S)的示例。斜坡图像(S)在图5C中以黑色和白色图示出。然而，斜坡图像(S)可以包括表示倾斜度的各种色调的黑色、白色和/或灰色。斜坡图像(S)可以表示任何合适的梯度信息，包括水平梯度、竖直梯度、一个或多个其他方向梯度、或其任何组合或子组合。
系统100可以生成和维护表示真实工作空间502的虚拟工作空间。虚拟工作空间可以是3D空间(例如，3D坐标空间)，由不同成像模态捕获的真实工作空间502的影像可以映射到该3D空间。例如，由内窥镜504捕获的内窥镜影像和由一个或多个其他成像模态捕获的其他影像可以被映射到虚拟工作空间，使得内窥镜影像和其他影像在虚拟工作空间中相互配准。
可以以任何合适的方式执行配准。例如，深度值可以被确定并且与真实图像(R)中的像素相关联以生成与像素的颜色值相关联的3D坐标点的3D网格。3D网格可以映射到虚拟工作空间。
在由另一成像模态捕获的其他影像包括外科手术空间的3D模型的示例中，系统100可以将3D模型映射到虚拟工作空间。这可以以任何合适的方式执行并且可以包括系统100将3D模型中的特征配准到从内窥镜影像生成的3D网格和与内窥镜影像相关联的深度信息的匹配特征。因此，可以将3D模型配准到虚拟工作空间中的3D网格。
在由另一种成像模态捕获的其他影像包括外科手术空间的2D图像并且2D图像的深度数据可用的示例中，系统100可以将2D图像映射到虚拟工作空间，类似于系统100如何将内窥镜影像映射到虚拟工作空间。在由另一种成像模态捕获的其他影像包括外科手术空间的2D图像但2D图像的深度数据不可用的示例中，系统100可以将2D图像投射到虚拟工作空间中的任何合适的表面，例如表示虚拟工作空间中的增强区域的虚拟对象的表面。
图6A图示了示例性虚拟工作空间602，其可以是由系统100基于和/或表示真实工作空间502生成。虚拟工作空间602可以包括真实工作空间502的元素的虚拟表示，例如解剖结构506的虚拟表示606和外科手术器械508(例如，外科手术器械508-1和508-2)的虚拟表示608(例如，虚拟表示608-1和608-2)。系统100可以以任何合适的方式在虚拟工作空间中生成虚拟表示，包括基于真实工作空间502的真实图像(R)和与真实图像(R)相关联的深度信息。
虚拟工作空间602还可以包括图像呈现视点604(“视点604”)，其可以是对应于真实工作空间502中包括的内窥镜504的视点的虚拟视点。视点604可以基于内窥镜504的内在和外在特性来配置。视点604可以相对于虚拟工作空间602的其他元素定位并且可以表示从其可以呈现虚拟工作空间602的图像的视点透视图。
虚拟工作空间602还可以包括相对于虚拟工作空间602的其他元素定位的增强区域610。在图6A所示的示例中，通过以特定方式(例如，以特定方向、取向、姿态、形状等)从超声探头608-2投射增强区域610，基于超声探头608-2确定增强区域610的位置，使得增强区域610相对于超声探头608-2、视点604和虚拟工作空间602的其他元素定位。
系统100可以将由超声探头608-2捕获的影像投射到虚拟工作空间602中的增强区域610上。投射到增强区域610上的超声影像由图6A中的水平线填充图案612表示。虽然图6A中所图示的示例描绘了超声影像到增强区域610的投射，但由另一成像模态捕获的任何其他影像可以被投射到虚拟工作空间602中的增强区域610上。例如，系统100可以基于增强区域610相对于配准到虚拟工作空间602的3D模型的位置来确定3D模型的切片(例如，从CT或MRI影像生成的3D模型)并且将切片图像投射到增强区域610上。在这种示例中，从超声探头608-2投射的增强区域610可以用作占位符，外科手术空间602的配准3D模型的切片的图像可以在虚拟工作空间602中投射到该占位符上。
在某些示例中，可以通过对计算机辅助外科手术系统的用户输入的方式来选择投射到虚拟工作空间中的增强区域610上的图像。例如，计算机辅助外科手术系统的用户可以提供输入以从被投射到增强区域610上的一种成像模态图像切换到被投射到增强区域610上的另一种成像模态图像(例如，从超声图像切换到CT或MRI模型图像，反之亦然)。
系统100可以被配置为以任何合适的方式使用虚拟工作空间602来生成外科手术空间的合成图像。例如，系统100可以从视点604的角度生成虚拟工作空间602的图像。图6B图示了从视点604的角度由系统100呈现的虚拟工作空间602的图像(V)的示例，图像(V)可以被称为虚拟图像(V)。如本文所描述的，系统100可以被配置为使用虚拟图像(V)来生成外科手术空间的合成图像。
系统100可以基于虚拟工作空间602和/或虚拟图像(V)生成诸如二进制呈现蒙版图像的蒙版图像。蒙版图像在大小上可以对应于虚拟图像(V)并且可以包括与增强区域610的位置对准的第一部分(例如，增强区域610内的区)并被分配第一二进制值，以及不与增强区域610的位置对准的第二部分(例如，增强区域610之外的区)并被分配不同于第一二进制值的第二二进制值。图6C图示了可以由系统100基于虚拟图像(V)生成的蒙版图像(M)的示例。如图所示，蒙版图像(M)包括第一部分622，其包括表示一个二进制值的白色填充；以及第二部分624，其包括表示另一个二进制值的黑色填充。
系统100可以被配置为使用真实图像(R)、斜坡图像(S)、虚拟图像(V)和蒙版图像(M)来生成外科手术空间的合成图像(C)。例如，系统100可以执行基于真实图像(R)、斜坡图像(S)、虚拟图像(V)和蒙版图像(M)而生成合成图像(C)的混合函数。在某些实施方式中，系统100可以针对i、j分别在图像宽度和高度上迭代来执行以下混合函数：
C＝blend(R，S，V，M)＝M(i，j)＊(S(i，j)+V(i，j))+(1-M(i，j))＊R(i，j)在该混合函数中，蒙版图像(M)在与增强区域610对准的第一部分中可以具有二进制值“1”并且在不与增强区域610对准的第二部分中具有二进制值“0”。相应地，系统100可以对蒙版图像(M)中被设置为“0”的所有像素位置使用真实图像(R)并且可以对蒙版图像(M)中设置为“1”的所有像素位置使用虚拟图像(V)和斜坡图像(S)的混合输出。
基于该混合函数，合成图像(C)的第一部分可以包括由内窥镜504捕获的外科手术场景的表示，并且合成图像(C)的第二部分可以包括由另一种成像模态捕获的外科手术场景的表示。由另一成像模态捕获的外科手术场景的第二部分的表示可以包括由其他成像模态捕获的外科手术空间的影像和外科手术空间的内窥镜影像的特征的合成图。例如，为了产生外科手术空间的第二部分的表示，系统100可以将由其他成像模态捕获的外科手术空间的第二部分的影像(例如，其可以包括如映射到在虚拟工作空间602中的增强区域610和/或如在虚拟图像(V)中表示的影像)和从外科手术空间的第二部分的内窥镜影像中提取的梯度信息的斜坡影像进行组合。该组合可通过系统100执行混合函数在合成图像(C)的像素位置上迭代并选择性地使用真实图像(R)、斜坡图像(S)、虚拟图像(V)和蒙版图像(M)中的对应像素位置处的值(如混合函数所示)以生成合成图像(C)来执行。在某些示例中，这可以在不使用人工颜色来生成合成图像(C)的情况下执行。
图7图示了可以由系统100生成的合成图像(C)的示例，该系统100执行混合函数以基于真实图像(R)、斜坡图像(S)、虚拟图像(V)和蒙版图像(M)来生成合成图像(C)。如图所示，合成图像(C)可以包括增强区域610的表示702。在增强区域610的表示702之外，合成图像(C)包括外科手术空间的第一部分的表示704，该表示包括由内窥镜504捕获的表面解剖结构的内窥镜影像。在增强区域610的表示702之内，合成图像(C)包括由另一成像模态(例如，超声探头)捕获的外科手术空间的第二部分的表示706，该表示包括由其他成像模态捕获的影像和外科手术空间的第二区域的内窥镜影像(例如，内窥镜影像的斜坡)的特征的合成图。
合成图像(诸如合成图像(C))可以包括增强区域的任何合适的表示。这种表示可以包括合成图像中的外科手术场景的第一部分和第二部分的表示之间的边界或过渡的任何视觉表示。
虽然图5A至图7图示了其中第一成像模态包括内窥镜并且第二成像模态包括超声探头的示例，但由其他不同成像模态捕获的图像可以被类似地处理以生成外科手术空间的合成图像。在其他示例中，例如，第一成像模态可以包括内窥镜，并且第二成像模态可以包括CT或MRI机。在这种示例中，图像可以在外科手术过程的术前阶段期间由CT或MRI机捕获并进行处理以生成外科手术空间的3D模型。系统100可以将外科手术空间的3D模型配准到虚拟工作空间中的外科手术空间的内窥镜影像。系统100可以确定图像呈现视点相对于外科手术空间的位置，确定增强区域相对于外科手术空间的位置，并使用图像呈现视点的位置和增强区域相对于外科手术空间的位置以识别3D模型的图像(例如，3D图像的平面切片)以用于在增强区域内生成外科手术空间的表示。例如，系统100可以将所识别的3D模型的图像投射到虚拟工作空间中的增强区域上并且执行如本文所描述的混合函数以生成外科手术空间的合成图像。
在某些实施方式中，例如，系统100可以从定位在外科手术空间中的超声探头投射增强区域。为此，系统100可以从超声探头连接到的计算机辅助外科手术系统访问超声探头的跟踪信息(例如，位置信息、取向信息、移动信息、移动学信息等)并使用跟踪信息以识别外科手术空间内的超声探头的姿态(例如，超声探头的位置和取向)。系统100可以基于超声探头的姿态将增强区域投射到外科手术空间中(例如，投射到表示外科手术空间内的真实工作空间的虚拟工作空间中)。
在某些示例中，系统100可以生成外科手术空间的合成图像，该图像包括在增强区域之内的由超声探头捕获的外科手术空间的超声影像的表示。在其他示例中，系统100可以生成外科手术空间的合成图像，其包括在增强区域之内的由不同成像模态捕获的外科手术空间的一部分的表示。例如，增强区域之内的表示可以包括或可以基于外科手术空间的CT或MRI影像(例如，从外科手术空间的CT或MRI成像生成的外科手术空间的3D模型)。在这种示例中，从超声探头投射的增强区域可以用作在其上投射外科手术空间的基于CT或基于MRI的表示的虚拟切除区域和/或占位符。因此，计算机辅助外科手术系统的用户可提供输入以将超声探头定位在外科手术空间内以选择增强区域的位置以定义将用外科手术空间的配准的3D模型的图像增强的外科手术空间的一部分。如上所述，在某些示例中，系统100可以被配置为在表示由超声探头捕获的超声影像和表示由另一成像模态捕获的其他影像(例如，由CT或MRI机捕获的CT或MRI影像)之间切换增强区域内的表示。
使用超声探头来定义并相对于外科手术空间移动增强区域是某些示例的说明。其他示例可以实现不同的真实世界外科手术器械、虚拟对象或任何其他合适的机制，以供用户使用以相对于外科手术空间定义和移动增强区域。
如上所述，系统100可以在计算机辅助外科手术系统中实现或通信地耦合到计算机辅助外科手术系统。系统100可以从计算机辅助外科手术系统接收输入并向计算机辅助外科手术系统提供输出。例如，系统100可以从计算机辅助外科手术系统访问外科手术空间的影像和/或关于外科手术空间和/或计算机辅助外科手术系统的任何信息，使用所访问的影像和/或信息来执行任何本文描述的处理以生成外科手术空间的合成影像，并将表示合成影像的数据提供给计算机辅助外科手术系统用于显示(例如，通过与计算机辅助外科手术系统相关联的显示设备)。
图8图示了示例性计算机辅助外科手术系统800(“外科手术系统800”)。系统100可以由外科手术系统800实施，连接到外科手术系统800，和/或以其他方式与外科手术系统800结合使用。
如图所示，外科手术系统800可以包括相互通信耦合的操纵系统802、用户控制系统804和辅助系统806。外科手术系统800可以被外科手术团队用来对患者808执行计算机辅助的外科手术过程。如图所示，外科手术团队可以包括外科医生810-1、助理810-2、护士810-3和麻醉师810-4，他们都可以统称为“外科手术团队成员810”。附加的或替代的外科手术团队成员可能会在外科手术会议中出现，以服务于特定的实施方式。
虽然图8示出了正在进行的微创外科手术过程，但是应当理解，外科手术系统800可以类似地用于执行开放式外科手术过程或可以类似地受益于外科手术系统800的准确性和便利性的其他类型的外科手术过程。此外，将理解的是，可以在整个外科手术会议中采用外科手术系统800的外科手术会议可以不仅包括外科手术过程的术中阶段，如图8所示，但也可以包括术前、术后和/或外科手术过程的其他合适的阶段。
如图8所示，操纵系统802可包括多个操纵器臂812(例如，操纵器臂812-1至812-4)，多个外科手术器械可联接到多个操纵器臂812。每个外科手术器械可以由任何合适的外科手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜、超声工具等)、感测器械(例如，力-感测外科手术器械)、诊断器械等实施，它们可用于对患者808执行的计算机辅助外科手术过程(例如，通过至少部分插入患者808并被操纵以对患者808执行计算机辅助外科手术过程)。虽然操纵系统802在本文中被描绘和描述为包括四个操纵器臂812，但是应当认识到操纵系统802可以仅包括单个操纵器臂812或可以服务于特定实施方式的任何其他数量的操纵器臂。
操纵器臂812和/或附接到操纵器臂812的外科手术器械可以包括一个或多个位移传感器、取向传感器和/或用于生成原始(即未校正)移动学信息的位置传感器。外科手术系统800的一个或多个部件可以被配置为使用移动学信息以跟踪(例如，确定其位置)和/或控制外科手术器械。
用户控制系统804可以被配置为便于外科医生810-1控制操纵器臂812和附接到操纵器臂812的外科手术器械。例如，外科医生810-1可以与用户控制系统804交互以远程移动或操纵操纵器臂812和外科手术器械。为此，用户控制系统804可以向外科医生810-1提供由成像系统(例如，本文描述的任何医学成像系统)捕获的与患者808相关联的外科手术空间的影像(例如，高清晰度3D影像)。在某些示例中，用户控制系统804可以包括具有两个显示器的立体查看器，其中与患者808相关联并且由立体成像系统生成的外科手术空间的立体影像可以被外科医生810-1查看。在某些示例中，系统100生成的合成影像可由用户控制系统804显示。外科医生810-1可以通过附接到操纵臂812的一个或多个外科手术器械，利用由用户控制系统804显示的影像来执行一个或多个过程。
为了便于控制外科手术器械，用户控制系统804可以包括一组主控制器。这些主控制器可由外科医生810-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制器可以被配置为检测外科医生810-1的各种手、手腕和手指移动。以此方式，外科医生810-1可以使用一个或多个外科手术器械直观地执行过程。
辅助系统806可以包括一个或多个计算设备，该计算设备被配置为执行外科系统800的主要处理操作。在这种配置中，包含在辅助系统806中的一个或多个计算设备可以控制和/或协调由外科手术系统800的各种其他部件(例如，操纵系统802和用户控制系统804)执行的操作。例如，用户控制系统804中包括的计算设备可以通过辅助系统806中包括的一个或多个计算设备向操纵系统802传输指令。作为另一个示例，辅助系统806可以从操纵系统802接收和处理表示由附接到操纵器臂812之一的成像设备捕获的影像的图像数据。
在一些示例中，辅助系统806可以被配置为向外科手术团队成员810呈现视觉内容，该外科手术团队成员810可能无法访问在用户控制系统804处提供给外科医生810-1的图像。为此，辅助系统806可以包括显示监视器814，该显示监视器被配置为显示一个或多个用户界面，例如外科手术空间的图像(例如，2D图像)、与患者808和/或外科手术过程相关联的信息，和/或可以用于特定的实施方式的任何其他可视内容。例如，显示监视器814可以显示外科手术空间的图像(例如，由系统100生成的合成图像)以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器814由触摸屏显示器实施，外科手术团队成员810可以与其交互(例如，通过触摸手势)以向外科手术系统800提供用户输入。
操纵系统802、用户控制系统804和辅助系统806可以以任何合适的方式彼此通信耦合。例如，如图8所示，操纵系统802、用户控制系统804和辅助系统806可以通过控制线816通信耦合，控制线816可以表示可以服务于特定实施方式的任何有线或无线通信链路。为此，操纵系统802、用户控制系统804和辅助系统806可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图9示出了示例性方法900。虽然图9图示了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图9中所示的任何步骤。图9中所示的一个或多个操作可以由诸如系统100、其中包括的任何部件和/或其任何实施方式的计算系统来执行。
在操作902中，计算系统确定图像呈现视点，其中从图像呈现视点呈现外科手术空间的图像。操作902可以以本文描述的任何方式来执行。
在操作904中，计算系统从图像呈现视点的角度确定增强区域相对于外科手术空间的位置。操作904可以以本文描述的任何方式来执行。
在操作906中，计算系统从图像呈现视点的角度并基于增强区域相对于外科手术空间的所确定的位置来生成外科手术空间的合成图像。操作906可以以本文描述的任何方式来执行。
在操作908中，计算系统指示显示设备以显示合成图像。操作908可以以本文描述的任何方式来执行。
在操作806中生成的合成图像可以以任何合适的方式生成，包括以本文描述的方式中的任何方式生成。合成图像可以包括本文描述的任何示例性元素。例如，合成图像可以包括在增强区域相对于外科手术空间的确定的位置处的增强区域。在增强区域之外，合成图像可以包括由第一成像模态捕获的外科手术空间的第一部分的表示。在增强区域之内，合成图像可以包括由第二成像模态捕获的外科手术空间的第二部分的表示。
如本文所描述的，由第一成像模态捕获的外科手术空间的第一部分的表示可以包括由第一成像模态(例如，内窥镜)捕获的外科手术空间的第一影像和/或可以基于由第一成像模态(例如，内窥镜)捕获的外科手术空间的第一影像生成，并且外科手术空间的第二部分的表示可以基于由第一成像模态捕获的外科手术空间的第一影像和由第二成像模态(例如，超声探头、CT设备或MRI设备)捕获的外科手术空间的第二影像生成。例如，如本文所描述的，外科手术空间的第二部分的表示可以包括由第二成像模态捕获的外科手术空间的第二影像和由第一成像模态捕获的外科手术空间的第一影像的特征的合成图。
在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时，指令可以指导处理器和/或计算设备执行一个或多个操作，包括本文描述的一个或多个操作。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这种指令。
本文所指的非暂时性计算机可读介质可包括参与提供可由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任意组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电体随机存取存储器(“RAM”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如，动态RAM)。
图10示出了示例性计算设备1000，该计算设备1000可以被具体地配置为执行本文描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以由计算设备1000实施。
如图10所示，计算设备1000可以包括经由通信基础设施1010彼此通信连接的通信接口1002、处理器1004、存储设备1006和输入/输出(“I/O”)模块1008。虽然示例性计算设备1000在图1000中示出，但图10中所示的部件并非旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图10中所示的计算设备1000的部件。
通信接口1002可以被配置为与一个或多个计算设备通信。通信接口1002的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1004通常表示能够处理数据和/或解释、执行和/或指导执行本文描述的指令、过程和/或操作中的一个或多个运行的任何类型或形式的处理单元。处理器1004可以通过执行存储在存储设备1006中的计算机可执行指令1012(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
存储设备1006可以包括一个或多个数据存储介质、设备或配置并且可以采用任何类型、形式和数据存储介质和/或设备的组合。例如，存储设备1006可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以暂时地和/或永久地存储在存储设备1006中。例如，表示被配置为指示处理器1004执行本文描述的任何操作的计算机可执行指令1012的数据可以存储在存储设备1006内。在一些示例中，数据可以被安排在驻留在存储设备1006内的一个或多个数据库中。
I/O模块1008可以包括一个或多个I/O模块，其被配置为接收用户输入并提供用户输出。I/O模块1008可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1008可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1008可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1008被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以服务于特定实施方式的任何其他图形内容。
在前面的描述中，已经参考附图描述了各种示例性实施例。然而，很明显，可以对其进行各种修改和改变，以及在不脱离所附权利要求中阐述的本发明范围的情况下可以实施附加的实施例。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征组合或替代。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种系统，其包括：
存储器，其存储指令；以及
处理器，其通信地耦合到所述存储器并被配置为执行所述指令以：
确定图像呈现视点，其中从所述图像呈现视点呈现外科手术空间的图像呈现；
从所述图像呈现视点的角度确定增强区域相对于所述外科手术空间的位置，所述增强区域相对于所述外科手术空间选择性地移动；
从所述图像呈现视点的所述角度并基于所述增强区域相对于所述外科手术空间的所确定的位置，生成所述外科手术空间的合成图像，所述合成图像包括：
在所述增强区域相对于所述外科手术空间的所述所确定的位置处的所述增强区域，
在所述增强区域之外，由第一成像模态捕获的所述外科手术空间的第一部分的表示，以及
在所述增强区域之内，由第二成像模态捕获的所述外科手术空间的第二部分的表示，所述外科手术空间的所述第二部分的所述表示基于由所述第一成像模态捕获的所述外科手术空间的第一影像和由所述第二成像模态捕获的所述外科手术空间的第二影像生成；以及
指示显示设备以显示所述合成图像。
2.根据权利要求1所述的系统，其中所述外科手术空间的所述第二部分的所述表示包括由所述第二成像模态捕获的所述外科手术空间的所述第二影像和由所述第一成像模态捕获的所述外科手术空间的所述第一影像的特征的合成图。
3.根据权利要求2所述的系统，其中由所述第一成像模态捕获的所述外科手术空间的所述第一影像的所述特征包括从所述外科手术空间的所述第一影像提取的梯度信息。
4.根据权利要求3所述的系统，其中通过将由所述第二成像模态捕获的所述外科手术空间的所述第二影像和表示从所述外科手术空间的所述第一影像提取的所述梯度信息的斜坡影像求和来生成所述合成图。
5.根据权利要求1所述的系统，其中：
所述第一影像包括包含在所述外科手术空间的所述第一部分中的表面解剖结构的影像；以及
所述第二影像包括包含在所述外科手术空间的所述第二部分中的表面下解剖结构的影像。
6.根据权利要求1所述的系统，其中：
所述外科手术空间的所述第一部分的所述表示包括包含在所述外科手术空间的所述第一部分中的表面解剖结构的内窥镜影像；以及
所述外科手术空间的所述第二部分的所述表示包括以下项的合成图：
包括在所述外科手术空间的所述第二部分中的表面下解剖结构的影像，以及
从包括在所述外科手术空间的所述第二部分中的表面解剖结构的内窥镜影像中提取的斜坡影像。
7.根据权利要求1所述的系统，其中：
所述第一成像模态包括内窥镜成像模态；以及
所述第二成像模态包括超声成像模态、计算机断层扫描成像模态即CT成像模态和磁共振成像成像模态即MRI成像模态之一。
8.根据权利要求1所述的系统，其中：
从所述图像呈现视点的所述角度，所述外科手术空间的所述第一部分不与所述增强区域对准；以及
从所述图像呈现视点的所述角度，所述外科手术空间的所述第二部分与所述增强区域对准。
9.根据权利要求1所述的系统，其中所述增强区域从基于对计算机辅助外科手术系统的用户输入相对于所述外科手术空间可选择性地移动的外科手术器械投射。
10.根据权利要求1所述的系统，其中：
所述增强区域从超声探头投射，所述超声探头基于对计算机辅助外科手术系统的用户输入相对于所述外科手术空间可选择性地移动；
所述第一影像包括所述外科手术空间的内窥镜影像；以及
所述第二影像包括从所述外科手术空间的术前计算机断层扫描影像即CT影像或术前磁共振成像影像即MRI影像生成的三维模型即3D模型的切片图像。
11.根据权利要求1所述的系统，其中所述生成所述合成图像包括：
生成表示包括在所述外科手术空间中的真实工作空间的虚拟工作空间，所述虚拟工作空间包括：
由所述第一成像模态捕获的并映射到所述虚拟工作空间的所述外科手术空间的所述第一影像，
由所述第二成像模态捕获的并映射到所述虚拟工作空间的所述外科手术空间的所述第二影像，
表示映射到所述虚拟工作空间的所述图像呈现视点的虚拟视点，以及
表示所述增强区域并相对于所述第一影像、所述第二影像和所述虚拟工作空间中的所述虚拟视点定位的虚拟对象；以及
使用所述虚拟工作空间生成所述外科手术空间的所述合成图像。
12.根据权利要求11所述的系统，其中所述使用所述虚拟工作空间生成所述外科手术空间的所述合成图像包括：
生成所述虚拟工作空间的虚拟图像；
生成表示从所述外科手术空间的所述第一影像中提取的梯度信息的斜坡图像；以及
将所述虚拟工作空间的虚拟图像的部分和所述斜坡图像的对应部分组合以生成由所述第二成像模态捕获的所述外科手术空间的所述第二部分的所述表示。
13.一种系统，其包括：
存储器，其存储指令；以及
处理器，其通信地耦合到所述存储器并被配置为执行所述指令以：
访问由第一成像模态捕获的外科手术空间的第一影像；
访问由第二成像模态捕获的所述外科手术空间的第二影像，所述第二成像模态不同于所述第一成像模态；
基于由所述第一成像模态捕获的所述第一影像和由所述第二成像模态捕获的所述第二影像生成所述外科手术空间的合成图像，所述合成图像包括：
由所述第一成像模态捕获的所述外科手术空间的第一部分的表示，所述外科手术空间的所述第一部分的所述表示基于由所述第一成像模态捕获的所述第一影像生成，
集成在所述外科手术空间的所述第一部分的所述表示内的增强区域，以及
在所述增强区域之内，由所述第二成像模态捕获的所述外科手术空间的第二部分的表示，所生成的所述外科手术空间的所述第二部分的所述表示包括通过所述第一成像模态捕获的所述外科手术空间的影像的特征修改的由所述第二成像模态捕获的所述外科手术空间的影像的合成图；以及
指示显示设备以显示所述合成图像。
14.根据权利要求13所述的系统，其中由所述第一成像模态捕获的所述外科手术空间的所述影像的所述特征包括从由所述第一成像模态捕获的所述外科手术空间的所述影像提取的梯度信息。
15.根据权利要求13所述的系统，其中所述合成图是基于包括在由所述第一成像模态捕获的所述外科手术空间的所述影像和由所述第二成像模态捕获的所述外科手术空间的所述影像中的实际有机颜色而不使用人工颜色生成的。
16.一种方法，其包括：
由计算系统确定图像呈现视点，其中从所述图像呈现视点呈现外科手术空间的图像；
由所述计算系统并从所述图像渲染视点的角度，确定增强区域相对于所述外科手术空间的位置，所述增强区域相对于所述外科手术空间可选择性地移动；
由所述计算系统，从所述图像渲染视点的所述角度并基于所述增强区域相对于所述外科手术空间的确定的位置，生成所述外科手术空间的合成图像，所述合成图像包括：
在所述增强区域相对于所述外科手术空间的所述确定的位置处的所述增强区域，
在所述增强区域之外，由第一成像模态捕获的所述外科手术空间的第一部分的表示，以及
在所述增强区域之内，由第二成像模态捕获的所述外科手术空间的第二部分的表示，所述外科手术空间的所述第二部分的所述表示基于由所述第一成像模态捕获的所述外科手术空间的第一影像和由所述第二成像模态捕获的所述外科手术空间的第二影像生成；以及
由所述计算系统，指示显示设备以显示所述合成图像。
17.根据权利要求16所述的方法，其中所述外科手术空间的所述第二部分的所述表示包括由所述第二成像模态捕获的所述外科手术空间的所述第二影像和从由所述第一成像模态捕获的所述外科手术空间的所述第一影像提取的梯度信息的合成图。
18.根据权利要求16所述的方法，其中：
所述外科手术空间的所述第一部分的所述表示包括包含在所述外科手术空间的所述第一部分中的表面解剖结构的内窥镜影像；以及
所述外科手术空间的所述第二部分的所述表示包括以下项的合成图：
包括在所述外科手术空间的所述第二部分中的表面下解剖结构的影像，以及
从包括在所述外科手术空间的所述第二部分中的表面解剖结构的内窥镜影像中提取的斜坡影像。
19.根据权利要求16所述的方法，其中所述增强区域基于对计算机辅助外科手术系统的用户输入从相对于所述外科手术空间可选择性地移动的外科手术器械投射。
20.根据权利要求16所述的方法，其中：
所述增强区域从超声探头投射，所述超声探头可基于对计算机辅助外科手术系统的用户输入相对于所述外科手术空间选择性地移动；
所述第一影像包括所述外科手术空间的内窥镜影像；以及
所述第二影像包括从所述外科手术空间的术前计算机断层扫描影像即CT影像或术前磁共振成像影像即MRI影像生成的三维模型即3D模型的切片图像。
CN202080052031.5A 2019-05-31 2020-05-29 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法 Pending CN114206251A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855755P 2019-05-31 2019-05-31
US62/855,755 2019-05-31
PCT/US2020/035125 WO2020243432A1 (en) 2019-05-31 2020-05-29 Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space

Publications (1)

Publication Number Publication Date
CN114206251A true CN114206251A (zh) 2022-03-18

Family

ID=71833414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080052031.5A Pending CN114206251A (zh) 2019-05-31 2020-05-29 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法

Country Status (4)

Country Link
US (1) US20220218435A1 (zh)
EP (1) EP3975847A1 (zh)
CN (1) CN114206251A (zh)
WO (1) WO2020243432A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230105509A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging
WO2023052929A1 (en) * 2021-09-29 2023-04-06 Cilag Gmbh International Surgical devices, systems, and methods using multi-source imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999938A (zh) * 2011-03-09 2013-03-27 西门子公司 多模态体积图像的基于模型的融合的方法和系统
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航系统
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN105979900A (zh) * 2014-02-04 2016-09-28 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
WO2019006028A1 (en) * 2017-06-28 2019-01-03 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US8977026B2 (en) * 2012-05-30 2015-03-10 General Electric Company Methods and systems for locating a region of interest in an object
US11259879B2 (en) * 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999938A (zh) * 2011-03-09 2013-03-27 西门子公司 多模态体积图像的基于模型的融合的方法和系统
US20140303491A1 (en) * 2013-04-04 2014-10-09 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN103371870A (zh) * 2013-07-16 2013-10-30 深圳先进技术研究院 一种基于多模影像的外科手术导航系统
CN105979900A (zh) * 2014-02-04 2016-09-28 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化
WO2019006028A1 (en) * 2017-06-28 2019-01-03 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME

Also Published As

Publication number Publication date
WO2020243432A1 (en) 2020-12-03
US20220218435A1 (en) 2022-07-14
EP3975847A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
Bernhardt et al. The status of augmented reality in laparoscopic surgery as of 2016
US10706610B2 (en) Method for displaying an object
US10426345B2 (en) System for generating composite images for endoscopic surgery of moving and deformable anatomy
US20070236514A1 (en) Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
EP3295423A1 (en) Method and system for registration of 2d/2.5d laparoscopic and endoscopic image data to 3d volumetric image data
US20230050857A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
US20220215539A1 (en) Composite medical imaging systems and methods
WO2020205714A1 (en) Surgical planning, surgical navigation and imaging system
CN114206251A (zh) 用于将通过不同成像模态捕获的影像集成到外科手术空间的合成影像中的系统和方法
US20210378748A1 (en) Anatomical structure visualization systems and methods
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
KR20190030414A (ko) 의료 장치
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
US20210128243A1 (en) Augmented reality method for endoscope
Vogt et al. An AR system with intuitive user interface for manipulation and visualization of 3D medical data
Bichlmeier et al. Virtual window for improved depth perception in medical AR
US20220392607A1 (en) Image acquisition visuals for augmented reality
US20230145531A1 (en) Systems and methods for registering visual representations of a surgical space
US20230277035A1 (en) Anatomical scene visualization systems and methods
US20220296303A1 (en) Systems and methods for registering imaging data from different imaging modalities based on subsurface image scanning
CN106580477A (zh) 一种腹部外科精准手术系统及方法
Salah et al. Enhanced Intraoperative Visualization for Brain Surgery: A Prototypic Simulated Scenario.
WO2023018685A1 (en) Systems and methods for a differentiated interaction environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination