CN114126527A - 复合医学成像系统和方法 - Google Patents

复合医学成像系统和方法 Download PDF

Info

Publication number
CN114126527A
CN114126527A CN202080051681.8A CN202080051681A CN114126527A CN 114126527 A CN114126527 A CN 114126527A CN 202080051681 A CN202080051681 A CN 202080051681A CN 114126527 A CN114126527 A CN 114126527A
Authority
CN
China
Prior art keywords
image
surgical field
enhanced region
overlap
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051681.8A
Other languages
English (en)
Inventor
D·普若克斯
M·阿兹安
A·J·麦克劳德
P·施拉兹安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114126527A publication Critical patent/CN114126527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Master-slave robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/74—Manipulators with manual electric input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A61B2090/3735—Optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/374—NMR or MRI
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

复合医学成像系统可以指示显示设备显示图像，该图像显示了由成像设备捕获的外科手术区的视图和显示补充内容的增强区域，该外科手术区的视图显示了位于外科手术区处的表面解剖结构和位于外科手术区处的对象，该增强区域在外科手术区的视图的至少一部分上方创建遮挡。系统可以检测对象的至少一部分和增强区域的至少一部分之间的图像中的重叠。系统可以响应于重叠的检测而调整图像以减小增强区域在重叠内的遮挡程度。

Description

复合医学成像系统和方法
相关申请
本申请要求于2019年8月28日提交的题为“COMPOSITE MEDICAL IMAGING SYSTEMSAND METHODS”的美国临时专利申请号62/893,043和2019年5月31日提交的题为“SYSTEMSAND METHODS FOR INTEGRATING IMAGERY CAPTURED BY DIFFERENT IMAGING MODALITIESINTO COMPOSITE IMAGERY OF A SURGICAL SPACE”的美国临时专利申请号62/855,755的优先权，其内容通过引用整体并入本文。
背景技术
成像设备(例如，内窥镜)可在外科手术程序期间用于捕获与患者相关联的外科手术区的图像。可以在外科手术程序期间向外科医生(例如，以视频流的形式)呈现图像以帮助外科医生执行外科手术程序。在一些示例中，也可以在外科手术程序期间呈现诸如超声图像的补充内容。然而，为了不干扰外科手术程序，补充内容的呈现仍有改进的余地。
发明内容
为了提供对这些方面的基本理解，以下描述呈现了本文所描述的方法和系统的一个或多个方面的简化发明内容。本发明内容并非对所有预期方面的广泛概述，并且既不旨在确定所有方面的关键或重要要素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文以简化形式描述的方法和系统的一个或多个方面的一些概念作为下面呈现的更详细描述的序言。
一种示例性系统可以包括存储指令的存储器和通信地耦合到存储器并被配置为执行指令以进行以下操作的处理器：指示显示设备显示图像，该图像显示由成像设备捕获的与患者相关联的外科手术区的视图和显示补充内容的增强区域，外科手术区的视图显示位于外科手术区处的表面解剖结构和位于外科手术区处的对象，增强区域在外科手术区的视图的至少一部分上方创建遮挡；检测图像中对象的至少一部分和增强区域的至少一部分之间的重叠；响应于检测到重叠而调整图像以减小增强区域在重叠内的遮挡程度。
一种示例性方法可以包括通过复合医学成像系统指示显示设备显示图像，该图像显示了由成像设备捕获的与患者相关联的外科手术区的视图和显示补充内容的增强区域，该外科手术区的视图显示了位于外科手术区处的表面解剖结构和位于外科手术区处的对象，该增强区域在外科手术区的视图的至少一部分上方创建遮挡；通过复合医学成像系统检测对象的至少一部分和增强区域的至少一部分之间的在图像中的重叠；以及通过复合医学成像系统并响应于重叠的检测而调整图像以减小增强区域在重叠内的遮挡程度。
一种示例性非暂时性计算机可读介质可以存储指令，该指令当执行时指示计算设备的至少一个处理器来指示显示设备显示图像，该图像显示了由成像设备捕获的与患者相关联的外科手术区的视图和显示补充内容的增强区域，外科手术区的视图显示了位于外科手术区处的表面解剖结构和位于外科手术区处的对象，该增强区域在外科手术区的视图的至少一部分上方创建遮挡；检测对象的至少一部分和增强区域的至少一部分之间的在图像中的重叠；以及响应于重叠的检测，调整图像以减小增强区域在重叠内的遮挡程度。
附图说明
附图图示了各种实施例并且是说明书的一部分。所图示的实施例仅是示例并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
图1图示了根据本文所描述的原理的示例性复合医学成像系统。
图2图示了根据本文所描述的原理的示例性复合医学图像。
图3A图示了根据本文所描述的原理的与患者相关联的示例性外科手术区。
图3B图示了根据本文所描述的原理的由位于外科手术区处的成像设备捕获的图3A的外科手术区的示例性内窥镜图像。
图3C图示了根据本文所描述的原理的基于图3B的内窥镜图像生成的示例性斜率图像。
图4A图示了根据本文所描述的原理的示例性虚拟外科手术区。
图4B图示了根据本文所描述的原理的由虚拟成像设备捕获的图4A的虚拟外科手术区的示例性虚拟图像。
图4C图示了根据本文所描述的原理的基于图4B的虚拟图像生成的示例性掩模图像(mask image)。
图5图示了根据本文所描述的原理的由显示设备显示的示例性复合医学图像。
图6A图示了根据本文所描述的原理的与患者相关联的示例性外科手术区。
图6B图示了根据本文所描述的原理的由显示设备显示的示例性复合医学图像。
图6C图示了根据本文所描述的原理的由显示设备显示的图6A的外科手术区的示例性图像。
图7A和图7B图示了根据本文所描述的原理的用于检测重叠的示例性检测图像。
图8图示了根据本文所描述的原理的虚拟外科手术区。
图9图示了根据本文所描述的原理的示例性计算机辅助外科手术系统。
图10图示了根据本文所描述的原理的示例性方法。
图11图示了根据本文所描述的原理的示例性计算设备。
具体实施方式
本文描述了复合医学成像系统和方法。如下文将更详细地解释，一种示例性复合医学成像系统可以指示显示设备显示图像，该图像显示了计算机辅助外科手术系统中包括的成像设备所捕获的与患者相关联的外科手术区(surgical area)的视图和增强区域(augmentation region)。外科手术区的视图显示了位于外科手术区处的表面解剖结构和位于外科手术区处的对象(例如，外科手术器械或血池)，并且增强区域显示了补充内容。增强区域在外科手术区的视图的至少一部分上方创建遮挡。该系统还可检测对象的至少一部分与增强区域的至少一部分之间的图像中的重叠。系统可以响应于重叠的检测而调整图像以减小增强区域在重叠内的遮挡程度。
为了说明，在利用计算机辅助外科手术系统执行的微创外科手术程序期间，位于用户控制系统处的外科医生可以远程操作超声探头和烧灼器械以对患者执行外科手术程序。内窥镜可以捕获与患者相关联的外科手术区的图像，并且用户控制系统的显示设备可以将捕获的图像呈现给外科医生以提供外科手术区的可视化。当超声探头在外科手术区接触表面解剖结构时，可以生成超声图像，该图像表示位于由超声探头接触的表面解剖结构下方的表面下解剖结构。然后在由显示设备呈现的图像的增强区域中显示超声图像。增强区域在捕获的内窥镜图像上方创建遮挡。在该示例中，增强区域是显示图像的区域，其看起来“切入”或“打开”表面解剖结构以显示位于表面解剖结构在由增强区域创建的遮挡内的部分下方的表面下解剖结构的表示图(例如，超声图像)。增强区域可以从超声探头突出并且可随超声探头移动，从而允许外科医生通过控制超声探头的位置在外科手术区中的任何期望位置处看到表面解剖结构下方的表面下解剖结构。
当超声图像被显示在增强区域中时，外科医生可以移动烧灼器械，使得烧灼器械的视图与由显示设备显示的图像中的增强区域重叠。当烧灼器械的视图与显示图像中的增强区域重叠时，可以从显示图像中移除增强区域(或重叠区域内的增强区域的部分)和相应的超声图像，并且仅呈现由内窥镜捕获的图像。因此，外科医生可以容易地看到烧灼器械附近位置处的表面解剖结构。
本文所描述的系统和方法可以提供各种益处。例如，本文所描述的系统和方法可以在外科手术程序期间在呈现给用户(例如，外科医生)的可视图像中智能地呈现显示补充内容的增强区域(例如，表面下解剖结构的表示图，例如三维解剖结构模型的图像或超声图像)。以此方式，系统和方法呈现有用信息(例如，关于患者的表面下解剖结构的信息)并在外科手术程序期间为用户提供改进的视觉体验。另外，当图像中的对象(例如，外科手术器械、血池等)与增强区域重叠时，本文所描述的系统和方法可以智能地防止增强区域和补充内容被包括在可视图像中。以这种方式，系统和方法提供表面解剖结构的视图以促进外科手术程序的执行。在下面的说明书中，本文所描述的系统和方法的这些和其他好处将变得明显。
图1图示了可以被配置为呈现复合医学图像的示例性复合医学成像系统100(“系统100”)。系统100可以被包括在本文所描述的任何外科手术系统或其他计算系统中、由其实现或连接到任何外科手术系统或其他计算系统。例如，系统100可以由计算机辅助外科手术系统实现。作为另一个示例，系统100可以由通信耦合到计算机辅助外科手术系统的独立计算系统来实现。
如图所示，系统100可以包括但不限于选择性地和通信地彼此耦合的存储设施102和处理设施104。设施102和104可以各自包括硬件和/或软件部件或由硬件和/或软件部件实现(例如，处理器、存储器、通信接口、存储在存储器中供处理器执行的指令等)。例如，设施102和104可以由计算机辅助外科手术系统中的任何部件实施。在一些示例中，设施102和104可以分布在多个设备和/或多个位置之间，因为可以服务于特定实施方式。
存储设施102可以维护(例如，存储)由处理设施104使用的可执行数据以执行本文所描述的任何操作。例如，存储设施102可以存储可以由处理设施104执行的指令106以执行本文中描述的任何操作，指令106可以是由任何合适的应用程序、软件、代码和/或其他可执行数据实例实施。存储设施102还可以维护由处理设施104接收、生成、管理、使用和/或传输的任何数据。
处理设施104可以被配置为执行(例如，执行存储在存储设施102中的指令106以执行)与呈现复合医学图像相关联的各种操作。例如，处理设施104可以被配置为指示显示设备显示图像，该图像显示了由计算机辅助外科手术系统中包括的成像设备捕获的与患者相关联的外科手术区的视图，外科手术区的视图显示了位于外科手术区处的表面解剖结构和位于外科手术区处的对象。该图像还显示了显示补充内容的增强区域，该增强区域在外科手术区的视图的至少一部分上方创建遮挡。处理设施104可以进一步被配置为检测对象的至少一部分和增强区域的至少一部分之间的图像中的重叠。处理设施104还可以被配置为响应于重叠的检测来调整图像以减小增强区域在重叠内的遮挡程度。本文描述了可以由处理设施104执行的这些和其他操作。在下面的描述中，对系统100执行的操作的任何引用都可以理解为由系统100的处理设施104执行。
系统100被配置为指示显示设备显示复合医学图像。如本文所使用的，复合医学图像包括外科手术区图像和增强区域。增强区域在外科手术区图像的至少一部分上方创建遮挡(例如，不透明或至少部分透明)，并且可以显示(例如，包括或填充)任何可能适合特定实施方式的补充内容。图2图示了示例性复合医学图像200(“图像200”)。如图所示，复合医学图像200显示外科手术区图像202和在外科手术区图像202的增强区域206中呈现的补充内容204。
外科手术区图像202显示了如由成像设备(例如，内窥镜)捕获的与患者相关联的外科手术区的视图。在某些示例中，“外科手术区”可以完全设置在患者体内并且可以包括患者体内在计划执行、正在执行或已经执行外科手术程序的位置处或附近的区。例如，对于在患者体内的组织上执行的微创外科手术程序，外科手术区可以包括表面解剖结构(例如，表面组织)、表面解剖结构下方的表面下解剖结构(例如，在表面组织下方或后面的器官和脉管系统)，以及组织周围的空间，例如用于执行外科手术程序的外科手术器械所在的空间。在其他示例中，在对患者计划执行、正在执行或已经执行外科手术程序的位置处或附近，外科手术区可以至少部分地设置在患者体外。例如，对于开放式外科手术程序，外科手术区的一部分(例如，被操作的组织)可能在患者体内，而外科手术区的另一部分(例如，一个或多个外科手术器械可设置在组织周围的空间)可能在患者体外。
如本文所用，“表面解剖结构”(有时在本文中称为“表面组织”)可设置在患者体内(例如器官、组织、脉管系统等)或可设置在患者体外(例如皮肤等。)。在一些示例中，外科手术区的视图通过捕获从表面解剖结构反射的光来显示位于外科手术区处的表面解剖结构。在这些示例中，表面解剖结构是指被配置为将光反射到成像设备的解剖结构。此外，如本文所使用的，“表面下解剖结构”设置在患者的内部，并且相对于由成像设备捕获的表面解剖结构的视图而言位于表面解剖结构下方或后面，因此不被配置为将光反射到成像设备。
补充内容204可以包括被配置为增强外科手术区图像202的任何合适的内容，例如但不限于其他医学图像(例如，由荧光成像、超声成像、计算机断层扫描(CT)、光学相干断层扫描(OCT)、磁共振成像(MRI)、X射线成像或诸如此类)、文本内容(例如，标签、外科手术程序信息、外科手术系统信息、患者信息、消息等)、非医学图像(例如，教学图像或视频等)和类似物。在一些示例中，补充内容204是患者的表面下解剖结构的表示图，例如超声图像、X射线图像、荧光图像、从患者的CT扫描或MRI扫描生成的三维模型的图像和类似物。在其他方面，补充内容204可以包括多种不同类型的补充内容的组合(例如，混合)。
当图2仅示出了补充内容204和一个增强区域206的一个实例时，图像200可以包括可能适合特定实施方式的补充内容和/或增强区域的任意数量的不同实例。此外，虽然图2示出了增强区域206是矩形的，但是增强区域206可以是可适合特定实施方式的任何形状或大小。此外，虽然图2示出了增强区域206是不透明的，但是增强区域206可以是半透明的并且因此显示补充内容204的弯曲和被增强区域206遮挡的外科手术区图像202的部分的混合。
在一些示例中，增强区域206可以基于用户输入在图像200内可移动。例如，用户(例如，外科医生)可以操纵用户输入设备以改变增强区域206在图像200内的位置。以此方式，用户可以在图像200内的任何期望位置处查看补充内容204。
在一些示例中，系统100可以被配置为生成复合医学图像200。替代地，复合医学图像200可由通信耦合到系统100的计算系统(例如，包括在计算机辅助外科手术系统中的计算系统)生成。复合医学图像200可以以任何合适的方式生成。
图3A-图5图示了在对患者执行的微创外科手术程序期间生成复合医学图像的示例性方式。然而，将认识到，遵循的原理可应用于任何其他类型的外科手术程序，诸如开放式外科手术程序、训练过程、测试过程和诸如此类。附加地，可以理解，复合医学图像可以通过可以适合特定实施方式的任何其他的合适方法生成。
图3A图示了与患者相关联的示例性外科手术区300。如图所示，外科手术区300包括患者解剖结构302、外科手术器械304(例如，超声探头304-1和剪刀304-2)和成像设备306(例如，内窥镜)。患者解剖结构302可以表示患者的任何器官或解剖特征，并且可以包括表面解剖结构308(例如，表面组织)和表面下解剖结构(例如，表面下组织、器官、脉管系统等)(图3A中未示出)。
超声探头304-1被配置为通过发射声波并检测从表面解剖结构308下方的表面下解剖结构反射的声波来捕获超声图像。剪刀304-2被配置为切割患者组织。外科手术器械304可以具有任何合适的形状和/或大小，以用于特定的实施方式。在一些示例中，外科手术器械304可以具有允许外科手术器械304通过患者的体壁中的端口插入患者体内的形状和大小。在这些示例中，外科手术器械304在患者体内的移动和操作可以手动控制(例如，通过手动操纵与超声探头304-1或剪刀304-2连接的轴)。附加地或替代地，外科手术器械304可以以计算机辅助方式(例如，通过利用机器人和/或远程操作技术的计算机辅助外科手术系统)来控制。
在一些示例中，外科手术区300中的外科手术器械304的姿势(例如，位置和/或取向)可由计算机辅助外科手术系统跟踪。例如，外科手术器械304可以包括用于生成运动学信息的一个或多个传感器(例如，位移换能器、取向传感器、位置传感器等)。运动学信息可以包括诸如姿势(例如，位置和/或取向)、运动(例如，速度、方向、加速度等)、状态(例如，打开、关闭、收起等)和/或外科手术器械304的其他属性的信息，所有这些信息都可以由计算机辅助外科手术系统跟踪。
成像设备306由立体内窥镜实现，该立体内窥镜被配置为捕获外科手术区300的立体图像。然而，应当理解，成像设备306可以由任何其他合适的成像设备来实现。在一些示例中，成像设备306可以耦合到计算机辅助外科手术系统并且以计算机辅助方式进行控制。表示由成像设备306捕获的一个或多个图像的图像数据可以构成由成像设备306捕获的一个或多个静止图像和/或视频。
图3B图示了由成像设备306捕获的示例性内窥镜图像E。内窥镜图像E具有I×J个像素并且仅表示一对立体图像(例如，左眼图像或右眼图像)中的一个。将理解，以下描述同样适用于由成像设备306捕获的一对立体图像中的另一个。类似地，以下描述也可以适用于由成像设备306捕获的单视场图像。如图3B所示，内窥镜图像E显示了由成像设备306捕获的外科手术区300的视图。内窥镜图像E可以通过照射外科手术区300并且捕获由表面解剖结构308和外科手术器械304反射到成像设备306的光来生成。因此，外科手术区300的视图显示了位于外科手术区300处的外科手术器械304和表面解剖结构308的视图300。
在一些示例中，可以从内窥镜图像E生成倾斜图像/斜率图像(slope image)。如下文将更详细地解释的，可以在复合医学图像的生成中使用斜率图像以增强用户的深度感知。然而，在其他示例中，可以从复合医学图像中省略斜率图像。图3C图示了从内窥镜图像E生成的示例性斜率图像S。斜率图像S在图3C中以黑色和白色图示。然而，斜率图像S可能包括黑色、白色和/或表示坡度的各种深浅不同的灰色。斜率图像S是基于内窥镜图像E的梯度生成的，因此将具有与内窥镜图像E相同的大小(I×J像素)。可以使用任何合适的算法以任何合适的方式生成斜率图像S。在一些示例中，根据内窥镜图像E的梯度的水平和/或垂直分量生成斜率图像S。例如，斜率图像S中的像素值S(i，j)可以设置为窥镜图像E中的下一个水平相邻像素E(i+1,j)的值减去内窥镜图像E中的像素E(i，j)的值。如果S(i，j)小于零，则S(i，j)设置为零。对于最右边缘没有水平相邻像素的像素，可以将下一个水平相邻像素E(i+1,j)的值设置为预定值(例如黑色，像素在周边区域中的平均值等)。可以对每个像素执行该过程，直到完成斜坡图像S。
现在参考图4A，生成三维(“3D”)虚拟外科手术区400。虚拟外科手术区400包括位于外科手术区300处的表面解剖结构308下方的表面下解剖结构的一个或多个表示图。例如，如图4A所示，虚拟外科手术区400包括表面下解剖结构的3D模型402(例如，基于术前MRI和/或CT扫描成像生成的表面下解剖结构的3D模型)和由超声探头304-1生成的超声图像404。超声图像404表示位于表面解剖结构308下方的表面下解剖结构。如图4A所示，虚拟外科手术区400还包括超声图像404被投影到其上的框406，诸如通过纹理映射。下面将更详细地描述框406。将认识到，在不脱离本公开的范围的情况下，可以从虚拟外科手术区400中省略3D模型402、超声图像404和框406中的任何一个或多个。
虚拟外科手术区400还包括虚拟成像设备408，其被配置为“捕获”虚拟外科手术区400的图像。图4B图示了由虚拟成像设备408捕获的示例性虚拟图像V(“虚拟图像V”)。如图4A所示，虚拟外科手术区400内的虚拟成像设备408的姿势(例如，位置和取向)确定虚拟外科手术区400的视图，包括3D模型402、超声图像404和框406的视图，如虚拟图V所描绘的。
在一些示例中，由虚拟成像设备408捕获的虚拟外科手术区400的视图可以与由成像设备306捕获的外科手术区300的视图配准。换句话说，3D模型402和超声图像404可以在虚拟外科手术区400内定位和取向，使得在组合内窥镜图像E和虚拟图像V(参见图5)的复合医学图像C(“复合图像C”)中，3D模型402和/或超声图像404似乎位于患者体内相对于表面解剖结构308的其实际物理位置。可以使用任何合适的配准技术来将虚拟成像设备408捕获的虚拟外科手术区400的视图与成像设备306捕获的外科手术区300的视图配准。在一些示例中，配准可以基于外科手术区的深度图，如基于成像设备306捕获的图像生成的。虚拟外科手术区400中的虚拟成像设备408的姿态可以被配置为根据外科手术区300中的成像设备306的姿态的改变而改变，从而维持虚拟图像V与内窥镜图像E的配准。在一些示例中，虚拟成像设备302还配置有与成像设备306相同的相机特性(例如，分辨率、缩放级别、焦距等)。
如图4A所示，框406是在虚拟外科手术区400内定位和取向的框。如下文将更详细地描述的，框406可用于限定复合图像C中的增强区域，其提供表面下解剖结构(例如，3D模型402和/或超声图像404)的表示图的视图。
框406可以基于用户输入在虚拟外科手术区400内选择性地移动。在一些示例中，虚拟外科手术区400内的框406的姿势可以基于位于外科手术区300处的外科手术器械304的姿势。作为一个示例，框406在虚拟外科手术区400中的位置可以基于超声探头304-1在外科手术区300中的位置以及框406在虚拟外科手术区400的取向(例如，框406的平面的方向)基于超声探头304-1在外科手术区300中的取向(例如旋转)。例如，框406可以在超声探头304-1发射和接收超声信号的方向上取向，从而确保由超声探头304-1生成的超声图像404在投影到框406上时准确地表示位于表面解剖结构308下方的表面下解剖结构。
如图4B所示，虚拟图像V显示了虚拟外科手术区400的视图，包括由虚拟成像设备408捕获的3D模型402、超声图像404和框406。因此，虚拟图像V中的虚拟外科手术区400的视图显示了位于外科手术区300处的表面下解剖结构的表示图的视图。在一些示例中，虚拟图像V与内窥镜图像E具有相同的大小(I×J像素)。
然后从虚拟图像V生成掩模图像M。图4C图示了示例性掩模图像M。掩模图像M被设置为与虚拟图像V相同的大小(I×J像素)并且包括掩模区域410和窗口区域412。窗口区域412的大小、形状和位置决定了包含在复合图像C中的增强区域的大小、形状和位置。如图4B和图4C所示，在虚拟图像V中投影到框406上的超声图像404的视图设置掩模图像M中窗口区域412的大小、形状和位置。在替代实施例中，虚拟图像V中的框406的视图可以设置掩模图像M中的窗口区域412的大小、形状和位置。
在一些实施例中，掩模区域410中的所有像素被设置为显示黑色，而窗口区域412中的所有像素被设置为显示白色。例如，在像素值范围从0(黑色)到1(白色)的情况下，如果虚拟图像V中对应的像素V(i，j)不包括在超声图像404的视图中，则像素M(i，j)的值设置为0，如果虚拟图像V中的相应像素V(i，j)被包括在超声图像404的视图中，则像素M(i，j)的值被设置为1(白色)。通过这种布置，掩模图像M被配置为掩模虚拟图像V中的所有像素，这些像素不与虚拟图像V中的超声图像404的视图重叠。
通过组合图像E、S、V和M来生成复合图像C。图5图示了具有与成像设备306捕获的内窥镜图像E相同大小(I×J像素)的示例性复合图像C。可以以任何合适的方式生成复合图像C。在一些示例中，复合图像C是通过根据以下等式[1]设置每个像素C(i，j)的值来混合图像E、S、V和M来生成的：
C(i，j)＝M(i,j)＊(S(i，j)+V(i，j))+(1-M(i,j))＊E(i,j) [1]
因此，当M(i，j)＝0(即掩模图像M中的像素M(i，j)为0，即黑色)时，复合图像C中的像素C(i，j)的值为像素E(i，j)的值。即，掩模图像M的掩模区域410遮住斜率图像S和虚拟图像V，使得仅显示由成像设备306捕获的内窥镜图像E。然而，其中M(i，j)＝1(即掩模图像M中的像素M(i，j)为1，即白色)，复合图像C中的像素C(i，j)的值为S(i，j)+V(i，j)的值。即，掩模图像M的窗口区域412在内窥镜图像E中提供不透明的增强区域，其中仅显示斜率图像S和虚拟图像V的组合，使得增强区域创建内窥镜图像E的对应区域的遮挡。
在替代实施例中，增强区域可以是透明的。可以通过任何合适的方法使增强区域透明。例如，如果虚拟图像V中的对应像素V(i，j)被包括在超声图像404的视图中，则像素M(i，j)的值可以被设置为小于1(例如，0.85)。根据等式[1]，当M(i，j)<1时，复合图像C中像素C(i，j)的值是S(i，j)、V(i，j)和E(i，j)的混合组合。即，掩模图像M的窗口区域412提供透明增强区域，该增强区域仅创建内窥镜图像E的对应区域的部分遮挡。在一些示例中，可以自动或手动调整(例如，增加或减小)增强区域的透明度来调整内窥镜图像E的对应区域的遮挡程度。
如图5所示，复合图像C显示了与患者相关联的外科手术区300的视图和增强区域502。外科手术区300的视图显示了外科手术器械304(例如，超声探头304-1和剪刀304-2)和位于外科手术区300处的表面解剖结构308，而增强区域502显示了表面下解剖结构(例如，超声图像404)的表示图。在基于框406创建增强区域502的实施例中，增强区域502附加地或替代地显示3D模型402的视图。此外，因为3D模型402和超声图像404的视图与外科手术区300的视图配准，如上所述，3D模型402和超声图像404提供了在由3D模型402和超声图像404表示的表面下解剖结构的活体定位处的表面下解剖结构的准确表示图。
如上所述，基于内窥镜图像E的梯度生成斜率图像S。作为结果，在增强区域502中将斜率图像S与虚拟图像V组合增强了观看者对复合图像C的感知，即3D模型402和/或超声图像404位于表面解剖结构308下方。然而，在其他示例中，可以从复合图像C中省略斜率图像S，使得增强区域502仅显示虚拟图像V。
在复合图像C中，增强区域502被描绘为从超声探头304-1突出/投影(project)，在外观上类似于从旗杆突出的旗帜。在替代实施例中，增强区域502从位于外科手术区300中的不同类型的外科手术器械或从虚拟外科手术器械而不是位于外科手术区300中的真实外科手术器械突出。例如，虚拟外科手术区400可以包括可以基于用户输入来控制的虚拟外科手术器械(图4A-图4C中未示出)。超声图像404和/或框406基于虚拟外科手术区400中的虚拟外科手术器械的姿态被定位在虚拟外科手术区400中。
在进一步的实施例中，增强区域502不从任何真实的或虚拟的外科手术器械突出，而是基于用户输入是可移动的。例如，用户可以选择性地操作控制器(例如，操纵杆、主控制器等)以移动虚拟外科手术区400中的框306的位置，从而也移动复合图像C中的增强区域502。以这种方式用户可以移动增强区域502以查看表面下解剖结构，而不必移动位于外科手术区300中的外科手术器械。
如上所述，图4C和图5示出掩模图像M将增强区域502的形状设置为与虚拟图像V中的超声图像404的视图相同的形状。在替代实施例中，掩模图像M将增强区域502的形状设置为与虚拟图像V中的框306的视图的相同形状。当超声图像404没有投影到框306上时可以使用这种配置，从而通过复合图像C中的增强区域502显示3D模型402。替代地，当超声图像404被投影在框306上时，3D模型402可以显示在框406的未被超声图像404覆盖的区域中。
如上所述，系统100可以指示显示设备以显示复合图像C。例如，系统100可以指示与计算机辅助外科手术系统相关联的显示设备以在用户激活复合图像模式时显示复合图像C。显示设备可以是任何合适的显示设备，例如外科医生在计算机辅助外科手术程序期间使用的用户控制系统的显示设备。
当显示复合图像C时，系统100可以检测在位于外科手术区300处的对象的至少一部分和增强区域502的至少一部分之间的复合图像C中的重叠。位于外科手术区的对象可以包括引入外科手术区300的任何异物(例如，外科手术器械、外科手术网格、外科医生的手或手指等)和/或自然存在于外科手术区的任何对象(例如，血液、组织、器官等)。例如，系统100可以检测到外科手术器械已经移动，使得外科手术器械的视图与复合图像C中的增强区域502的部分重叠。作为另一个示例子，系统100可以检测到血池的视图与复合图像C中的增强区域502的部分重叠。
响应于检测到对象的部分和增强区域502的部分之间的重叠，系统100可以调整所显示的图像以减小增强区域502重叠内的遮挡程度。在一些示例中，系统100可以通过从图像中移除增强区域来调整显示的图像。例如，系统100可以从显示复合图像C切换到显示不显示增强区域502的另一图像(例如，内窥镜图像E'，参见图6C)。因此，增强区域502不会遮挡由成像设备捕获的外科手术区300的视图。作为另一个示例，系统100可以减小增强区域502的大小和/或形状，例如通过移除对象的预定义附近内(例如，重叠的区域内)的增强区域502的一部分。
作为调整显示的图像以减小遮挡程度的另一个示例，系统100可以减小复合图像C中增强区域502的不透明度。例如，系统100可以调整图像E、S、V和M的混合使得增强区域502更加透明。在一些示例中，可以例如基于对象到表面解剖结构的距离和/或基于与增强区域502重叠的对象类型来调制透明度。附加地或替代地，系统100可以仅在位于对象的预定附近区域内(例如，在重叠的区域内)调整图像E、S、V和M的混合。
作为降低增强区域502的不透明度的另一个示例，系统100可以将斜率图像S调整为在增强区域502中更加可见。例如，系统100可以调整斜率图像S的图像滤波器的一个或多个参数。因为斜率图像S是从内窥镜图像E导出的，所以增加斜率图像S的可见性将增加由成像设备捕获的外科手术区300的视图的可见性。以这种方式，系统100可以调整复合图像C以减小增强区域502对外科手术区300的视图的遮挡程度。
图6A和图6B图示了增强区域502的至少一部分与位于外科手术区300处的对象的视图的至少一部分之间的重叠的示例。图6A与图3A相同，除了剪刀304-2已经从它们的初始位置(在图6A中以虚线示出)移动到更靠近超声探头304-1的新位置(在图6A中以实线示出)之外。图6B图示了在剪刀304-2已经移动到新位置之后生成的示例性复合图像C’。复合图像C’显示了外科手术区300和增强区域502的视图，增强区域502显示了由超声探头304-1生成的超声图像404。如图6B所示，剪刀304-2的远端部分与复合图像C'中的增强区域502的部分重叠。系统100被配置为检测增强区域502和剪刀304-2之间的重叠，并且作为响应，指示显示设备仅显示内窥镜图像E'，其显示了由成像设备306捕获的外科手术区300的视图。图6C图示了在剪刀304-2已经移动到新位置之后捕获的示例性内窥镜图像E'。可见增强区域502已被移除，使得外科医生可以容易地看到外科手术区300处的表面解剖结构308，并且因此确定剪刀304-2相对于表面解剖结构308的位置。
现在将描述系统100可以检测增强区域(例如，包括3D模型402和/或超声图像404的增强区域206或增强区域502)的至少一部分与位于外科手术区处的对象的视图之间的复合医学图像中的重叠的方式。系统100可以以其他方式检测增强区域的至少一部分与对象的视图之间的复合医学图像中的重叠。
现在将参考图7A和图7B描述基于位置跟踪的重叠检测的示例性方式。图7A图示了用于检测重叠的示例性检测图像D。检测图像D包括增强区域表示图702和对象表示图704。增强区域表示图702表示复合医学图像中的增强区域(例如，图像200中的增强区域206或复合图像C中的增强区域502)。对象表示图704表示位于与患者相关联的外科手术区处的对象(例如，剪刀304-2)并且基于对象在外科手术区中的位置被定位在检测图像D内。下面将更详细地描述检测图像D的生成。在某些示例中，当检测到对象表示图704与检测图像D中的增强区域表示图702接触时，可以检测到增强区域和对象之间的复合医学图像中的重叠，如下文将更详细地解释的。
图7A示出了当对象(例如剪刀304-2)位于初始位置时生成的检测图像D。如图所示，对象表示图704不与增强区域表示图702接触，因为对象表示图704的像素没有与增强区域表示图702的像素相邻或重叠。因此，系统100没有检测到对象和复合医学图像中的增强区域(例如，复合图像C中的增强区域502)之间的重叠。
图7B示出了在对象移动到外科手术区中的新位置之后生成的示例性检测图像D'。如图所示，对象表示图704与增强区域表示图702接触，因为对象表示图704的一个或多个像素与增强区域表示图702的一个或多个像素相邻或重叠。响应于检测到对象表示图704与增强区域表示图702接触，系统100确定增强区域的至少一部分(例如，复合图像C中的增强区域502)与对象重叠。
在一些实施例中，检测图像D不包括增强区域表示图702。由于检测图像D被设置为与掩模图像M相同的大小(I×J像素)，掩模图像M中的窗口区域(例如，窗口区域412)表示复合医学图像中的增强区域(例如，增强区域502)。因此，可以通过将检测图像D与掩模图像M进行比较以确定检测图像D中的对象表示图704和掩模图像M中的窗口区域(例如，窗口区域412)是否具有一个或多个共同的像素位置来检测重叠。
现在将描述检测图像D的生成。在一些示例中，检测图像D被设置为与掩模图像M相同的大小(I×J像素)。如上所述，增强区域表示图702表示复合医学图像中的增强区域。因此，在检测图像D中形成增强区域表示图702，其具有与复合医学图像中的增强区域(例如，图像200中的增强区域206或复合图像C中的增强区域502)相同的大小、形状和位置。可以以任何合适的方式在检测图像D中形成增强区域表示图702。例如，可以通过将掩模区域410中的像素设置为白色并且将窗口区域412中的像素设置为黑色来反转掩模图像M。替代地，超声图像404和/或框406可以被投影到检测图像D上，例如通过虚拟成像设备408捕获检测图像D。即，检测图像D显示了由虚拟成像设备408捕获的外科手术区400中的超声图像404和/或框406的视图。作为又一示例，可以通过使用对象识别来检测复合医学图像中的增强区域的大小、形状和位置，来在检测图像D中形成增强区域表示图702。
如上所述，对象表示图704表示位于与患者相关联的外科手术区中的对象。对象表示图704可以是适合特定实施方式的任何大小或形状。如图7A所示，对象表示图704是圆形的并且表示例如外科手术器械(例如剪刀304-2)的远端部分。此外，对象表示图704大于外科手术器械的远端部分，从而包含外科手术器械的末端执行器可以在其中移动的整个区域。在其他示例中，对象表示图704与外科手术器械的远端部分具有相同的形状和大小。调整对象表示图704的大小和/或形状将调整系统100检测复合医学图像中的增强区域与位于外科手术区中的对象之间的重叠的灵敏度。因此，在一些示例中，系统100可以被配置为接收用户输入以调整重叠检测的灵敏度，例如通过调整对象表示图704的大小和/或形状。
可以以任何合适的方式在检测图像D中形成对象表示图704。在一些示例中，对象表示图704通过跟踪与患者相关联的外科手术区中的对应对象的姿态(例如，位置和/或取向)并将对象的视图(或对象的表示图)投影到检测图像D上。例如，如上所述，虚拟图像V中的虚拟外科手术区400的视图与内窥镜图像E中的外科手术区300的视图配准。因此，也可以在虚拟外科手术区400中跟踪剪刀304-2的姿态。然后可以在虚拟外科手术区400中在剪刀304-2的远端部分的跟踪位置处生成表示剪刀304-2的远端部分的3D边界体积。然后可以将表示剪刀304-2的3D边界体积投影到检测图像D上作为对象表示图704。
图8图示了示例性虚拟外科手术区800，其包括表示位于外科手术区300中的剪刀304-2的3D边界体积。图8与图4A相同，除了虚拟外科手术区800包括围绕剪刀304-2的远端部分生成的球形边界体积802之外。图8示出虚拟外科手术区800包括超声图像404和框406，但是在一些实施例中可以从虚拟外科手术区800中省略这些。边界体积802可以是适合特定实施方式的任何形状和大小。因为边界体积802被投影到检测图像D上作为对象表示图704，边界体积802的形状和大小决定了对象表示图704的形状和大小。如图8所示，边界体积802是球形的并且大小被设定为至少包括剪刀304-2(例如剪刀304-2的末端执行器)的远端部分可以在其中移动的整个区域。在替代实施例中，边界体积802可以具有与剪刀304-2相同的形状和/或大小。一旦在虚拟外科手术区800中生成了边界体积802，边界体积802就被投影到检测图像D上作为对象表示图704。例如，虚拟成像设备408可以“捕获”虚拟外科手术区800的图像作为检测图像D，虚拟外科手术区800的图像显示了边界体积802作为对象表示图704的视图。
对象表示图704可替代地基于对象识别被形成在检测图像D中。例如，系统100可以被配置为分析显示外科手术区的视图的图像(例如，内窥镜图像E)以在图像中辨识和识别位于外科手术区的对象。系统100可以利用任何合适的图像识别技术来辨识和识别对象。当检测到对象时，系统100可以在检测图像D中在对应于检测到对象的外科手术区的图像中的位置的位置处生成对象表示图704。
在一些示例中，对象表示图704的大小和形状是基于检测到的对象的类型来预定义的。为了说明，系统100可以分析内窥镜图像E(参见图3B)并检测剪刀304-2。系统100然后可以访问查找表以确定剪刀304-2的对象表示图704的形状(例如，圆形)、大小(例如，100个像素的半径)和位置(例如，在末端执行器的关节处)。
在替代示例中，对象表示图704的形状和大小基于图像中检测到的对象的大小和形状。为了说明，系统100可以分析外科手术区的图像并检测血池。系统100然后可以将检测图像D中的对象表示图704绘制成与检测到的血池具有相同的形状和大小。以此方式，系统100可以被配置为检测过度出血的视图何时与复合图像C中的增强区域502重叠。
基于对象识别形成对象表示图704可用于检测与可能不存在运动学或位置信息的对象的重叠，例如外科手术网格、贴片、外科医生的手指或手和诸如此类。
如上所述，响应于检测到对象的至少一部分与复合医学图像中包括的增强区域的至少一部分之间的重叠，系统100被配置为调整图像以减小在增强区域的外科手术区的视图的至少一部分上方的遮挡程度。在一些示例中，图像的调整进一步以检测到对象在运动为条件。在该示例中，系统100从对象(例如，外科手术器械)的运动推断外科医生打算与患者组织相互作用。然而，如果对象是静止的而增强区域正在移动(例如，用户正在移动增强区域)，则系统100从对象没有运动推断出外科医生不打算与患者组织交互。因此，通过显示增强区域，与患者组织接触的风险很小。系统100可以以任何合适的方式确定对象在运动，例如基于与对象相关联的运动学信息、图像识别、对象中包括的传感器(例如，外科手术器械传感器)和诸如此类。
在一些示例中，系统100被配置为仅当检测到对象正朝着增强区域移动时才调整图像。可以以任何合适的方式检测朝向增强区域的对象运动。在一些实施例中，对象可以通过检测朝向患者组织的对象运动来推断朝向增强区域的运动，因为增强区域显示了患者组织下方的表面下解剖结构的视图。为此，可以从外科手术区的立体图像生成深度图，并且对象(例如，外科手术的远端)相对于表面组织的运动可以基于深度图和/或与对象相关联的运动学信息来确定。
附加地或替代地使用深度图，如果检测到对象正远离成像设备(例如，成像设备306)移动，则系统100可以确定对象朝向表面组织移动。另一方面，如果对象正朝向成像设备移动，则对象正在远离表面组织移动(并由此确定为远离增强区域移动)。对象远离或朝向成像设备的移动可以以任何合适的方式检测，例如基于与对象和成像设备相关联的运动学信息。
在一些实施例中，系统100可以被配置为检测复合医学图像中的增强区域和对象之间的重叠已经结束。作为响应，系统100可以调整图像以通过增强区域在外科手术区的视图的一部分上方打开和/或增加遮挡程度。例如，当显示设备正在显示复合图像E'(参见图6C)时，系统100可以检测到剪刀304-2已经移动到另一个位置，使得检测图像D中的对象表示图704不接触增强区域表示图702。因此，系统100可以指示显示设备显示另一复合图像C，该复合图像C显示外科手术区300和增强区域502的视图，复合图像C包括超声图像404和/或3D模型402。作为另一示例，如果增强区域(例如，增强区域502)的不透明度由于检测到增强区域和对象之间的重叠而降低，则系统100可以调整图像E、S、V和M的混合以增加增强区域的不透明度。以这些方式，系统100可以仅当位于外科手术区的对象的视图与包括补充内容的增强区域的至少一部分重叠时才智能地隐藏补充内容。
在前述描述系统100被配置为检测在位于与患者相关联的外科手术区处的对象与包括在复合医学图像中的增强区域的至少一部分之间的重叠，增强区域显示表面下解剖结构的表示图。然而，系统100不限于检测与显示表面下解剖结构的增强区域的一部分的重叠，但可以被配置为检测具有显示(一个或多个)任何其他类型的补充内容的增强区域的重叠。
在一些实施方式中，系统100可以作为计算机辅助外科手术系统的一部分或结合计算机辅助外科手术系统操作。因此，现在将描述示例性计算机辅助外科手术系统。所描述的示例性计算机辅助外科手术系统是说明性的而非限制性的。系统100可以作为本文所描述的计算机辅助外科手术系统和/或其他合适的计算机辅助外科手术系统的一部分或与其结合操作。
图9图示了示例性计算机辅助外科手术系统900(“外科手术系统900”)。如本文所描述的，系统100可由外科手术系统900实施、连接到外科手术系统900和/或以其他方式与外科手术系统900结合使用。
如图所示，外科手术系统900可以包括相互通信耦合的操纵系统902、用户控制系统904和辅助系统908。外科手术系统900可以被外科手术团队用来对患者908执行计算机辅助的外科手术程序。如图所示，外科手术团队可以包括外科医生910-1、助理910-2、护士910-3和麻醉师910-4，他们可以统称为“外科手术团队成员910”。”附加的或替代的外科手术团队成员可能会呈现在外科手术会议期间，因为这可能会服务于特定的实施方式。
虽然图9图示了正在进行的微创外科手术程序，但是应当理解，外科手术系统900可以类似地用于执行开放式外科手术程序或可以类似地受益于外科手术系统900的准确性和便利性的其他类型的外科手术程序。此外，将理解的是，可以贯穿采用外科手术系统900的外科手术会议可以不仅包括外科手术程序的操作阶段，如图9所示，但也可以包括外科手术前、外科手术后和/或外科手术的其他合适阶段。可以包括对患者使用手动和/或器械技术以调查或治疗患者的身体状况的任何外科手术程序。
如图9所示，操纵系统902可包括多个操纵器臂912(例如，操纵器臂912-1至912-4)，多个外科手术器械可耦合到多个操纵器臂912。每个外科手术器械可以由任何合适的外科手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜)、感测器械(例如，力感测外科手术器械)、诊断器械或可用于患者908上的计算机辅助外科手术程序的装置(例如，通过至少部分地插入患者908中并被操纵以对患者908执行计算机辅助外科手术)来实现。虽然操纵系统902在本文中被描绘和描述为包括四个操纵器臂912，但是应当认识到操纵系统902可以仅包括单个操纵器臂912或可以用于特定实施方式的任何其他数量的操纵器臂。
操纵器臂912和/或附接到操纵器臂912的外科手术器械可包括一个或多个位移传感器、取向传感器和/或用于生成原始(即，未校正)运动学信息的位置传感器。外科手术系统900的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定其位置和取向)和/或控制外科手术器械。
用户控制系统904可以被配置为便于外科医生910-1控制操纵器臂912和附接到操纵器臂912的外科手术器械。例如，外科医生910-1可以与用户控制系统904交互以远程移动或操纵操纵器臂912和外科手术器械。为此，用户控制系统904可以向外科医生910-1提供由成像系统(例如，包括本文所描述的任何成像设备)捕获的与患者908相关联的外科手术区的图像(高清3D图像、复合医学图像等)。在某些示例中，用户控制系统904可以包括具有两个显示器的立体查看器，其中与患者908相关联并且由立体成像系统生成的外科手术区的立体图像可以被外科医生910-1查看。外科医生910-1可以利用图像来执行一个或多个程序，其中一个或多个外科手术器械附接到操纵器臂912。
为了便于控制外科手术器械，用户控制系统904可以包括一组主控制器。这些主控制器可由外科医生910-1操纵以控制外科手术器械的运动(例如，通过使用机器人和/或远程操作技术)。主控制器可以被配置为检测外科医生910-1的各种手、腕和手指移动。以此方式，外科医生910-1可以使用一个或多个外科手术器械直观地执行程序。
辅助系统906可以包括一个或多个计算设备，其被配置为执行外科手术系统900的主要处理操作。在这样的配置中，辅助系统906中包括的一个或多个计算设备可以控制和/或协调由外科手术系统900的各种其他部件(例如，操纵系统902和用户控制系统904)执行的操作。例如，用户控制系统904中包括的计算设备可以通过辅助系统906中包括的一个或多个计算设备向操纵系统902传输指令。作为另一示例，辅助系统906可以从操纵系统902接收和处理表示由附接到操纵器臂912之一的成像设备捕获的图像的图像数据。
在一些示例中，辅助系统906可以被配置为向可能无法访问在用户控制系统904处提供给外科医生910-1的图像的外科手术团队成员910呈现视觉内容。为此，辅助系统906可以包括显示监视器914，其被配置为显示一个或多个用户界面，例如外科手术区的图像(例如，2D图像、复合医学图像等)、与患者908和/或外科手术程序相关联的信息，和/或如可用于特定实施方式的任何其他可视化内容。例如，显示监视器914可以显示外科手术区的图像以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器914由触摸屏显示器实施，外科手术团队成员910可以与其交互(例如，通过触摸手势)以向外科手术系统900提供用户输入。
操纵系统902、用户控制系统904和辅助系统906可以以任何合适的方式彼此通信耦合。例如，如图9所示，操纵系统902、用户控制系统904和辅助系统906可以通过控制线916通信耦合，控制线916可以表示如可用于特定实施方式的任何有线或无线通信链路。为此，操纵系统902、用户控制系统904和辅助系统906可以每个都包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图10示出了示例性方法1000。虽然图10图示了根据一个实施例的示例性操作，其他实施例可以省略、添加、重新排序、组合和/或修改图10中所示的任何步骤。图10中所示的一个或多个操作可以由系统100、其中包括的任何部件和/或其任何实施方式来执行。
在操作1002中，复合医学成像系统指示显示设备显示图像(例如，复合医学图像C)，该图像显示了如计算机辅助外科手术系统中包括的成像设备所捕获的与患者相关联的外科手术区的视图和增强区域。外科手术区的视图显示了位于外科手术区的表面解剖结构和位于外科手术区的对象，并且增强区域显示了补充内容，增强区域在外科手术区的视图的至少一部分上方创建遮挡。操作1002可以以本文所描述的任何方式来执行。
在操作1004中，复合医学成像系统检测对象的至少一部分和增强区域的至少一部分之间的图像中的重叠。操作1004可以以本文所描述的任何方式来执行。
在操作1006中，复合医学成像系统响应于重叠的检测而调整图像以减小增强区域在重叠内的遮挡程度。操作1006可以以本文所描述的任何方式来执行。
在一些示例中，可以根据本文所描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。指令当由计算设备的处理器执行时，可以指示处理器和/或计算设备执行一个或多个操作，包括本文所描述的一个或多个操作。这样的指令可以使用多种已知的计算机可读介质中的任一种来存储和/或传输。
本文所指代的非暂时性计算机可读介质可包括参与提供可由计算设备(例如，由计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电体随机存取存储器(“RAM”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如，动态RAM)。
图11图示了示例性计算设备1100，该计算设备1100可以被具体地配置为执行本文所描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以由计算设备1100实施。
如图11所示，计算设备1100可以包括通信接口1102、处理器1104、存储设备1106和输入/输出(“I/O”)模块1108，它们经由通信基础设施1110相互通信地连接。虽然示例性计算设备1100在图11中示出，图11中所图示的部件不旨在限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图11中所示的计算设备1100的部件。
通信接口1102可以被配置为与一个或多个计算设备通信。通信接口1102的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接，以及任何其他合适的接口。
处理器1104通常表示能够处理数据和/或解释、执行和/或指示本文描述的一个或多个指令、过程和/或操作的执行的任何类型或形式的处理单元。处理器1104可以通过执行存储在存储设备1106中的计算机可执行指令1112(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
存储设备1106可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1106可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文所描述的数据)可以临时和/或永久地存储在存储设备1106中。例如，表示配置为指示处理器1104执行本文所描述的任何操作的计算机可执行指令1112的数据可以存储在存储设备1106中。在一些示例中，数据可以被安排在驻留在存储设备1106内的一个或多个数据库中。
I/O模块1108可以包括一个或多个I/O模块，其被配置为接收用户输入并提供用户输出。I/O模块1108可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1108可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘(数字键盘)、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1108可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器和一个或多个音频驱动器。在某些实施例中，I/O模块1108被配置为向显示器提供图形数据以呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以用于特定实施方式的任何其他图形内容。
在前面的描述中，已经参考附图描述了各种示例性实施例，然而，显然可以对其进行各种修改和改变，并且可以实施另外的实施例，而不脱离如在随后的权利要求中提出本发明的范围。例如，本文所描述的一个实施例的某些特征可以与本文所描述的另一实施例的特征组合或替代其特征。因此，说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种系统，其包括：
存储器，其存储指令；和
处理器，其通信地耦合到所述存储器并被配置为执行所述指令以：
指示显示设备以显示图像，所述图像显示：
由成像设备捕获的与患者相关联的外科手术区的视图，所述外科手术区的所述视图显示位于所述外科手术区处的表面解剖结构和位于所述外科手术区处的对象，以及
显示补充内容的增强区域，所述增强区域在所述外科手术区的所述视图的至少一部分上方创建遮挡；
检测所述图像中在所述对象的至少一部分和所述增强区域的至少一部分之间的重叠；以及
响应于所述重叠的检测，调整所述图像以减小所述增强区域在所述重叠内的遮挡程度。
2.根据权利要求1所述的系统，其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度包括从所述图像移除所述增强区域。
3.根据权利要求1所述的系统，其中调整所述图像以减小所述重叠增强区域在所述重叠内的所述遮挡程度包括降低所述图像中的所述增强区域的不透明度。
4.根据权利要求1所述的系统，其中：
所述处理器还被配置为确定所述对象在运动中，并且
响应于确定所述对象在运动中，进一步执行调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度。
5.根据权利要求1所述的系统，其中所述补充内容包括位于由所述增强区域创建的所述遮挡内的所述表面解剖结构的一部分下方的表面下解剖结构的表示图。
6.根据权利要求5所述的系统，其中所述表面下解剖结构的所述表示图包括所述表面下解剖结构的超声图像、所述表面下解剖结构的三维模型的图像和所述表面下解剖结构的荧光图像中的一个或多个。
7.根据权利要求1所述的系统，其中所述重叠的检测包括：
生成检测图像，包括表示所述对象的对象表示图和表示所述增强区域的增强区域表示图，以及
确定所述对象表示图接触所述增强区域表示图。
8.一种方法，包括：
通过复合医学成像系统指示显示设备以显示图像，所述图像显示：
由成像设备捕获的与患者相关联的外科手术区的视图，所述外科手术区的所述视图显示位于所述外科手术区处的表面解剖结构和位于所述外科手术区处的对象，以及
显示补充内容的增强区域，所述增强区域在所述外科手术区的所述视图的至少一部分上方创建遮挡；
通过所述复合医学成像系统检测所述图像中所述对象的至少一部分和所述增强区域的至少一部分之间的重叠；以及
通过所述复合医学成像系统并响应于检测到所述重叠来调整所述图像以减小所述增强区域在所述重叠内的遮挡程度。
9.根据权利要求8所述的方法，其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度包括从所述图像移除所述增强区域。
10.根据权利要求8所述的方法，其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度包括降低所述图像中的所述增强区域的不透明度。
11.根据权利要求8所述的方法，还包括：
确定所述对象在运动中，
其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度进一步响应于确定所述对象在运动中而执行。
12.根据权利要求8所述的方法，其中所述补充内容包括位于由所述增强区域创建的所述遮挡内的所述表面解剖结构的一部分下方的表面下解剖结构的表示图。
13.根据权利要求12所述的方法，其中所述表面下解剖结构的所述表示图包括所述表面下解剖结构的超声图像、所述表面下解剖结构的三维模型的图像和所述表面下解剖结构的荧光图像中的一个或多个。
14.根据权利要求8所述的方法，其中所述重叠的检测包括：
生成包括表示所述对象的对象表示图和表示所述增强区域的增强区域表示图的检测图像，并且
确定所述对象表示图接触所述增强区域表示图。
15.一种存储指令的非暂时性计算机可读介质，所述指令在执行时指示计算设备的至少一个处理器以：
指示显示设备以显示图像，所述图像显示：
由成像设备捕获的与患者相关联的外科手术区的视图，所述外科手术区的所述视图显示位于所述外科手术区处的表面解剖结构和位于所述外科手术区处的对象，以及
显示补充内容的增强区域，所述增强区域在所述外科手术区的所述视图的至少一部分上方创建遮挡；
检测所述图像中在所述对象的至少一部分和所述增强区域的至少一部分之间的重叠；以及
响应于检测到所述重叠，调整所述图像以减小所述增强区域在所述重叠内的遮挡程度。
16.根据权利要求15所述的非暂时性计算机可读介质，其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度包括从所述图像移除所述增强区域。
17.根据权利要求15所述的非暂时性计算机可读介质，其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度包括降低所述图像中的所述增强区域的不透明度。
18.根据权利要求15所述的非暂时性计算机可读介质，还存储指令，所述指令在被执行时指示所述计算设备的所述至少一个处理器以：
确定所述对象在运动中，
其中调整所述图像以减小所述增强区域在所述重叠内的所述遮挡程度进一步响应于确定所述对象在运动中而执行。
19.根据权利要求15所述的非暂时性计算机可读介质，其中所述补充内容包括位于由所述增强区域创建的所述遮挡内的所述表面解剖结构的一部分下方的表面下解剖结构的表示图。
20.根据权利要求19所述的非暂时性计算机可读介质，其中所述表面下解剖结构的表示图包括所述表面下解剖结构的超声图像、所述表面下解剖结构的三维模型和所述表面下解剖结构的荧光图像中的一个或多个。
CN202080051681.8A 2019-05-31 2020-05-29 复合医学成像系统和方法 Pending CN114126527A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962855755P 2019-05-31 2019-05-31
US62/855,755 2019-05-31
US201962893043P 2019-08-28 2019-08-28
US62/893,043 2019-08-28
PCT/US2020/035113 WO2020243425A1 (en) 2019-05-31 2020-05-29 Composite medical imaging systems and methods

Publications (1)

Publication Number Publication Date
CN114126527A true CN114126527A (zh) 2022-03-01

Family

ID=71787058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051681.8A Pending CN114126527A (zh) 2019-05-31 2020-05-29 复合医学成像系统和方法

Country Status (4)

Country Link
US (1) US20220215539A1 (zh)
EP (1) EP3977406A1 (zh)
CN (1) CN114126527A (zh)
WO (1) WO2020243425A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230165639A1 (en) * 2021-12-01 2023-06-01 Globus Medical, Inc. Extended reality systems with three-dimensional visualizations of medical image scan slices
US12004821B2 (en) 2022-02-03 2024-06-11 Medtronic Navigation, Inc. Systems, methods, and devices for generating a hybrid image
WO2024012650A1 (en) * 2022-07-11 2024-01-18 Brainlab Ag Augmentation overlay device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140709A1 (en) * 2001-03-27 2002-10-03 Frank Sauer Augmented reality guided instrument positioning with modulated guiding graphics
CN102781336A (zh) * 2009-10-30 2012-11-14 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
CN103251455A (zh) * 2005-10-20 2013-08-21 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN108882854A (zh) * 2016-03-21 2018-11-23 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
US20190060001A1 (en) * 2017-08-01 2019-02-28 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023195A1 (de) * 2005-05-19 2006-11-23 Siemens Ag Verfahren zur Erweiterung des Darstellungsbereiches einer Volumenaufnahme eines Objektbereiches
EP2981205A4 (en) * 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
CN105979900B (zh) * 2014-02-04 2020-06-26 皇家飞利浦有限公司 血管的深度和位置的可视化以及血管横截面的机器人引导的可视化

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020140709A1 (en) * 2001-03-27 2002-10-03 Frank Sauer Augmented reality guided instrument positioning with modulated guiding graphics
CN103251455A (zh) * 2005-10-20 2013-08-21 直观外科手术操作公司 医用机器人系统中的计算机显示屏上的辅助图像显示和操纵
CN102781336A (zh) * 2009-10-30 2012-11-14 约翰霍普金斯大学 用于外科手术干预的临床上重要的解剖标志的视觉跟踪和注释
CN108882854A (zh) * 2016-03-21 2018-11-23 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
US20190060001A1 (en) * 2017-08-01 2019-02-28 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation

Also Published As

Publication number Publication date
WO2020243425A1 (en) 2020-12-03
US20220215539A1 (en) 2022-07-07
EP3977406A1 (en) 2022-04-06

Similar Documents

Publication Publication Date Title
US10835344B2 (en) Display of preoperative and intraoperative images
JP4152402B2 (ja) 手術支援装置
US20210290317A1 (en) Systems and methods for tracking a position of a robotically-manipulated surgical instrument
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
US20160163105A1 (en) Method of operating a surgical navigation system and a system using the same
US20220215539A1 (en) Composite medical imaging systems and methods
EP3870021B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US20220012954A1 (en) Generation of synthetic three-dimensional imaging from partial depth maps
US20200093544A1 (en) System and method for registration and coordinated manipulation of augmented reality image components
WO2017157970A1 (en) Calculation device for superimposing a laparoscopic image and an ultrasound image
KR101595962B1 (ko) 대장내시경 수술 시뮬레이션시스템
US20220117662A1 (en) Systems and methods for facilitating insertion of a surgical instrument into a surgical space
US20220218435A1 (en) Systems and methods for integrating imagery captured by different imaging modalities into composite imagery of a surgical space
US20210378748A1 (en) Anatomical structure visualization systems and methods
US10854005B2 (en) Visualization of ultrasound images in physical space
KR101601021B1 (ko) 자이로 센서를 이용한 3ｄ 내시경 시스템
JP7461689B2 (ja) 推論装置、情報処理方法、及びコンピュータプログラム
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
CN114555002A (zh) 基于次表面图像扫描配准来自不同成像模态的成像数据的系统和方法
JP7504942B2 (ja) 拡張現実のグラフィック表現を表示するための表現装置
US20230277035A1 (en) Anatomical scene visualization systems and methods
WO2024182294A1 (en) Systems and methods for calibrating an image sensor in relation to a robotic instrument

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination