CN110269700A - 增强现实手术显微镜和显微镜学方法 - Google Patents

增强现实手术显微镜和显微镜学方法 Download PDF

Info

Publication number
CN110269700A
CN110269700A CN201910199263.2A CN201910199263A CN110269700A CN 110269700 A CN110269700 A CN 110269700A CN 201910199263 A CN201910199263 A CN 201910199263A CN 110269700 A CN110269700 A CN 110269700A
Authority
CN
China
Prior art keywords
image data
data
blood vessel
augmented reality
surgical operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910199263.2A
Other languages
English (en)
Other versions
CN110269700B (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN110269700A publication Critical patent/CN110269700A/zh
Application granted granted Critical
Publication of CN110269700B publication Critical patent/CN110269700B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Gynecology & Obstetrics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种增强现实手术显微镜(1)，其具有优选地是多光谱或高光谱相机的相机(2)。增强现实手术显微镜(1)获得包括特别是活组织(10)的对象(8)的输入图像数据(22)，其包括可见光图像数据(26)以及至少一个荧光团(14)的荧光图像数据(24)。增强现实手术显微镜(1)允许依据荧光图像数据(24)在伪彩色(86)中自动地识别和标记各种类型的血管丛结构(54a，54b，54c)和/或血流方向(56)。术前三维图集(36)和/或超声图像数据(39)可以与可见光图像数据(26)进行弹性匹配。增强现实手术显微镜(1)允许各种图像数据的不同组合被同时输出到不同的显示器(75)。本发明还涉及显微镜学方法和非瞬态计算机可读介质。

Description

增强现实手术显微镜和显微镜学方法
技术领域
本发明涉及增强现实手术显微镜和显微镜学方法。
背景技术
目前的显微镜能够以诸如白光、多个荧光团中的一个的荧光以及偏振光之类的不同成像模式捕获图像。但是，它们一次只能捕获一种模式。在手术期间，外科医生经常需要在不同的成像模式之间切换以便访问所有的必要信息。这种切换过程很麻烦并且使外科医生从手术中分心。此外，外科医生基本上需要通过记忆来组合所有信息，这不可避免地是不准确的、容易出错、疲劳并且需要广泛的训练和经验。
发明内容
因此，本发明的目的是提供一种显微镜装置和显微镜学方法，其有助于手术过程并为外科医生提供所有基本信息而不会使其从实际手术中分心。
根据本发明，该目的通过增强现实手术显微镜来解决，该增强现实手术显微镜包括用于获得输入图像数据的图像输入系统、图像处理器和图像输出系统，其中输入图像数据包括可见光图像数据的后续帧和至少一个荧光团的荧光图像数据的后续帧，其中图像处理器包括图案识别模块和图像混合模块，图案识别模块被配置为识别可见光图像数据和荧光图像数据中的至少一个中的至少一个血管丛结构，图像混合模块被配置为将至少一种伪彩色分配给荧光图像数据中的至少一个荧光团和/或识别出的血管丛结构，以生成伪彩色图像数据，并生成包括可见光图像数据、伪彩色图像数据以及可见光图像数据和伪彩色图像数据的任意组合中的至少一个的输出图像数据，并且其中图像输出系统适于选择性地且同时地将不同的输出图像数据输出到不同的输出接口。
根据本发明，上述目的通过用于在手术期间生成活组织的输出图像数据的显微镜学方法进一步实现，该方法包括获取输入图像数据的步骤，输入图像数据包括可见光图像数据的后续帧和至少一个荧光团的荧光图像数据的后续帧，该方法还包括以下步骤：识别可见光图像数据和荧光图像数据中的至少一个中的至少一个血管丛结构；将伪彩色分配给识别出的至少一个血管丛结构和/或荧光图像数据中的至少一个荧光团以生成伪彩色图像数据；生成包括可见光图像数据、伪彩色图像数据和可见光图像数据与伪彩色图像数据的任意组合中的至少一个的输出图像数据；同时输出不同的输出图像数据。
上述显微镜和显微镜学方法使得外科医生能够被呈现输出图像，该输出图像组合来自诸如可见光和荧光的各种来源的信息。通过用伪彩色标记血管丛结构生成附加信息。输出图像数据可以从不同的来源生成，并且在不同的输出接口处是选择性地可访问的。这允许例如手术助手被呈现与外科医生不同的输出图像数据。
通过添加以下特征中的一个或多个特征还可以改进上述解决方案，这些特征可以彼此独立地组合，并且其中每个特征都具有独特的技术效果。可以任意地将以下特征中的每个特征添加到显微镜或显微镜学方法中。
例如，图像采集系统不一定包括相机，而是可以包括适于将图像数据输入到显微镜中的一个或多个输入接口。
优选地，至少在荧光图像数据中均质化强度分布。这可以例如在图像处理器的均质化模块中完成。在均质化的荧光图像数据中，可以补偿至少一个荧光触发光谱中的不均匀的照明分布。这种补偿可以通过例如测量均匀颜色和亮度的样本(诸如灰卡)上的强度分布并使用测得的分布用于反向滤波来确定。
显微镜可以包括图像存储系统，其中可以至少临时存储本文描述的任何类型的图像数据。图像存储系统可以包括易失性和/或非易失性存储器，并且可以可拆卸地或固定地安装。
如果使用具有不同的，优选地不重叠的荧光发射光谱的多个荧光团，那么荧光图像数据可以包括多个不同组的荧光带图像数据。每组荧光带图像数据被分配不同的光谱带。每组荧光带图像数据可以包括后续帧。如果参考该荧光图像数据，那么这可以涉及单组荧光带图像数据或涉及多于一组荧光带图像数据。
为了同时采集多个不同组的荧光带图像数据，可以在显微镜中包括至少一个多光谱或高光谱相机。荧光团的每个荧光发射带，优选地还包括自发荧光带，被映射到多光谱或高光谱相机的不同光谱带中的至少一个上。
可以独立于其它组的荧光带图像数据均质化不同组的荧光带图像数据中的每个。在每组荧光带图像数据中，可以独立于其它组的荧光带图像数据识别血管丛结构。可以为任何一组荧光带图像数据和任何血管丛结构分配不同的伪彩色，使得生成多组伪彩色图像数据。不同组的伪彩色图像数据可以各自独立或与彼此和/或可见光图像数据任意组合而被输出作为输出图像数据。此外，荧光图像数据、每组荧光带图像数据和可见光图像数据也可以被直接输出作为输出图像数据，而不与其它图像数据组合。
一组荧光带图像数据可以用于自动确定血流方向，而另一组荧光带图像数据或多个不同组的荧光带图像数据可以用于自动确定血管丛结构。
在另一个实施例中，图像处理器还可以适于根据荧光图像数据或均质化的荧光图像数据或至少一组荧光带图像数据的后续帧中的特定位置处的荧光强度的变化自动识别血管丛结构的优选预定类型，并根据识别出的血管丛结构的类型自动地将伪彩色分配给识别出的血管丛结构。其中结构的类型用伪彩色标记的图像数据形成一组伪彩色图像数据，其可以用作输出图像数据或与可见光图像数据和/或任何其它类型的伪彩色图像数据组合。血管丛结构的类型可以是例如动脉血管丛结构、静脉血管丛结构和毛细血管丛结构之一。可以为这些类型中的每一种分配不同的伪彩色，例如，蓝色用于静脉血管丛结构，红色用于动脉血管丛结构，并且黄色或绿色用于毛细血管丛结构。可以将这些类型中的每一种分配给不同的伪彩色图像数据，以允许不同类型的独立图像处理。在欧洲专利申请EP 1717 40 47.5中公开了一种用于组织分类的装置和方法，该申请通过引用被整体并入本文。
对于血管丛结构的形态学识别，可以使用例如在以下文章中公开的算法：Suri，S.，Laxminarayan，S.(2003)：“Angiography and Plaque Imaging：AdvancedSegmentation Techniques”，CRC-Press，第501-518页；Rouchdy，Y.，Cohen，L.(2011)：“Ageodesic voting method for the segmentation of tubular tree and centerline”，IEEE Symposium on Biomedical Imaging，DOI 10.1109/ISBI.2011.5872566，第979-983页。此外，荧光图像数据的后续帧可以用于自动确定形态学上识别出的血管丛结构中的血流方向。在欧洲专利申请EP 17 21 09 09.2中描述了用于自动确定和显示形态学上识别出的血管丛结构中的血流方向的显微镜和显微镜学方法，该专利申请通过引用被整体并入本文。如本申请中所公开的，可以跨荧光和/或荧光带图像数据和均质化的荧光和/或荧光带图像数据中的至少一个的后续帧使用沿着识别出的血管丛结构的荧光强度的空间梯度和在识别出的血管丛结构的相同位置处的时间梯度中的至少一个来实时地自动确定识别出的血管丛结构中的血流方向。识别出的血管丛结构的形态学结构的至少部分可以被取决于血流方向而不同的随时间变化和/或空间上变化的伪彩色图案代替或与可以与该伪彩色图案混合。图案识别模块可以被配置为在形态学上自动识别血管丛结构并且生成一组伪彩色图像数据，其中识别出的血管丛结构的形态结构的至少部分被取决于血流方向而不同的随时间变化和/或空间上变化的伪彩色图案代替或可以与该伪彩色图案混合。
在本发明的另一个实施例中，输入图像数据可以包括术前图像数据的二维或三维图集。这样的图集可以通过例如MRT生成。附加地或替代地，可以通过医学超声系统生成二维或三维图集作为超声图像数据。超声图像数据可以在手术期间或术前生成。
可以使用例如在欧洲专利申请EP 18 15 69 06.2中描述的系统和方法将图集弹性地映射到可见光图像数据和荧光图像数据中的至少一个，该专利申请通过引用被整体并入本文。
弹性匹配模块优选地适于将荧光图像数据、均质化的荧光图像数据、至少一组伪彩色图像数据、超声图像数据和术前图像数据中的至少一个弹性地匹配到可见光图像数据。
三维图集的弹性匹配的子集可以与荧光图像数据(包括其中包含的任何一组荧光带图像数据)、均质化的荧光图像数据、伪彩色图像数据、超声图像数据和可见光图像数据中的至少一个组合至可以被选择性地发送到至少一个输出接口的至少一组输出图像数据中。使用弹性匹配的子集，可以在输出图像数据中使位于被研究对象的可见表面下方的活组织结构可见。
为了将任何图像数据与伪彩色组合，可以使用欧洲专利申请EP 16 15 56 25.3中描述的混合过程和装置，该专利申请通过引用被整体并入本文。
增强现实手术显微镜可以包括多个输出装置，诸如立体显示器、二维和/或三维显示器、增强现实护目镜、投影仪和存储装置或存储系统中的至少一个。对于每个不同的输出装置，可以提供单独的输出接口，每个接口适于接收不同的输出图像数据。
最后，本发明还涉及存储程序的非瞬态计算机可读介质，该程序使计算机执行本说明书中描述的任何配置中的图像处理方法。
附图说明
在下文中，使用示例性实施例参考开放式附图详细描述本发明。该实施例中示出的特征的具体组合仅用于说明的目的，并且可以根据以上对各种附加特征的描述而更改。例如，如果在特定应用中不需要某个特征的技术效果，那么该特征可以被省略，反之亦然：如果对于特定应用，需要某个特征的技术效果，那么可以添加该特征。
在附图中，相同的附图标记用于关于功能和设计中的至少一个彼此对应的元件。
在附图中，
图1示出了根据本发明的增强现实手术显微镜的示意性表示；
图2示出了根据本发明的显微镜学方法的示意性表示；
图3示出了通过根据本发明的增强现实手术显微镜和根据本发明的显微镜学方法获得的样本图像。
具体实施方式
在下文中，参考图1、2和3描述本发明。
图1示出了增强现实手术显微镜1。显微镜1设置有至少一个相机2，其优选地包括至少一个多光谱或高光谱相机。相机2位于安装在可移动的悬臂和/或伸缩臂6上的光学器件支架4中，以在手术期间自由地定位在待观察的对象8上方。臂6被支撑在显微镜1的框架9上，框架9可以是固定的或者可以在轮子上移动。
通常，对象8包括活组织10，其可以设置有至少一个荧光团14的至少一个团块12。手术显微镜1还可以包括照明系统16，其也可以被布置在光学器件支架4内。来自照明系统16的照明光18可以通过显微镜镜头20被引导到活组织10上。相机也可以使用显微镜镜头20。
如果活组织10包括一个或多个荧光团14中的至少一个团块12，并且如果照明光18或环境光包括其中触发相应荧光团14的荧光的波长，那么相机2可以获取包括荧光图像数据24(即，表示以至少一个荧光团的荧光发射波长记录的活组织的图像的数据)的输入图像数据22。
如果活组织10中不包含荧光团，那么输入图像数据22可以仅包括活组织10的可见光图像数据26。作为荧光团14的荧光的替代或附加，相机2也可以被配置为检测活组织10或荧光团14的可以由照明光18或荧光团14的荧光触发的自发荧光。
如果相机2是多光谱或高光谱相机，那么荧光团14和/或自发荧光的每个荧光波带可以被映射到多光谱和高光谱相机的不同传感器阵列，即，不同的光谱带。因此，荧光图像数据24可以包括一组或多组荧光带图像数据28，每组荧光带图像数据表示在不同荧光光谱下的对象8的图像。荧光光谱对应于有限的、通常窄的光谱带，其优选地以荧光团14的荧光发射光谱或活组织10中的预定类型的组织或物质为中心。图1中示出的三组荧光带图像数据28仅用于示例性目的，其中一个(FL 570)由具有以570nm波长为中心的荧光发射光谱的荧光团14生成，一个(FL 400)由具有以400nm波长为中心的荧光发射光谱的另一个荧光团14生成，并且一个(FL 800)由具有以800nm波长为中心的荧光发射光谱的另一个荧光团14生成。
使用多光谱或高光谱相机的优点在于，除了荧光图像数据24之外并且与荧光图像数据24同时地，可以使用用于表示可见光的至少三个不同光谱带来记录可见光图像数据26(图1中的WL)。
荧光图像数据24、可见光图像数据26和荧光带图像数据28中的至少一个中的输入图像数据22优选地包括后续帧30的时间序列29或由其组成，每个帧又包括多个像素32。
图像数据22、24、26和28可以存储在图像存储系统34中，图像存储系统34可以是易失性或非易失性存储器，诸如RAM、ROM、盘驱动器或诸如SD或微-SD卡的存储器卡。存储系统34可以与显微镜1固定在一起，或者可以被配置为重复地可插入到显微镜1中或从显微镜1中可拆卸。可以从中获得图像数据22、24、26、28的任何其它类型的存储装置被认为由术语“图像存储系统”所包括。
图像存储系统34也可以包括术前图像数据38的三维图集36。术前图像数据38可以在通过显微镜1观察之前例如通过MRT从对象8获得。输入图像数据22可以包括术前图像数据38。
输入图像数据22还可以包括来自其它来源的图像数据，诸如由成像超声系统生成的二维或三维超声图像数据39，成像超声系统是诸如在欧洲专利申请EP 18 15 88 58.3中公开的那种成像超声系统，该专利申请通过引用被整体并入本文。
增强现实手术显微镜1还可以包括图像处理器40，其适于在输入图像数据22、24、26、28和38中的任何一个上工作。图像处理器40可以由软件、硬件或两者的组合制成。例如，图像处理器可以包括通用计算机，或诸如具有存储器的CPU和/或GPU的处理器，或诸如ASIC的专用IC。
例如，还参考图2，图像处理器40可以包括均质化模块42、动力学分析模块44、弹性匹配模块46、图案识别模块48、光谱分离模块50和图像混合模块52。模块42至52可以再次用软件、硬件或两者的组合来实现。
均质化模块42适于跨荧光图像数据24或者独立地任何一组荧光带图像数据28的帧30使强度分布均质化。作为均质化的结果，获得均质化的荧光图像数据24，其可以包括一组或多组均质化的荧光带图像数据28。
为了均质化，增强现实手术显微镜1可以包括存储的均质化功能53，其可以例如通过使由照明光18的荧光激发波带照射的均匀对象8作为对象8来获得。每个荧光带优选地具有其自身的均质化功能53。均匀对象8还可以包括记录光学畸变的几何图案。由此，均质化功能53可以被导出为照明分布和/或畸变的倒数。当然，可见光图像数据26也可以例如通过与荧光图像数据24相同的模块和/或方法被均质化。关于均质化，参考欧洲专利申请EP 1815 26 17.9，该申请通过引用被整体并入本文。
动力学分析模块44适于处理帧30的时间序列29。动力学分析模块44被配置为基于荧光图像数据24或均质化的荧光图像数据24对活组织10中的至少一种类型的血管丛结构54进行分类和/或识别血流方向56。
动力学分析模块44优选地适于获得和处理荧光图像数据24的后续帧30。例如，通过对活组织10中的特定位置57处的团块12的时间发展进行主成分分析，血管丛结构54的类型可以被自动确定为例如动脉血管丛结构54a、静脉血管丛结构54b和毛细血管丛结构54c之一。在显微镜1中，不同的识别出的血管丛结构54a、54b、54c可以各自由伪彩色图像数据55表示，其中结构54a、54b、54c中的每一个可以被自动分配不同的伪彩色。对于每种不同类型的血管丛结构54a、54b、54c，可以提供不同组的伪彩色图像数据55以允许独立地处理不同的血管丛结构54a、54b，54c。
在欧洲专利申请EP 17 17 40 47.5中描述了基于至少一个荧光团14的团块12的时间发展自动识别血管丛结构的类型，该专利申请通过引用被整体并入本文。
动力学分析模块44也可以用于确定荧光图像数据24中的血流方向56，特别是在先前已由图案识别模块48在形态学上识别出的血管丛结构54中的血流方向56。血管丛结构的形态学识别与其类型的分类不同，因为在形态学识别中，在没有对其类型进行分类的情况下确定图像数据中的连续血管丛结构的几何范围。
血管丛结构54的形态学识别在例如以下文章中描述：Suri，S.，Laxminarayan，S.(2003)：“Angiography and Plaque Imaging：Advanced Segmentation Techniques”，CRC-Press，第501-518页；Rouchdy，Y.，Cohen，L.(2011)：“A geodesic voting method for thesegmentation of tubular tree and centerlines”，IEEE Symposium on BiomedicalImaging，DOI 10.1109/ISBI.2011.5972576，第979-983页。使用欧洲专利申请EP 17 21 0909.2中描述的装置和方法，血流方向56可以在形态学上识别出的血管丛结构54中使用在荧光图像数据24的后续帧30上的识别出的血管丛结构54内的给定位置57处的时间导数，以及在另一个实施例中附加地使用沿着识别出的血管丛结构54的空间导数来确定，该专利申请通过引用被整体并入本文。通过向形态学上识别出的血管丛结构54分配随时间变化的和/或空间上变化的伪彩色图案，可以生成另一组伪彩色图像数据55。优选地，该图案取决于血流方向56或血流速度中的至少一个。
通过分配取决于血流方向56、血流速度和血流率中的至少一个的随时间变化和/或空间上变化的伪彩色图案，可以从超声图像数据39生成另一组伪彩色图像数据55。动力学分析模块44可以适于在将超声图像数据39弹性匹配到可见光图像数据26之前或之后执行这样的分配。
弹性匹配模块46适于将已由图案识别模块48在荧光图像数据24的帧30的时间序列中识别出的血管丛结构54与后续帧和/或其它图像数据进行匹配。因此，可以在帧30的时间序列中跟踪位置57及其属性，诸如血流方向56。图案识别模块48还可以适于弹性地匹配术前三维图集36与可见光图像数据26。
可以用于弹性匹配的方法在例如欧洲专利申请EP 18 15 69 06.2中描述，该专利申请通过引用被整体并入本文。此外，图案识别模块48可以适于弹性地匹配输入图像数据22的任何类型或子集与输入图像数据22的另一个子集。例如，如果输入图像数据22对应于已经由成像超声装置生成的超声图像数据39，那么超声图像数据39可以与可见光图像数据26或荧光图像数据24进行弹性匹配。
光谱分离模块50适于从输入图像数据22中提取不同的荧光光谱，特别是从单组荧光带图像数据28中提取不同的荧光光谱。光谱分离模块50还可以包括光学滤波器布置58，例如，一个或多个窄带通滤波器，其中通带优选地限于荧光团14的相应荧光发射光谱。滤波器布置58减少了不同的荧光光谱之间的串扰。
光谱分离模块50还可以适于从荧光带图像数据28数字地分离例如组织的自发荧光图像数据28'。当组织10中的荧光被照明光18触发或被激发的荧光触发作为次要效应时，自发荧光可能导致不希望的或非预期的效果。光谱分离模块50和滤波器布置58的示例包含在欧洲专利申请EP 17 17 90 19.9中，该专利申请通过引用被整体并入本文。如果使用多光谱和/或高光谱相机，并且其中将发生自发荧光的荧光光谱是已知的，那么优选地将不同的自发荧光光谱分配给相机的不同光谱带。这些光谱带优选地不同于相机的光谱带，其中记录了触发的荧光。如果在相机中没有发生光谱带的这种分离，那么光谱分离模块50可以包括至少一个数字带通滤波器，其通带与自发荧光光谱匹配。数字带通滤波器可以是IIR或FIR滤波器。优选地，对于每个自发荧光光谱，存在匹配的数字带通滤波器。
图像混合模块52适于将显微镜1中的任何图像数据与伪彩色混合以生成伪彩色图像数据55、另一个输入图像数据22和/或处理后的图像数据24'、28'、54a、54b、54c。由图像混合模块52实现的结构和方法在欧洲专利申请EP 16 15 56 25.3中描述，该专利申请也通过引用被整体并入本文。
例如，识别出的类型的识别出的血管丛结构54a、54b、54c内的位置57可以在输出图像数据59中被自动分配伪彩色。伪彩色线性地位于位置57的颜色，即可见光图像数据26和伪彩色之间的颜色空间中。位置57可以对应于相应帧30中的一个像素或一组像素。特别地，输出图像数据59中的对应位置57的颜色与伪彩色的颜色空间中的距离可以与荧光图像数据24中或分别与其任何子集中的该位置处的强度成比例。
图像混合模块52可以从图像数据24、24'、26、28、28'、36、54a、54b、54c，55的任何组合或者仅单独从这些图像数据的一组生成至少一组输出图像数据59。
模块42至52中的每一个可以被实现为硬件、软件或两者的组合。例如，模块可以被实现为计算机程序中的一个或多个子例程、CPU的部分和/或ASIC。
如图1中进一步所看到的，增强现实手术显微镜1可以包括被配置为连接到各种装置以提供输入图像数据22的多个输入接口60。输入接口60可以是标准化的基于线的协议、插座或连接器，诸如TCP/IP、DVI、HDMI、USB，和/或无线连接，诸如WiFi，以接收至少一组输入图像数据。输入接口60是图像输入系统25的部分。特别地，输入图像数据22不需要如三维图集36或超声图像数据39所例示那样通过光学构件生成，而是也可以使用X射线、MRT，超声和/或PET生成。例如，欧洲专利申请EP 18 15 88 58.3中描述的组合式相机/超声头可以连接到显微镜1、可以是显微镜1的部分，该专利申请通过引用被整体并入本文。输入图像数据22也可以或仅从该超声头获取。
照明系统16可以包括具有可调节的光谱的光源62。特别地，至少一个光源62的照明光谱可以自动地适于对象8的反射率和/或至少一个荧光团14的荧光激发光谱，如在欧洲专利申请EP 16 18 43 11.5中所描述的，该专利申请通过引用被整体并入本文。
模块42至52的操作可以由定制部分64控制。定制部分64可以包括传感器66，传感器66自动获取显微镜1的操作参数68，诸如显微镜镜头20的焦距、显微镜镜头20的距离设置、输入图像数据22的亮度、输入图像数据22的平均光谱、照明系统16的照明光谱等中的至少一个。此外，定制部分64可以包括可以在显微镜1的操作之前和/或期间手动调节的用户设置69。对于每个不同的输出装置70，不同的用户设置69可以存储在定制部分64中。例如，图像混合模块52可以仅将已被手动选择用于在定制部分64中进行混合的那些输入图像数据22或处理后的图像数据24'、28'、54a、54b、54c，55混合到输出图像数据59中。用于组合输入图像数据22的各种可能性由图2中的箭头71指示。例如，在输出图像数据59a中，可见光图像数据22、来自均质化的荧光图像数据24'的一组伪彩色图像数据55和不同类型的血管丛结构54a、54b、54c的多组伪彩色图像数据55、不同伪彩色中的每种类型可以彼此混合。
在另一组输出图像数据59b中，优选地可以混合均质化的荧光带图像数据28，其中每个荧光带被分配不同的伪彩色和/或空间上变化的图案72，伪彩色和/或空间图案的亮度取决于例如那个位置的荧光强度57。
另一组输出图像数据59c可以包括由图像处理器40生成的随时间变化的图案73。随时间变化的图案73可以被限制于和/或至少部分地覆盖识别出的血管丛结构54和/或其在后续的输出图像数据59c中的外观可以至少取决于血流方向56和血流速度。随时间变化的图案73例如可以是依据血流速度和血流方向56改变大小和方向的箭头，或者是其中包含在输出图像数据59c的后续帧30上在血流方向56上前进的图案的进度条。随时间变化的标记的外观可以在用户设置69中定义。时间相关标记的生成在欧洲专利申请EP 16 17 0769.0中描述，该专利申请通过引用被整体并入本文。
当然，输入图像数据22或图像数据24'、28'、54a、54b、54c的任何其它组合可以被混合在输出图像数据59中。可以同时输出任意数量的不同输出图像数据59。在此上下文中要注意的是，单独的伪彩色图像数据55不需要在将它们混合到输出图像数据59之前生成。相反，可以在运行(on the fly)中将伪彩色和相应的图像数据22混合到输出图像数据59中，而无需生成完整的一组单独的伪彩色图像数据55。
但是，出于计算目的，如果例如需要将相同的伪彩色图像数据55混合到两个不同组的输出图像数据59中，那么一次生成伪彩色图像数据55并将它们临时存储比为每组输出图像数据59重新计算它们可能更高效。
为了输出输出图像数据59，增强现实手术显微镜1还包括适于连接到各种输出设备70的图像输出系统74。优选地，输出设备70包括一个或多个不同的显示器75(诸如至少一个三维和/或二维显示器75、至少一个立体显示器76、增强现实护目镜78和其它80，例如投影仪)或图像记录和/或存储系统。特别地，取决于定制部分64中的操作参数68，可以在图像输出系统74的不同输出接口82处同时提供不同的输出图像数据59。例如，可以向立体显示器76处的外科医生提供与观察显示器75的助手不同的输出图像数据59。如果外科医生使用增强现实护目镜78，那么他们也可以被再次提供不同的输出图像数据59以及同时被提供用于其它输出设备70的输出图像数据59。输出接口82可以包括标准化协议、连接器和插座，诸如TCP/IP、HDMI、DVI和USB，或无线连接，诸如WiFi，用于将输出图像数据59输出到输出设备。
输入接口60和/或图像输出系统74可以包括任何组合和数量的优选标准化硬件连接器和/或无线连接。
增强现实手术显微镜1，特别是图像混合模块52，还可以包括调色板84(图3)，其可以存储在显微镜1的图像存储系统34或任何其它存储系统中。取决于定制部分64中的用户设置69，和/或取决于由动力学分析模块44识别出的血管丛结构54的类型和/或血流方向56，增强现实手术显微镜1可以向输出图像数据59中的不同位置57自动分配调色板84的不同伪彩色86。如上所述的可见光图像数据26和/或荧光图像数据24可以优选地在输出图像数据59中被显示为彩色图像或灰度图像。
增强现实手术显微镜1实时操作。因此，所有上述输出图像数据59被实时提供给外科医生。
附图标记
1 增强现实手术显微镜
2 相机
4 光学器件支架
6 悬臂
8 对象
9 框架
10 活组织
12 团块
14 荧光团
16 照明系统
18 照明光
20 显微镜镜头
22 输入图像数据
24 荧光图像数据
24' 均质化的荧光图像数据
25 图像输入系统
26 可见光图像数据
28 荧光带图像数据
28' 自发荧光图像数据
29 时间序列
30 帧
32 像素
34 图像存储系统
36 三维图集
38 术前图像数据
39 超声图像数据
40 图像处理器
42 均质化模块
44 动力学分析模块
46 弹性匹配模块
48 图案识别模块
50 光谱分离模块
52 图像混合模块
53 均质化功能
54 血管丛结构
54a 动脉血管丛结构
54b 静脉血管丛结构
54c 毛细血管丛结构
55 伪彩色图像数据
56 血流方向
57 对象或活组织中的位置
58 滤波器
59 输出图像数据
59a 输出图像数据的示例
59b 输出图像数据的示例
59c 输出图像数据的示例
60 输入接口
62 光源
64 定制部分
66 传感器
68 操作参数
69 用户设置
70 输出装置
71 箭头
72 空间上变化的图案
73 随时间变化的图案
74 图像输出系统
75 显示器
76 立体显示器
78 增强现实护目镜
82 输出接口
84 调色板
86 伪彩色

Claims (15)

1.一种增强现实手术显微镜(1)，包括用于获得输入图像数据(22)的图像输入系统(25)、图像处理器(40)和图像输出系统(74)，
其中所述输入图像数据(22)包括可见光图像数据(26)的后续帧(30)和至少一个荧光团(14)的荧光图像数据(24，28)的后续帧(30)，
其中所述图像处理器(40)包括：
图案识别模块(48)，被配置为识别所述可见光图像数据(26)和荧光图像数据(24，24'，28)中的至少一个中的至少一个血管丛结构(54)，
图像混合模块(52)，被配置为：
将至少一种伪彩色(86)分配给所述荧光图像数据(24，24'，28)中的至少一个荧光团和/或识别出的血管丛结构(54，54a，54b，54c)，以生成伪彩色图像数据(55)，以及
生成包括所述可见光图像数据(26)、所述伪彩色图像数据(55)和所述可见光图像数据(26)与所述伪彩色图像数据(55)的任意组合中的至少一个的输出图像数据(59)，
并且其中所述图像输出系统(74)适于选择性地且同时地将不同的输出图像数据(59)输出到不同的输出接口(82)。
2.如权利要求1所述的增强现实手术显微镜(1)，其中所述图像处理器(40)还包括动力学分析模块(44)，所述动力学分析模块(44)适于依据在所述荧光图像数据(24，24'，28)的后续帧(30)上的特定位置(57)处的荧光强度的变化自动地识别血管丛结构(54)，并且依据识别出的血管丛结构(54a，54b，54c)的类型自动地向识别出的血管丛结构(54a，54b，54c)分配伪彩色(86)，以生成伪彩色图像数据(55)。
3.如权利要求1或2所述的增强现实手术显微镜(1)，其中所述荧光图像数据(24，24')包括至少两组荧光带图像数据(28)，所述两组荧光带图像数据中的每一组表示至少一个荧光团(14)的不同荧光光谱。
4.如权利要求1至3中任一项所述的增强现实手术显微镜(1)，其中所述输入图像数据(22)包括术前图像数据(38)的三维图集(36)和超声图像数据(39)中的至少一个。
5.如权利要求1至4中任一项所述的增强现实手术显微镜(1)，其中所述图像处理器(40)包括弹性匹配模块(46)，所述弹性匹配模块(46)适于将所述荧光图像数据(24，24')、至少一组荧光带图像数据(28)、所述伪彩色图像数据(55)、所述超声图像数据(39)和所述术前图像数据(38)中的至少一个与所述可见光图像数据(26)弹性地匹配。
6.如权利要求1至5中任一项所述的增强现实手术显微镜(1)，包括用于在多个光谱带中同时获取所述荧光图像数据(24)和可见光图像数据(26)的多光谱相机和高光谱相机中的至少一个，其中至少一个多光谱相机或高光谱相机的至少一个光谱带与所述至少一个荧光团(14)的荧光带匹配。
7.如权利要求1至6中任一项所述的增强现实手术显微镜(1)，其中所述伪彩色图像数据(55)包括随时间变化的图案(73)和空间上变化的图案(72)中的至少一个。
8.如权利要求1至7中任一项所述的增强现实手术显微镜(1)，其中所述增强现实手术显微镜(1)包括多个显示器(75)，所述图像输出系统(74)适于同时向多个显示器(75)输出不同的输出图像数据(59)。
9.一种用于在手术期间生成活组织(10)的输出图像数据(59)的显微镜学方法，所述方法包括获取输入图像数据(22)的步骤，所述输入图像数据(22)包括可见光图像数据(26)的后续帧(30)和至少一个荧光团(14)的荧光图像数据(24，28)的后续帧(30)，所述方法还包括以下步骤：
·识别所述可见光图像数据(26)和荧光图像数据(24，24'，28)中的至少一个中的至少一个血管丛结构(54)，
·将伪彩色(86)分配给识别出的至少一个血管丛结构(54a，54b，54c)和/或荧光图像数据(24，24')中的至少一个荧光团(14)，以生成伪彩色图像数据(55)，
·生成包括所述可见光图像数据(26)、所述伪彩色图像数据(55)和所述可见光图像数据(26)与所述伪彩色图像数据(55)的任意组合中的至少一个的输出图像数据(59)，
·同时输出不同的输出图像数据(59)。
10.如权利要求9所述的显微镜学方法，其中在所述输入图像数据(22)中自动地识别预定类型的血管丛结构(54a，54b，54c)，所述预定类型的血管丛结构(54a，54b，54c)包括动脉(54a)、静脉(54b)和毛细血管(54c)血管丛结构中的至少一个，并且其中血管丛结构(54a，54b，54c)被自动地分配伪彩色(86)。
11.如权利要求9或10所述的显微镜学方法，其中依据输入图像数据(22)的后续帧(30)中的荧光的变化自动地确定血管丛结构(54a，54b，54c)的类型。
12.如权利要求9至11中任一项所述的显微镜学方法，其中识别出的血管丛结构(54a，54b，54c)中的血流方向(56)被自动地确定并通过所述输出图像数据(59)中的伪彩色(86)中的至少一个被标记。
13.如权利要求9至12中任一项所述的显微镜学方法，其中在多个光谱带中同时获取所述荧光图像数据(24，24'，28)和所述可见光图像数据(26)，其中所述活组织(10)包含多于一个荧光团(14)，并且其中对于具有不同荧光发射光谱的活组织(10)中的每个荧光团(14)，获取单独的荧光带图像数据(28)作为所述荧光图像数据(24，24')的部分。
14.如权利要求9-13中任一项所述的显微镜学方法，其中为所述至少一个荧光团(14)的自发荧光和由照明系统(16)生成的照明光(18)直接触发的荧光提供不同的荧光带图像数据(28)。
15.一种存储程序的非瞬态计算机可读介质，所述程序使计算机执行根据权利要求9至14中任一项所述的显微镜学方法。
CN201910199263.2A 2018-03-16 2019-03-15 增强现实手术显微镜和显微镜学方法 Active CN110269700B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18162165.7 2018-03-16
EP18162165.7A EP3540494B1 (en) 2018-03-16 2018-03-16 Augmented reality surgical microscope and microscopy method

Publications (2)

Publication Number Publication Date
CN110269700A true CN110269700A (zh) 2019-09-24
CN110269700B CN110269700B (zh) 2022-06-14

Family

ID=61691686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199263.2A Active CN110269700B (zh) 2018-03-16 2019-03-15 增强现实手术显微镜和显微镜学方法

Country Status (4)

Country Link
US (1) US11800980B2 (zh)
EP (1) EP3540494B1 (zh)
JP (1) JP2019164347A (zh)
CN (1) CN110269700B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
EP4055517A1 (en) * 2019-11-08 2022-09-14 Leica Instruments (Singapore) Pte Ltd System, microscope system, methods and computer programs for training or using a machine-learning model
US11733503B2 (en) 2019-11-14 2023-08-22 Leica Instruments (Singapore) Pte. Ltd. System and a method for generating output image data and a microscope
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US11131842B2 (en) * 2020-03-02 2021-09-28 Tencent America LLC Method and apparatus for displaying information ring and augmented reality display for microscope
US20230019054A1 (en) 2020-03-24 2023-01-19 Leica Instruments (Singapore) Pte. Ltd. Surgical microscope system and system, method and computer program for a surgical microscope system
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
WO2022232264A1 (en) * 2021-04-28 2022-11-03 Smith & Nephew, Inc. Computerized systems for arthroscopic applications using real-time blood-flow detection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009000376A1 (de) * 2009-01-22 2010-08-05 Carl Zeiss Surgical Gmbh Verfahren zur quantitativen Darstellung des Blutflusses
CN105228652A (zh) * 2013-02-21 2016-01-06 罗契斯特大学 评价全脑血管旁路径的废弃物清除功能的方法以及基于这种方法治疗神经退化性病症的方法
CN106714670A (zh) * 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
CN107080594A (zh) * 2016-02-15 2017-08-22 徕卡仪器（新加坡）有限公司 多光谱荧光显微镜及其照明滤波器系统和观察系统
WO2017204746A1 (en) * 2016-05-23 2017-11-30 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6174291B1 (en) 1998-03-09 2001-01-16 Spectrascience, Inc. Optical biopsy system and methods for tissue diagnosis
WO2006120794A1 (ja) * 2005-05-11 2006-11-16 Olympus Medical Systems Corp. 生体観測装置用信号処理装置
WO2009120228A1 (en) * 2008-03-24 2009-10-01 General Electric Company Image processing systems and methods for surgical applications
US9147246B2 (en) 2009-08-18 2015-09-29 Ben-Gurion University Of The Negev Research And Development Authority Apparatus and method for analyzing stream of imaging data
EP2617810B1 (en) * 2010-09-14 2016-04-13 Tokyo Women's Medical University Method for producing layered cell sheets, layered cell sheets having vascular network obtained thereby, and method for utilizing same
JP2013011527A (ja) 2011-06-29 2013-01-17 Olympus Corp 蛍光顕微鏡システムおよび蛍光物質の定量方法
JP2013092636A (ja) 2011-10-25 2013-05-16 Olympus Corp 画像処理装置、顕微鏡システム、画像処理方法、画像処理プログラム
US11510600B2 (en) * 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
CN105658138B (zh) 2013-06-14 2020-06-16 诺瓦达克技术公司 使用荧光介导的光容积描记术定量组织中的绝对血流量
KR102564748B1 (ko) * 2015-03-16 2023-08-07 매직 립, 인코포레이티드 건강 질환 진단과 치료를 위한 방법 및 시스템
EP3205254B1 (en) 2016-02-15 2020-11-18 Leica Instruments (Singapore) Pte. Ltd. Medical inspection apparatus, such as a microscope or endoscope, using pseudocolors
US10744212B2 (en) * 2016-03-14 2020-08-18 General Electric Company Topical application of nerve labeling dyes for image-guided surgery
WO2018002347A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Registering tomographic imaging and endoscopic imaging
EP3284396B1 (en) 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object
EP3410394B1 (en) 2017-06-01 2020-01-15 Leica Instruments (Singapore) Pte. Ltd. Method, image processor and device for observing an object containing a bolus of a fluorophore
EP3422072B1 (en) 2017-06-30 2020-01-08 Leica Instruments (Singapore) Pte. Ltd. Illumination system, microscope comprising an illumination system and microscope method
EP3505059A1 (en) 2017-12-28 2019-07-03 Leica Instruments (Singapore) Pte. Ltd. Apparatus and method for measuring blood flow direction using a fluorophore
EP3514600A1 (en) 2018-01-19 2019-07-24 Leica Instruments (Singapore) Pte. Ltd. Method for fluorescence intensity normalization
EP3527123B1 (en) 2018-02-15 2022-08-31 Leica Instruments (Singapore) Pte. Ltd. Image processing method and apparatus using elastic mapping of vascular plexus structures
EP3530191A1 (en) 2018-02-27 2019-08-28 Leica Instruments (Singapore) Pte. Ltd. Ultrasound head combining ultrasound and optics

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009000376A1 (de) * 2009-01-22 2010-08-05 Carl Zeiss Surgical Gmbh Verfahren zur quantitativen Darstellung des Blutflusses
CN105228652A (zh) * 2013-02-21 2016-01-06 罗契斯特大学 评价全脑血管旁路径的废弃物清除功能的方法以及基于这种方法治疗神经退化性病症的方法
CN106714670A (zh) * 2014-07-24 2017-05-24 大学健康网络 用于诊断目的的数据的收集和分析
CN107080594A (zh) * 2016-02-15 2017-08-22 徕卡仪器（新加坡）有限公司 多光谱荧光显微镜及其照明滤波器系统和观察系统
WO2017204746A1 (en) * 2016-05-23 2017-11-30 Leica Instruments (Singapore) Pte. Ltd. Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation

Also Published As

Publication number Publication date
JP2019164347A (ja) 2019-09-26
US20190282099A1 (en) 2019-09-19
US11800980B2 (en) 2023-10-31
EP3540494A1 (en) 2019-09-18
EP3540494B1 (en) 2022-11-23
CN110269700B (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN110269700A (zh) 增强现实手术显微镜和显微镜学方法
US20240007762A1 (en) Multi-function imaging
KR102476063B1 (ko) 파장대-선택적 이미징을 사용하는 요관 검출
JP6957689B2 (ja) 正反射の検出と低減のためのシステムおよび方法
JP2020521946A (ja) 病理学用の拡張現実顕微鏡
CN106572792A (zh) 用于多光谱成像的方法和部件
EP3198330A1 (en) Hyperspectral imager
RU2016127260A (ru) Системы, способы и устройство для многоканального отображения флюоресцентных источников в режиме реального времени
EP3130279A1 (en) Optical overlay device
JP6972049B2 (ja) 脈管叢構造の弾性マッピングを用いた画像処理方法および画像処理装置
US10156518B2 (en) Image analysis apparatus, imaging system, surgery support system, image analysis method, and storage medium
WO2020008834A1 (ja) 画像処理装置、方法及び内視鏡システム
US11957299B2 (en) Endoscope image processing apparatus, endoscope image processing method, and program
JP7233744B2 (ja) 蛍光観察カメラシステム
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
US11398033B2 (en) Diagnosis support system, endoscope system, processor, and diagnosis support method
JPWO2020036121A1 (ja) 内視鏡システム
CN106574831A (zh) 观察系统
CN109640781A (zh) 内窥镜系统
CN112089403A (zh) 多光谱医用多路成像方法及其系统
JP2008224312A (ja) 蛍光観察装置
WO2016061754A1 (zh) 一种手持式分子影像导航系统
KR101325054B1 (ko) 형광 영상을 촬영하는 장치 및 방법
Debertolis et al. Forensic Imaging in Anthropology
KR101594523B1 (ko) 가시광 광학영상 및 비가시광 형광영상의 동시구현이 가능한 광대역 영상 획득투사장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant