CN113376823A - 具有基于led的照明系统的显微镜系统的构思 - Google Patents

具有基于led的照明系统的显微镜系统的构思 Download PDF

Info

Publication number
CN113376823A
CN113376823A CN202110259548.8A CN202110259548A CN113376823A CN 113376823 A CN113376823 A CN 113376823A CN 202110259548 A CN202110259548 A CN 202110259548A CN 113376823 A CN113376823 A CN 113376823A
Authority
CN
China
Prior art keywords
light
image
led
wavelength
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110259548.8A
Other languages
English (en)
Other versions
CN113376823B (zh
Inventor
迈克尔·古恩特尔特
乌尔里希·维格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN113376823A publication Critical patent/CN113376823A/zh
Application granted granted Critical
Publication of CN113376823B publication Critical patent/CN113376823B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1006—Beam splitting or combining systems for splitting or combining different wavelengths
    • G02B27/1013—Beam splitting or combining systems for splitting or combining different wavelengths for colour or multispectral image sensors, e.g. splitting an image into monochromatic image components on respective sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G02B21/084—Condensers for incident illumination only having annular illumination around the objective

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

示例涉及包括基于发光二极管(LED)的照明系统和至少一个图像传感器组件的显微镜系统，并且涉及相应的系统、方法和计算机程序。基于LED的照明系统被配置为发射在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率和/或发射跨越白光光谱的辐射功率，其中发射的跨越白光光谱的光被滤波，使得具有与至少一种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光被衰减或阻挡。至少一个图像传感器组件被配置为生成图像数据，图像数据(至少)表示由基于LED的照明系统照明的样本反射的光。显微镜系统包括一个或多个处理器，该一个或多个处理器被配置为处理图像数据以生成经处理的图像数据。

Description

具有基于LED的照明系统的显微镜系统的构思
技术领域
示例涉及包括基于发光二极管(LED)的照明系统和至少一个图像传感器组件的显微镜系统，并且涉及相应的系统、方法和计算机程序。
背景技术
在许多显微镜系统中，使用基于氙的照明。为了获得不同波段的光，基于氙的 光源的光通过滤波器，例如通过滤光轮。这可能产生具有高散热的庞大、低效的系 统，其通常依赖于从支架到载体的光纤束来提供在载体处的照明。而且，这种设置 是不灵活的，因为氙光源用于白光反射照明和荧光激发二者，但是使用不同的滤光 轮。
此外，取决于由显微镜的照明系统提供的照明，可以执行不同类型的成像，例 如反射成像和荧光成像。然而，由于通过不同滤光轮提供的照明，用于反射成像的 照明可包含间隙，其可在“白光”反射图像内显现。
发明内容
可能需要一种包括照明系统和成像传感器的显微镜系统的改进构思。
这种期望通过独立权利要求的主题来解决。
本公开的各种实施例基于以下发现：可能期望将显微镜系统的照明系统、成像 传感器和图像处理设计为相互依赖的系统。例如，一个或多个成像传感器可以被调 谐(例如使用带通滤波器)到由照明系统提供的波段。照明系统可以使用发光二极 管(LED灯)来提供辐射功率，具有针对白光和荧光成像的特定需要而定制的照明 光谱，并且具有允许独立激活不同照明光谱的光源。此外，可以执行图像处理，其 在白光成像中补偿用于荧光成像的光谱部分，并且使用当前未用于白光成像的光谱 部分执行荧光成像。
本公开的各种实施例涉及一种显微镜系统，该显微镜系统包括基于LED的照明 系统，该照明系统被配置为发射在被调谐到至少一种荧光材料的激发波长的波长处 具有至少一个峰值的辐射功率(即，光)和/或发射跨越白光光谱的辐射功率(即， 光)，其中跨越白光光谱发射的辐射功率被滤波，使得具有与至少一种荧光材料的至 少一个荧光发射波长(光谱)一致的波长(光谱)的光被衰减或阻挡。显微镜系统 包括被配置为生成图像数据的至少一个图像传感器组件。图像数据(至少)表示由 基于LED的照明系统照明的样本反射的光。显微镜系统包括一个或多个处理器，其 被配置为处理图像数据以生成经处理的图像数据。使用该系统，基于照明(排除光 谱的一些部分以考虑荧光成像)，可以输出处理后的图像数据，其示出跨越白光光谱 的反射图像。另外，可以生成荧光图像叠加。通过使用基于LED的光源，可以减少 能量消耗，并因此减少热耗散。此外，因为基于LED的光源是紧凑的，所以它们可 以被包括在显微镜的物镜附近，而不是使用光纤通道来将光传输到载体。
在各种示例中，一个或多个处理器被配置为重建经处理的图像数据中表示具有与至少一种荧光材料的至少一个荧光发射波长一致的波长的光的一部分。换句话说， 可以使用图像处理来补偿光谱的“丢失”部分。
在各种示例中，显微镜系统用于反射成像和荧光成像两者。因此，图像数据可 以表示由基于LED的照明系统照明的样本反射的光以及由至少一种荧光材料发射的 光。因此，一个或多个处理器可以被配置为对由基于LED的照明系统照明的样本反 射的光执行图像处理，并且对由至少一种荧光材料发射的光单独地执行图像处理。
例如，一个或多个处理器可以被配置为基于图像数据来生成表示可见光的第一图像以及表示至少一种荧光材料的荧光发射的第二图像。换言之，一个或多个处理 器可以被配置为使用由至少一个图像传感器组件提供的图像数据来执行反射成像和 荧光成像。
然而，在一些情况下，显微镜系统可能仅提供图像中的一个。例如，基于LED 的照明系统可以具有两种或更多种操作模式。第一操作模式可适用于反射成像和荧 光成像。第二操作模式可适用于反射成像(仅反射成像，没有荧光成像)。一个或多 个处理器可以被配置为如果基于LED的照明系统以第一操作模式操作则生成第一图 像和第二图像，并且如果基于LED的照明系统以第二操作模式操作则生成第一图像 而不生成第二图像。在一些示例中，基于LED的照明系统还可以具有仅适合于荧光 成像的第三操作模式。在这种情况下，一个或多个处理器可以仅提供第二图像。
在各种示例中，显微镜系统包括两个图像传感器组件，例如用于提供立体成像。
在一些示例中，可以使用包括多个传感器的图像传感器组件，例如用以捕获光 谱的不同部分。在各种示例中，这些传感器可以与分束器组件耦合，分束器组件用 于将光谱的相关部分引导至相应的图像传感器。换句话说，至少一个图像传感器组 件或每个图像传感器组件可以包括分束器组件和三个图像传感器。分束器组件可以 被配置为将第一光谱部分的光引导至第一图像传感器，将第二光谱部分的光引导至 第二图像传感器，并且将第三光谱部分的光引导至第三图像传感器。三个图像传感 器可被配置为基于入射到相应图像传感器的光谱部分生成图像数据。通过三传感器 设置，以及将光分离成调谐到荧光团的各种发射波段的三个光谱部分，可以同时执 行可见光波段中的光的反射成像和荧光成像(具有多个荧光团)，同时保持白光图像 上的良好图像质量。
例如，三个图像传感器中的第一和第二图像传感器可以使用Bayer滤波器操作，并且三个图像传感器中的第三图像传感器可以在没有Bayer滤波器的情况下操作。例 如，配备有Bayer滤波器的图像传感器可用于对覆盖光谱的较宽范围的光谱部分(例 如，不同颜色)进行成像，而在没有Bayer滤波器的情况下操作的传感器可用于对光 谱的单个部分进行成像。
在各种示例中，图像数据包括源自第一图像传感器的第一部分、源自第二图像 传感器的第二部分，以及源自第三图像传感器的第三部分。一个或多个处理器可以 被配置为基于图像数据的三个部分的第一组合来生成表示可见光的第一图像，并且 基于图像数据的三个部分的第二组合来生成表示至少一种荧光材料的荧光发射的第 二图像。换言之，取决于生成的图像的类型，可以不同地组合由各个传感器提供的 图像数据。
例如，一个或多个处理器可以被配置为组合图像数据的三个部分，使得如果发 射在被调谐到一种荧光材料的激发波长的波长处具有一个峰值的光，则基于图像数 据的两个部分生成第一图像，并且基于图像数据的一个部分生成第二图像。一个或 多个处理器可以被配置为组合图像数据的三个部分，使得如果发射在被调谐到三种 荧光材料的激发波长的三个波长处具有三个峰值的光，则基于图像数据的一个部分 生成第一图像，并且基于图像数据的两个部分生成第二图像。
如果发射在调谐到两种荧光材料的两个激发波长的波长处具有两个峰值的光，那么取决于使用哪些荧光团，在一些情况下，基于图像数据的两个部分生成第一图 像，并且基于图像数据的一个部分生成第二图像(例如，如果两个激发波长由图像 传感器中的一个覆盖)，而且在一些情况下，基于图像数据的一个部分生成第一图像， 并且基于图像数据的两个部分生成第二图像(例如，如果两个激发波长由不同图像 传感器覆盖)。
在各种示例中，可以使用不同的图像传感器来执行不同荧光团的荧光成像。例如，一个或多个处理器可以被配置为组合图像数据的三个部分，使得如果发射在被 调谐到第一荧光材料的激发波长的第一波长处具有峰值的光，则基于图像数据的第 一部分生成第二图像。一个或多个处理器可以被配置为组合图像数据的三个部分， 使得如果发射在被调谐到第二荧光材料的激发波长的第二波长处具有峰值的光，则 基于图像数据的第三部分生成第二图像。
然而，图像数据的部分中的一个部分可用于执行两种荧光团的荧光成像。例如，一个或多个处理器可以被配置为组合图像数据的三个部分，使得如果发射在被调谐 到第三荧光材料的激发波长的第三波长处具有峰值的光，则基于图像数据的第一部 分生成第二图像。
在各种示例中，一个或多个处理器被配置为至少基于图像数据的第二部分生成第一图像。换言之，图像数据的第二部分可以总是用于生成“白光”反射图像，并 且可以不用于生成荧光图像。
在各种示例中，第一和第二光谱部分中的至少一个包括彼此间隔开的两个光谱子部分。例如，这两个光谱子部分可用于使用相同的图像传感器执行两种不同荧光 团的荧光成像。例如，第一光谱部分可以包括位于450nm和550nm之间以及750nm 和1000nm之间的两个连续子部分。第三光谱部分可以是位于550nm和700nm之 间的连续部分。例如，第一光谱部分可用于执行荧光素(在450nm和550nm之间 的范围内)和吲哚菁绿(ICG，在750nm和1000nm之间的范围内)的荧光成像。 第三光谱部分可用于执行5-ALA的荧光成像。
如从名称中容易理解的，基于LED的照明系统包括基于LED的光源。具体地， 基于LED的照明系统可以包括一个或多个第一基于LED的光源，其被配置为发射跨 越白光色谱的辐射功率(即，光)。基于LED的照明系统可以包括至少一个光学滤波 器，该至少一个光学滤波器被布置成对由一个或多个第一基于LED的光源发射的光 进行滤波并且被配置为衰减或阻挡具有与至少一种荧光材料的至少一个荧光发射波 长一致的波长的光。基于LED的照明系统可以包括一个或多个第二基于LED的光源， 该一个或多个第二基于LED的光源被配置为发射在被调谐到至少一种荧光材料的激 发波长的波长处具有至少一个峰值的光。两组光源可用于独立控制白光照明和荧光 激发。滤波器可以用于阻挡或衰减与荧光材料的发射光谱一致的波长处的光，因此 当白光LED源是激活的时，可以在图像数据内区分荧光材料的发射。
在各种示例中，一个或多个第二基于LED的光源被配置为发射在390nm和420 nm之间，460nm和500nm之间，以及780nm和810nm之间的一个或多个处具有 峰值的辐射功率(即，光)。这些波长是常用荧光团的激发波长。
在一些示例中，基于LED的照明系统还包括一个或多个第三基于LED的光源， 该第三基于LED的光源被配置为发射跨越白光色谱的辐射功率(即，光)。这些附加 光源可用于提供不被至少一个光学滤波器滤波的白光，例如，如果仅执行反射成像。
在各种示例中，基于LED的照明系统具有两种或更多种操作模式。基于LED的 照明系统可以被配置为在第一操作模式中发射在被调谐到至少一种荧光材料的激发 波长的波长处具有至少一个峰值的辐射功率(即，光)以及跨越白光光谱的辐射功 率，其中跨越白光光谱发射的光被滤波，使得具有与至少一种荧光材料的至少一个 荧光发射波长一致的波长的光被衰减或阻挡，并且在第二操作模式下，发射跨越白 光光谱的辐射功率(即，光)，其中具有与至少一种荧光材料的至少一个荧光发射波 长一致的波长的光不被衰减或阻挡。换言之，在第二操作模式中，可以照明整个可 见光谱。
本公开的各种实施例还提供了一种使用显微镜对对象成像的方法。该方法包括使用基于LED的照明系统发射在被调谐到至少一种荧光材料的激发波长的波长处具 有至少一个峰值的辐射功率(即，光)。该方法包括使用基于LED的照明系统发射跨 越白光光谱的辐射功率(即，光)。跨越白光光谱发射的光被滤波，使得具有与至少 一种荧光材料的至少一个荧光发射波长(光谱)一致的波长(光谱)的光被衰减或 阻挡。该方法包括生成图像数据，该图像数据表示由基于LED的照明系统照明的样 本反射的光。该方法包括处理图像数据以生成经处理的图像数据。
本公开的各种实施例涉及计算机程序，该计算机程序具有用于当在处理器上执行计算机程序时执行该方法的程序代码。
附图说明
下面将仅通过示例并参考附图来描述装置和/或方法的一些示例，在附图中：
图1a示出了显微镜系统的示例的示意图；
图1b示出了用于显微镜的照明系统的示例的示意图；
图1c示出了用于显微镜的图像传感器组件的示例的示意图；
图1d示出了三个光谱部分的示例的示意图；
图2a和图2b示出了显微镜系统的示例的示意图；
图2c示出了用于对白光进行滤波的带通滤波器的透射图；
图3示出了用于使用显微镜对对象成像的方法的示例的流程图；
图4a示出了包括光学分束器组件的实施例的显微镜组件的实施例的图示；
图4b示出了表示当可见光和荧光进入光进入部段时到达第一光输出部段的光谱部分的曲线图；
图4c示出了表示当可见光和荧光进入光进入部段时到达第二光输出部段的光谱部分的曲线图；
图4d示出了表示当可见光和荧光进入光进入部段时到达第三光输出部段的光谱部分的曲线图；
图4e示出了包括光学分束器组件的实施例的显微镜组件的又一实施例的示意图；
图5示出了显微镜组件的另一个实施例的示意图；
图6a至6d示出了用于显微镜系统的示例性实现的不同照明模式和成像模式； 和
图7示出了包括显微镜和计算机系统的系统的示例的示意图。
具体实施方式
现在将参考附图更全面地描述各种示例，在附图中示出了一些示例。在附图中，为了清楚起见，可能夸大线、层和/或区域的厚度。
图1a示出了显微镜系统1000的示例的示意图。显微镜系统包括基于LED的照 明系统180，照明系统180被配置为发射在被调谐到至少一种荧光材料的激发波长的 波长处具有至少一个峰值的辐射功率和/或发射跨越白光光谱的辐射功率。对跨越白 光光谱发射的光进行滤波，使得具有与至少一种荧光材料的至少一个荧光发射波长 光谱一致的波长光谱的光被衰减或阻挡。显微镜系统包括至少一个图像传感器组件 130，其被配置为生成图像数据，该图像数据表示由基于LED的照明系统所照明的样 本反射的光。显微镜系统包括一个或多个处理器194，其被配置为处理图像数据以生 成经处理的图像数据。
图1a的显微镜系统1000是手术显微镜系统，即在患者手术期间使用的显微镜 系统。这种显微镜系统还包括显微镜100，其也表示为“光学载体”100，因为其包 括显微镜系统的光学部件。通常，在实际的显微镜和包括显微镜的显微镜系统之间 进行区分，其中显微镜系统包括显微镜以及与显微镜结合使用的各种部件，例如照 明系统，辅助显示器，臂等。在显微镜系统中，实际的显微镜通常也称为“光学载 体”，因为其包括显微镜系统的光学部件。通常，显微镜是适用于检查太小而不能由 人眼检查(独自使用)的对象的光学仪器。例如，显微镜可以提供对象的光学放大。 在现代显微镜中，通常为相机或成像传感器(例如至少一个图像传感器组件130)提 供光学放大。显微镜可以进一步包括用于放大样本上的视野的一个或多个光学放大 部件。
如图1a和1b所示，显微镜系统的各种示例还可以包括用于显微镜的系统190， 即用于显微镜的计算机系统。系统190可以例如包括显微镜系统的一个或多个处理 器194。通常，用于显微镜的系统可以与显微镜和/或显微镜系统的各种部件耦合， 并且可以被配置为对显微镜或显微镜系统执行数据和信号处理。例如，如图1b所示， 系统190可以包括一个或多个处理器194和一个或多个存储设备196。可选地，系统 190还可以包括用于与显微镜或显微镜系统的其它部件通信的接口192。例如，如图 1b所示，接口可以被配置为与照明系统180和/或与两个或更多个图像传感器组件130 通信。可选地，接口还可以用于与显微镜系统或显微镜的其他部件通信，例如臂、 辅助显示器、触摸屏控制显示器、手柄、脚踏板等。一般来说，系统190的功能可 以由一个或多个处理器提供，例如，结合接口192(用于交换信息或信号)和/或结 合一个或多个存储设备(用于存储信息)。
显微镜系统包括基于发光二极管(LED)的照明系统180，照明系统180被配置 为发射在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射 功率和/或发射跨越白光光谱的辐射功率。在各种示例中，术语“发射辐射功率”用 于实际光源，因为光源被配置为发射定义为“光”的光谱内的(电磁)辐射。换言 之，各个光源可以发射将其自身表现为光的辐射功率。因此，可以认为光源以及基 于LED的照明系统以上面和/或下面指定的各种波段发射光。
图1b示出了用于显微镜的照明系统180的示例的示意图。照明系统180是适合 于显微镜的基于LED的照明系统180。例如，图1b所示的照明系统180可以集成在 结合图1a、图2a、图2b以及图4至图7所示的显微镜和/或显微镜系统中。具体地， 图1b所示的照明系统180可以位于显微镜的物镜102处，如图2a和2b所示。
图1b的照明系统180是基于LED的照明系统，其被配置为发射在被调谐到至少 一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率和/或发射跨越白光 光谱的辐射功率。
例如，图1b所示的照明系统包括一个或多个第一基于LED的光源181-1。一个 或多个第一基于LED的光源被配置为发射跨越白光色谱的辐射功率。照明系统包括 至少一个光学滤波器181-2。至少一个光学滤波器被布置成对由一个或多个第一基于 LED的光源发射的光进行滤波。例如，跨越白光光谱发射的光可以被滤波，使得具 有与至少一种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光被衰减或 阻挡。因此，跨越白光光谱发射的光被滤波，使得具有与至少一种荧光材料的至少 一个荧光发射波长光谱一致的波长光谱的光被衰减或阻挡。图1b的照明系统包括一 个或多个第二基于LED的光源182。一个或多个第二基于LED的光源被配置为提供 在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的光。每个基 于LED的光源181-1、182(以及任选地183)可以被配置为朝向待经由显微镜观察 的样本发射辐射功率。
在显微镜系统中，照明系统通常用于照明样本，例如样本台上的样本(在实验 室显微镜的情况下)或手术台上的患者。因此，光源181-1和182(以及，如下所述， 183)可以被配置为朝向待经由显微镜观察的样本发射辐射功率。换句话说，由光源 发射的光可以被导向样本，例如导向样本台，或者朝向患者。为了避免光源的光束 角度过宽，可以使用聚光元件185将光导向样本。换言之，每个基于LED的光源可 以被配置为通过聚光元件向样本发射光。通常，可以使用不同种类的聚光元件，例 如透镜、光导或抛物面聚光器。例如，可以使用复合抛物面聚光器。换句话说，聚 光元件可以是复合抛物面聚光器(CPC)，例如，基于全内反射(TIR)的CPC。复 合抛物面聚光器是光学元件，具有中空和抛物面形状，适合于收集和聚集来自光源 的光，并且产生光从复合抛物面聚光器发射的预定的最大角度。例如，每个光源可 以与复合抛物面聚光器耦合，并且光源的光可以由与光源耦合的复合抛物面聚光器 聚集。
通常，在本公开的实施例中使用的光源是基于LED的光源。通常，基于LED的 光源可以包括LED，例如表面安装LED(即，SMD LED)，以及用于将LED电连接 到能量源的连接结构。LED通常连接到驱动器电路(通常为集成电路)，驱动器电路 被配置为向LED提供能量，即提供电流。在一些实施例中，每个光源可以包括对应 的驱动器电路。可替换地，可以使用公共驱动电路来向(所有的)LED提供能量。 在任何情况下，驱动器电路可以用于以全强度驱动LED。可替代地或另外地，驱动 器可以能够以小于全强度来驱动LED，这被表示为“调光”。通常，在显微镜的照明 系统中，可能需要不同水平的光强度，因此光源可以是可调光的，即光源的驱动电 路可以能够例如响应于来自控制装置的控制信号以小于全强度的强度驱动LED。各 种方法可用于调光，例如基于电流的调光或基于脉宽调制的调光。例如，系统190 (例如图1c中所示的系统190的一个或多个处理器194)可以被配置为控制光源。 当使用单独的光源时，光源可以彼此独立地被控制(如果每个光源具有它们自己的 驱动电路)，或者至少成组地被控制(例如，如果第一和第二光源具有不同的驱动电 路，或者是经由单个驱动电路独立地可控制的)。因此，一个或多个处理器194(或 者，更一般地，系统190)可以被配置为控制彼此独立的一个或多个第一基于LED 的光源和一个或多个第二基于LED的光源。
照明系统包括不同组(或套)光源。例如，照明系统包括：包括一个或多个第 一基于LED的光源181-1的第一组或第一套光源，以及包括一个或多个第二基于LED 的光源182的第二组或第二套光源。在一些实施例中，同样如图1b、2a和2b所示， 照明系统可以还包括第三组或第三套光源，第三组或第三套光源包括一个或多个第 三基于LED的光源183。
通常，光源(或组/套)可以通过它们发射的光谱来区分，或者通过它们发射的 光谱在被滤波器中的一个滤波之后来区分。例如，一个或多个第一基于LED的光源 被配置为发射跨越白光色谱的辐射功率。换言之，一个或多个第一基于LED的光源 可以被配置为以连续跨越380nm和740nm之间的波段的至少90％的连续波段发射 辐射功率。一个或多个第一基于LED的光源可以是在跨越至少300nm范围的连续 波段中发射光的宽带光源。在更通用的术语中，一个或多个第一基于LED的光源可 以被表示为“白光”LED，即发射由于包括宽波段而被感知为“白光”的辐射功率的 LED。
一个或多个第二基于LED的光源是不同的，它们发射在被调谐到至少一种荧光 材料的激发波长的波长处具有至少一个峰值的辐射功率。因此，一个或多个第二基 于LED的光源可以表示为“荧光激发光源”。换言之，一个或多个第二基于LED的 光源可以是窄带光源(即，它们以各自跨越小于100nm波长范围的一个或多个波段 发射)。这可以使用不同的方法来实现。例如，光源可以是仅在窄带中发射辐射功率 而不使用滤波器的光源。换言之，一个或多个第二基于LED的光源的至少一个子集 可以被配置为提供在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个 峰值的光，而不使用滤波器来将发射的光限制到至少一个峰值。换言之，一个或多 个第二基于LED的光源的至少一个子集可以包括被配置为发射窄带(即，小于100nm 波长范围，或小于50nm波长范围)内的辐射功率的LED。可替代地或另外地，滤 波器可以与一个或多个第二基于LED的光源的子集一起使用。换言之，如在图2a 和2b中进一步示出的，照明系统(例如，一个或多个第二基于LED的光源的至少一个子集)可以包括第二光学滤波器184(例如，至少一个第二光学滤波器184)，其 被布置为对由一个或多个第二基于LED的光源的至少一个子集发射的光进行滤波。 例如，第二滤波器可以被配置为将由一个或多个第二基于LED的光源的至少一个子 集发射的光限制到在被调谐到至少一种荧光材料的激发波长的波长处的至少一个峰 值。在一些实施例中，可以组合这两种方法，对于荧光材料的子集，可以使用没有 滤波器的光源(因为可获得足够窄带的光源)，对于荧光材料的另一子集，可以使用 滤波器以(进一步)限制发射的波长。例如，在本申请的上下文中，术语“在调谐 到至少一种荧光材料的激发波长的波长处具有至少一个峰值的光”可以理解为在与 至少一种荧光材料的激发波长或波段相交的波长或波段处具有其最高强度的光，其 中以最高强度的至多80％(或至多50％、至多20％、至多10％)的强度发射其他波 长的光。
通常，将由一个或多个第二基于LED的光源发射的光调谐到至少一种荧光材料 的激发波长/波长。荧光材料通常用于显微术中，以突出显示先前已经使用荧光材料 标记的组织或血管的一部分。例如，荧光染料，例如荧光素，吲哚菁绿(ICG)或 5-ALA(5-氨基乙酰丙酸)可用于标记组织或血管。换言之，至少一种荧光材料可以 是至少一种荧光染料。荧光材料是在一个波长处/第一波段(即，它们的“激发波长”) 中由光激发，但在另一波段(即，它们的“发射波长”)中发射辐射功率的材料。因 此，一个或多个第二基于LED的光源发射在荧光材料的激发波长处具有其峰值的辐 射功率。对于通常使用的荧光染料，激发波长可以在390nm和420nm之间，在460 nm和500nm之间，或在780nm和810nm之间。例如，在图2a及图2b所示的示 例中，使用在405nm、480nm及788nm处具有相应峰值的三个不同的第二基于LED的光源。因此，一个或多个第二基于LED的光源可以被配置为发射在390nm和420 nm之间，460nm和500nm之间，以及780nm和810nm之间的一个或多个处具有 峰值的辐射功率。例如，一个或多个第二基于LED的光源中的不同光源可以发射在 不同荧光材料的不同激发波长/波长处具有峰值的辐射功率。在这种情况下，这些不 同的光源可以由系统190/一个或多个处理器194相互独立地控制。
为了避免一个或多个第一基于LED的光源淹没由荧光材料发射的光，可以从由 一个或多个基于LED的光源发射的光中滤除至少一种荧光材料的发射波段中的光。 换言之，至少一个光学滤波器可以被配置为衰减或阻挡具有与至少一种荧光材料的 至少一个荧光发射波长(光谱)一致的波长(光谱)的光。因此，至少一个光学滤 波器可被配置为衰减或阻挡以下波段中的至少一个内的光：490nm和560nm之间， 610nm和660nm之间，以及750nm和1000nm之间。在490nm和560nm之间， 610和660nm之间，以及750nm和1000nm之间的波段可以是常用荧光染料(分别 是荧光素、5-ALA和ICG)的发射波段。结果，第一套光源和第二套光源可以同时 使用，并且荧光发射仍然可以是可见的，因为由第一组或第一套发射的光的相应部 分被滤除。因此，至少一个光学滤波器可以被布置在一个或多个基于LED的第一光 源以及待通过显微镜感知的样本之间的光路中。此外，至少一个光学滤波器可以被 布置为对由一个或多个第一基于LED的光源中的每一个发射的光进行滤波，即，由 一个或多个第一光源发射的光都不可以绕过至少一个光学滤波器。例如，至少一个 滤波器可以是带通滤波器，例如具有如图2c所示的滤波器特性的带通滤波器。可选 地，至少一个光学滤波器可以包括多个带通滤波器，每个带通滤波器用于以下波段 中的一个：490nm和560nm之间，610nm和660nm之间，以及750nm和1000nm 之间。可以使用(或组合)上述带通滤波器中的一个或多个，这取决于使用哪个荧 光团。这可以通过例如使用滤光轮，或通过在不同的第一LED光源前方布置不同的 带通滤波器来实现。
在一些实施例中，如图1b进一步所示，可以使用第三组或第三套基于LED的光 源183。换言之，照明系统180可以包括一个或多个第三基于LED的光源183。一个 或多个第三基于LED的光源可以被配置为发射跨越白光色谱的辐射功率。因此，可 以类似于一个或多个第一基于LED的光源来实现一个或多个第三基于LED的光源。 然而，由第三组或第三套基于LED的光源发射的光可能不被至少一个光学滤波器滤 波。因此，由一个或多个第三基于LED的光源发射的光可以跨越(整个)白光色谱 到达样本。
使用第一或第三基于LED的光源，可以提供两种不同类型的“白光”照明，一 种是光谱的部分被过滤以允许荧光成像，一种覆盖整个光谱。这两种类型的“白光” 照明可以在基于LED的照明系统的不同操作模式中使用。例如，基于LED的照明系 统可以具有两种或更多种操作模式，一种适用于同时反射和荧光成像，一种仅适用 于反射成像。因此，基于LED的照明系统可以被配置为在第一操作模式中发射在被 调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率以及跨 越白光光谱的辐射功率，其中跨越白光光谱发射的光被滤波，使得具有与至少一种 荧光材料的至少一个荧光发射波长一致的波长的光被衰减或阻挡。基于LED的照明 系统可以被配置为在第二操作模式中发射跨越白光光谱的辐射功率，而不衰减或阻 挡具有与至少一种荧光材料的至少一个荧光发射波长一致的波长的光。例如，第一 操作模式可用于同时反射和荧光成像，而第二操作模式可(仅或排他地)用于反射 成像。例如，第一操作模式和第二操作模式可以是相互排斥的。
在图6a至6c中，示出了照明光谱631-634，其可以使用第三基于LED的光源(图 6a，631)或第一和第二基于LED的光源(图6a至6c，632-634)的组合产生。
为了实现样本的冗余和均匀照明，照明系统中可以包括每组或套光源中的多个光源。例如，照明系统可以包括两个或更多个第一基于LED的光源以及两个或更多 个第二基于LED的光源(以及可选地，两个或更多个第三基于LED的光源)。在一 些实施例中，可以使用甚至更高的数目，例如，四个或六个第一基于LED的光源， 四个或六个第二基于LED的光源，和/或四个或六个第三基于LED的光源。在图2a 和图2b中，示出了使用两个第一基于LED的光源、六个第二基于LED的光源以及 两个第三基于LED的光源的示例。每组或套的光源可以布置在显微镜的物镜102的 任一侧。例如，可以在物镜的任一侧设置用于每个波段的至少一个基于LED的光源 (例如，用于三种荧光材料的三个激发波长的一个第一基于LED的光源、一个第三 基于LED的光源以及三个第二基于LED的光源，如图2a和2b所示)。换言之，两 个或更多个第一基于LED的光源中的至少一个以及两个或更多个第二基于LED的光源中的至少一个(以及可选地，两个或更多个第三基于LED的光源中的至少一个) 可以被布置在物镜的第一侧，并且两个或更多个第一基于LED的光源中的至少一个 和两个或更多个第二基于LED的光源中的至少一个(以及可选地，两个或更多个第 三基于LED的光源中的至少一个)可以被布置在物镜的第二侧。例如，第一侧和第 二侧可以是相对于显微镜的物镜的相对侧。
与一个或多个第一基于LED的光源一起使用的滤波器导致样本(例如，手术部 位)的照明跨白光光谱是不均匀的。这种不均匀性可以在图像处理中例如通过系统 190来补偿。
显微镜系统，并且具体是显微镜100，包括被配置为生成图像数据的至少一个图像传感器组件130。例如，一个或多个处理器，或更一般地说系统190，被配置为获 得至少一个图像传感器组件130的图像数据。因此，系统190可以例如经由接口192 耦合到显微镜。例如，至少一个图像传感器组件可以对应于或包括一个或多个光学 成像传感器，如将在下面变得容易理解的。
图像数据至少表示由被基于LED的照明系统照明的样本反射的光，例如在执行 反射成像或反射成像和荧光成像的情况下。在后一种情况下，图像数据表示由基于 LED的照明系统照明的样本反射的光以及由至少一种荧光材料发射的光。如将在下 面示出的，图像数据可以包括源于至少一个图像传感器组件的不同图像传感器的不 同部分。例如，如果每个图像传感器组件包括三个图像传感器，如图1c和图4a至 6d所示，图像数据可以包括源于相应传感器的三个部分。如果图像数据是立体图像 数据，并且显微镜系统包括两个图像传感器组件，则图像数据可以包括用于立体视 图的每一侧的图像数据的三个部分。换句话说，显微镜系统，特别是显微镜，可以 包括两个图像传感器组件。
如上所述，至少一个图像传感器组件或每个图像传感器组件可以包括用于反射成像和荧光成像两者的单个图像传感器。然而，在一些示例中，使用更复杂的三传 感器设置，如结合图1c和图4a至6d所示。
图1c示出了用于显微镜的图像传感器组件的示例的示意图。图1c的图像传感器组件包括分束器组件132，132-1—132-5和三个图像传感器134-1，134-2，134-3。 分束器组件被配置为将第一光谱部分的光引导至第一图像传感器，将第二光谱部分 的光引导至第二图像传感器，并且将第三光谱部分的光引导至第三图像传感器。三 个图像传感器被配置为基于入射到相应图像传感器的光谱部分来生成图像数据。因 此，图像数据可以包括源自第一图像传感器的第一部分、源自第二图像传感器的第 二部分，以及源自第三图像传感器的第三部分。图像数据的三个部分可以彼此分离 地包含在图像数据中。结合图4a-6d给出了合适的分束器组件的更详细的说明，图 4a-6d示出了图像传感器组件的各种其它部件，特别是用于将光谱分成第一、第二和 第三光谱部分的装置。特别地，可以使用多色分束器和带通滤波器来分离被引导到 相应图像传感器的光谱部分。
特别地，如图1c所示，分束器组件可以包括三个棱镜132-3，132-4，132-5(图 4a和图4b中的491，492，493)，其中相应的光束在布置在相应的棱镜之间的分束 器涂层132-1，132-2(图4a和图4d中的494，495)处被分开(以波长选择性的方 式)。例如，波长选择性分束涂层132-1，132-2可以被配置为反射具有第一光谱特性 的光并且允许具有第二光谱特性的光通过。例如，第一涂层132-1可以被配置为将第 一光谱部分中的光反射到第一图像传感器134-1，并且允许剩余的光进入第二棱镜 132-4，其中第二涂层132-2可以被配置为将第二光谱部分中的光反射到第二图像传 感器134-2，并且允许第三光谱部分中的光进入第三棱镜132-5，在第三棱镜132-5 处光被导向第三图像传感器134-3。在各种示例中，可以在棱镜和相应图像传感器之 间布置带通滤波器，以便(仅)允许相应光谱部分内的光进入相应图像传感器。为 了使每个图像传感器保持相等的光程长度(因此捕获的图像在所有图像传感器处聚 焦)，可以在棱镜和图像传感器之间布置虚置玻璃。
在各种示例中，光谱被细分为三个光谱部分。在理想情况下，光谱部分可以是 不重叠的，使得具有给定波长的光可以仅由图像传感器中的(正好)一个记录。然 而，在实践中，在光谱部分的边缘处，可以容许光谱部分之间的重叠。
图1d示出了三个光谱部分的示例的示意图，示出了第一光谱部分138-1、第二 光谱部分138-2和第三光谱部分138-3。如图1d中可见，第一光谱部分可包含位于 450nm和550nm之间(包括荧光素的荧光发射波段的主峰)和750nm和1000nm 之间(包括吲哚菁绿的荧光发射波段的主峰)的两个连续子部分。因此，第一和第 二光谱部分中的至少一个包括彼此间隔开的两个光谱子部分(即，第一光谱子部分 和可能的第二光谱子部分)。第三光谱部分可以是位于550nm和700nm之间的连续 部分(包括5-ALA的荧光发射波段的主峰值)。第二光谱部分138-2可以包括光谱的 剩余部分。
通常，用于捕获和区分多个波段中的光的图像传感器使用像素级彩色滤波器， 其只允许光谱的部分进入每个像素。这种彩色滤波器的常见类型表示为Bayer滤波 器，对于每个2×2像素，其包括两个绿色滤波器，一个红色滤波器和一个蓝色滤波 器。在后处理中使用称为去马赛克的技术，以便基于像素自身的值并基于其相邻像 素的值来确定每个像素的适当颜色值。在本公开中，Bayer滤波器可以与至少一个图 像传感器一起使用，尽管具有适合于用于反射和荧光成像的照明和波段的后处理步 骤。例如，如图1c所示，三个图像传感器中的第一图像传感器(134-1)和第二图像 传感器(134-2)利用Bayer滤波器136-1，136-2操作，并且三个图像传感器中的第 三图像传感器在没有Bayer滤波器的情况下操作。
例如，一个或多个图像传感器可以包括或是基于APS(有源像素传感器)或CCD (电荷耦合装置)的成像传感器。例如，在基于APS的图像传感器中，使用像素的 光电检测器和有源放大器在每个像素处记录光。基于APS的图像传感器通常基于 CMOS(互补金属氧化物半导体)或S-CMOS(科学级CMOS)技术。在基于CCD 的图像传感器中，进入的光子在半导体-氧化物界面处被转换成电子电荷，电子电荷 随后由成像传感器的控制电路在成像传感器中的电容仓之间移动以执行成像。系统 (即，一个或多个处理器)可以被配置为从至少一个图像传感器组件的相应一个或 多个图像传感器获得(即，接收或读出)图像数据。图像数据可以通过(例如经由 接口192)从图像传感器接收图像数据，通过从图像的存储器中读出图像数据(例如 经由接口192)或者通过从系统190的存储设备196读取图像数据来获得，例如，在 图像数据已由图像传感器或由另一系统或处理器写入到存储设备196之后。
系统190，并且特别是一个或多个处理器194，被配置为处理图像数据以生成经 处理的图像数据。一般来说，系统190可与用于显微镜的任何照明系统一起使用， 照明系统被配置为提供经滤波的光，使得具有与至少一种荧光材料的至少一个荧光 发射波长(光谱)一致的波长(光谱)的光被衰减或阻挡。然而，特别地，可以通 过图1b所示的照明系统180来提供光。在这种情况下，图像数据可以表示由被照明 系统180的一个或多个第一基于LED的光源181-1照明的样本反射的光。光的滤波 具有的效果是，白光光谱的相应部分的反射不由图像数据来表示(或者在衰减的情 况下，程度较小)。
图像数据至少表示由一个或多个基于LED的光源(例如图1a的一个或多个第一 基于LED的光源181-1)照明的样本反射的光。由一个或多个基于LED的光源发射 的光被滤波，使得具有与至少一种荧光材料的至少一个荧光发射波长(光谱)一致 的波长(光谱)的光被衰减或阻挡(例如，通过至少一个光学滤波器181-2)。另外， 图像数据可表示由至少一个荧光团在至少一个荧光发射波长谱下发射的光。
系统被配置为处理图像数据以生成经处理的图像数据。换言之，系统可以被配 置为对图像数据执行图像处理。例如，可以执行图像处理以补偿照明在白光光谱上 的不均匀性(或减少其影响)。例如，系统可以配置为例如通过使用来自相邻波段的 信息来重建经处理的图像数据的表示具有与至少一种荧光材料的至少一个荧光发射 波长谱一致的波长谱的光的部分。例如，如果在样本照明时，处于490nm和560nm 之间以及610和660nm之间的波段的一个中的光被阻挡或衰减，则来自相邻波段(例 如上至490nm，560nm和610nm之间，以及从660nm往上)的光可以用于重建已 经被滤波器阻挡或衰减的光。换言之，系统可以被配置为重建衰减或阻挡的光，即， 具有与至少一种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光。例如， 系统可以配置为应用在图像数据(其可以是原始图像数据，即，包括光学成像传感 器的传感器输出)和经处理的图像数据之间执行变换的变换函数，其中变换函数将 至少一个荧光发射波长之外的波段映射到(整个)白光光谱。因此，基于图像数据 生成(即重建)经处理的图像数据中表示具有与至少一种荧光材料的至少一个荧光 发射波长光谱一致的波长光谱的光的一部分。
另外，可以执行图像处理以生成表示荧光发射的覆盖图，覆盖图可以覆盖在经 处理的图像数据内的白光图像上。如上所述，图像数据不仅可以表示由基于LED的 照明系统照明的样本反射的光，而且可以表示由至少一种荧光材料发射的光。因此， 系统，并且特别是一个或多个处理器，可以被配置为基于图像数据生成表示可见光 的第一图像(基于图像数据中表示由样本反射的光的一部分)和表示至少一种荧光 材料的荧光发射的第二图像(基于图像数据中表示由至少一种荧光材料发射的光的 一部分)。然而，在一些情况下，显微镜的用户可能仅需要反射成像，例如，如果没 有使用荧光团。在这种情况下，可以省略第二图像的生成。换言之，基于LED的照 明系统可以具有两种或更多种操作模式，其中第一操作模式适用于反射成像和荧光 成像，并且第二操作模式适用于反射成像。一个或多个处理器可以被配置为，如果 基于LED的照明系统以第一操作模式操作则生成第一图像和第二图像，并且如果基 于LED的照明系统以第二操作模式操作则生成第一图像而不生成第二图像。
如上所述，图像数据可以包括源于相应的第一、第二和第三图像传感器的三个 部分。这些部分可以以不同的方式组合以生成第一和第二图像。换言之，一个或多 个处理器可以被配置为基于图像数据的三个部分的第一组合来生成表示可见光的第 一图像，并且基于图像数据的三个部分的第二组合来生成表示至少一种荧光材料的 荧光发射的第二图像。
使用光谱的哪些部分来生成第一图像和可选地生成第二图像取决于是否进行荧光成像，以及使用哪些荧光团和使用多少荧光团。例如，一个或多个处理器可以被 配置为组合图像数据的三个部分，使得如果发射在被调谐到一种荧光材料的激发波 长的波长处具有(恰好)一个峰值的光，则基于图像数据的(至少)两个部分生成 第一图像，并且基于图像数据的一个部分生成第二图像。在图6a-6d中给出了更详细 的说明。在图6a中，基于图像数据的所有三个部分仅生成第一图像。在图6b中， 在使用具有峰值在600nm和650nm之间的发射波段的荧光团(5-ALA)的情况下， 基于第一部分和第二部分生成第一图像，并且基于第三部分生成第二图像。在图6c 中，如果使用具有在490nm和540nm之间的峰值的发射波段的荧光团(荧光素)， 基于第二部分和第三部分(并且可选地基于第一部分，其中荧光发射被在计算上去 除)生成第一图像，并且基于第一部分生成第二图像。在图6d中，如果使用具有在 750nm和1000nm之间的峰值的发射波段的荧光团(ICG)，基于第二部分和第三部 分(以及可选地基于第一部分，其中荧光发射被在计算上去除)生成第一图像，并 且基于第一部分生成第二图像。
然而，可以同时使用多个荧光团。例如，可以同时使用具有如上所述的发射峰 值的三个荧光团。如果发射在被调谐到三种荧光材料的激发波长的三个波长处具有 三个峰值的光，则可以基于图像数据的一个部分(例如，第二部分)生成第一图像， 并且基于图像数据的两个部分(例如，第一部分和第三部分)生成第二图像。
如果同时使用两种荧光团，则部分的组合取决于所使用的荧光团。例如，如果 使用荧光素和ICG，则可以基于第二和第三部分生成第一图像，并且可以基于第一 部分生成第二图像。如果将5-ALA与荧光素或ICG组合使用，则可基于第二部分(以 及可选地，在相应荧光团的荧光发射波段之外的第一部分的子部分)生成第一图像， 并且可基于第三部分(对于5-ALA)以及基于第一部分(对于剩余荧光团)生成第 二图像。换言之，第一部分可指示荧光素和ICG的荧光发射，而第三部分可指示 5-ALA的荧光发射。另一方面，图像数据的第二部分可以仅用于反射成像。因此， 一个或多个处理器可以被配置为至少基于图像数据的第二部分来生成第一图像。
在更抽象的术语中，取决于使用的一种或多种荧光团，可以选择部分的不同组合。换言之，一个或多个处理器可以被配置为组合图像数据的三个部分，使得如果 发射在被调谐到第一荧光材料(例如，荧光素或ICG)的激发波长的第一波长处具 有峰值的光，则基于图像数据的第一部分生成第二图像，并且使得如果发射在被调 谐到第二荧光材料(例如，ALA)的激发波长的第二波长处具有峰值的光，则基于 图像数据的第三部分生成第二图像。一个或多个处理器可以被配置为组合图像数据 的三个部分，使得如果发射在被调谐到第三荧光材料的激发波长的第三波长(上面 未使用荧光素和ICG中的另一个)处具有峰值的光，则基于图像数据的第一部分生 成第二图像。
此外，系统可以用于控制基于LED的光源。因此，系统190(例如一个或多个 处理器194)可以例如经由接口192耦合到照明系统180。一个或多个处理器194(例 如，系统190)可以被配置为彼此独立地控制一个或多个第一基于LED的光源和一 个或多个第二基于LED的光源。例如，对于一个或多个第一基于LED的光源和一个 或多个第二基于LED的光源(以及可选地，对于一个或多个第三基于LED的光源)， 可以独立地控制开关状态和光强度中的至少一个。更准确地，一个或多个第一基于 LED的光源的开关状态和/或光强度可以独立于一个或多个第二基于LED的光源的 开关状态和/或光强度(以及可选地，独立于一个或多个第三基于LED的光源的开关 状态和/或光强度)来控制。在一些情况下，至少一个光学滤波器的特性也可以由系 统来控制(例如，经由滤光轮)。在一些实施例中，每个基于LED的光源可以彼此独 立地(或至少独立于其他组或套的基于LED的光源)被控制。
一个或多个处理器可以被配置为提供经处理的图像数据，例如包括第一图像和(可选地)第二图像。例如，基于图像数据，例如通过重建光谱中与至少一种荧光 材料的至少一个荧光发射波长一致的部分，或通过将第二图像的相应部分(表示光 谱的相应部分)重叠在第一图像数据上，可以生成经处理的图像数据中表示具有与 至少一种荧光材料的至少一个荧光发射波长一致的波长的光的一部分。系统，并且 具体地一个或多个处理器，可以被配置为(例如经由接口192或经由一个或多个存 储设备196)输出经处理的图像数据。
接口192可以对应于用于在模块内，在模块之间或在不同实体的模块之间接收和/或传输信息的一个或多个输入和/或输出，信息可以是根据指定代码的数字(位) 值。例如，接口192可以包括配置为接收和/或发送信息的接口电路。在实施例中， 一个或多个处理器194可以使用一个或多个处理单元，一个或多个处理设备，任何 用于处理的装置，例如，用相应适配的软件来操作的处理器、计算机或可编程硬件 部件来实现。换句话说，一个或多个处理器194的所描述的功能也可实施于软件中， 软件接着在一个或多个可编程硬件部件上执行。这些硬件部件可包括通用处理器、 数字信号处理器(DSP)、微控制器等。在至少一些实施例中，一个或多个存储设备 196可以包括计算机可读存储介质的组中的至少一个元件，比如磁或光存储介质，例 如硬盘驱动器，闪存，软盘，随机存取存储器(RAM)，可编程只读存储器(PROM)， 可擦除可编程只读存储器(EPROM)，电可擦除可编程只读存储器(EEPROM)，或 网络存储器。
结合所提出的构思或以上或以下描述的一个或多个示例(例如，图2a至7)提 及了显微镜系统、显微镜、照明系统、至少一个图像传感器组件以及不同光谱的更 多细节和方面。显微镜系统、显微镜、照明系统、至少一个图像传感器组件以及不 同光谱可以包括与所提出的构思的一个或多个方面或以上或以下描述的一个或多个 示例相对应的一个或多个附加可选特征。
图2a和2b示出了显微镜系统的示例的示意图；图2a和2b示出了照明系统180 的基于LED的光源181-1、182和183相对于显微镜的物镜102的布置。图2a示出 了显微镜的前视图，图2b示出了其截面图。照明系统的每个基于LED的光源被配置 为向待经由显微镜观察的样本发射光，并且每个基于LED的光源布置为与显微镜的 物镜102相邻。例如，基于LED的光源可以布置在(即，邻近于)物镜的入口处， 例如在物镜的面向下的入口处，物镜的入口对准要经由显微镜观察的样本。例如， 每个基于LED的光源可以布置为使得由光源发射的光至少与穿过显微镜的物镜的显 微镜的光路平行地发射。例如，一个或多个第一基于LED的光源和一个或多个第二 基于LED的光源(以及可选地，一个或多个第三基于LED的光源)可以布置在显微 镜的面向显微镜的样本的一侧(也表示为“入口侧”)。
如上面已经介绍的，每个组或套光源的多个光源可以包括在照明系统中。例如，照明系统可以包括两个或更多个第一基于LED的光源以及两个或更多个第二基于 LED的光源(以及可选地，两个或更多个第三基于LED的光源)。在图2a和图2b 中，示出了使用两个第一基于LED的光源、六个第二基于LED的光源以及两个第三 基于LED的光源的示例。每组或套的光源可以布置在显微镜的物镜102的任一侧。 例如，各个侧可以是相对于显微镜的物镜102相对侧。
在图2a和2b中，示出了至少一个光学滤波器181-1(在一个或多个第一基于LED 的光源的前方)和至少一个第二光学滤波器184(在光源阵列边缘的四个第二基于 LED的光源的前方)的布置。另外，在图2b中，示出了CPC相对于基于LED的光 源的布置。
如图2a和2b所示，LED-CPC(基于LED的光源加复合抛物面聚光器)的组合 的(一维)阵列可以沿物镜侧向放置。一些LED-CPC组合(即，第一基于LED的 光源)具有用于发射的光谱的限定控制的带通滤波器(即，至少一个光学滤波器)。 在图2a和2b所示的示例中，在物镜的每一侧放置五个LED-CPC。这些LED中的两 个具有跨越可见范围的光谱(白光LED)，即一个或多个第一基于LED的光源181-1。 一个LED发射在405nm处具有峰值的光谱，一个LED发射在480nm处具有峰值的 光谱，一个LED发射在788nm处具有峰值的光谱(即，一个或多个第二基于LED 的光源116)。在白光LED中的一个的前方放置附加的带通滤波器(例如图2c的带 通滤波器)，其阻挡两种荧光材料的荧光发射。在480nm和788nm的LED前面放置两个带通滤波器。
结合所提出的构思或以上或以下描述的一个或多个示例(例如图1a至1d，图 2c至7)提及了照明系统和显微镜系统的更多细节和方面。照明系统和显微镜系统 可以包括与所提出的构思的一个或多个方面或者以上或以下描述的一个或多个示例 相对应的一个或多个附加可选特征。
图2c示出了用于过滤白光的带通滤波器的透射图。在x轴上，显示以nm为单 位的波长，在y轴上，显示以％为单位的透射率。例如，所示的滤波器可以用于实现 图1a至2b的至少一个光学滤波器181-2。如图2c所示，滤波器可以阻挡或衰减490 nm和560nm波长之间以及610nm和660nm波长之间的范围内的光。
结合所提出的构思或上文或下文描述的一个或一个以上示例(例如，图1a到2b，图3到7)提及了带通滤波器的更多细节和方面。带通滤波器可以包括与所提出的构 思的一个或多个方面或者以上或以下描述的一个或多个示例相对应的一个或多个附 加可选特征。
图3示出了用于使用显微镜对对象成像的方法的示例的流程图。例如，显微镜 可以对应于结合图1a至2c示出的显微镜。因此，方法可以通过结合图1a至2c所示 的显微镜或显微镜系统来执行。方法包括使用基于LED的照明系统(例如结合图1a 和1b示出的基于LED的照明系统180)，例如通过控制基于LED的照明系统，发射 310在调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率。 方法包括使用基于LED的照明系统，例如通过控制基于LED的照明系统，发射320 跨越白光光谱的辐射功率。对跨越白光光谱发射的光进行滤波，使得具有与至少一 种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光被衰减或阻挡。换句 话说，方法可以包括发射跨越白光光谱发射的光。方法包括生成330图像数据，图 像数据表示由基于LED的照明系统照明的样本反射的光。方法包括处理340图像数 据以生成经处理的图像数据。
例如，结合图1a-2c介绍的特征同样可以应用于图3的相应的方法。
结合所提出的构思或以上或以下描述的一个或多个示例(例如图1a至2c，图4a 至7)提及了方法的更多细节和方面。方法可以包括与所提出的构思的一个或多个方 面或者以上或以下描述的一个或多个示例相对应的一个或多个附加可选特征。
在图4a至4e中，对于图像传感器组件或图像传感器组件130的示例给出了更详 细的介绍，特别是对于光学分束器组件132的示例给出了更详细的介绍。
本公开的各个方面涉及光学分束器组件、相机头和显微镜组件。例如，光学分 束器组件可以用于显微镜中，特别地，当使用荧光团标记特征性组织时，用于外科 手术显微镜中。
本公开的各个方面可以使用用于在至少三个不同光谱部分中记录图像的光学分束器组件。分束器组件可以包括第一和第二分束器，以及第一、第二和第三光路。 第一光路可以被配置为将第一光谱部分的光从光进入部段引导至第一光输出部段。 第二光路可以被配置为将第二光谱部分的光从光进入部段引导至第二光输出部段。 第二光输出部段可以与第一光输出部段间隔开。第三光路可以被配置为将第三光谱 部分的光从光进入部段引导至第三光输出部段。第三光输出部段可以与第一光输出 部段和第二光输出部段间隔开。第二光路可以穿过第一分束器，并且第三光路可以 穿过第一分束器和第二分束器。可替换地，可以使用不同的光学分束器组件来分离 第一、第二和第三光谱部分，并将它们从光进入部段引导到三个光输出部段。
这允许捕获至少三个不同光谱部分中的图像，使得可以区分三个荧光波段，并 且可以生成可见布置。原则上，这种布置可用于具有适当照明的所有四个图像(一 个图像用于可见光，三个图像用于三个不同波段中的荧光发射)。实际上，可以生成 表示可见光的第一图像(或结合图1a至1d使用的术语中图像数据的第二部分)，表 示第一荧光发射波段中(例如，在约800nm处)的光的第二图像(或图像数据的第 三部分)，以及表示第二荧光发射波段(例如，在大约400nm处)或第三荧光发射 波段(例如，在大约560nm处)中的光的第三图像(或图像数据的第一部分)。通 常，可见光图像(即，第一图像)可以由不用于FL成像的任何相机输出构成。已知 棱镜的照明光波长分布和滤波器特性可以进行色彩平衡。
例如，相机头和显微镜组件，例如结合图1a至2b，4a至7示出的显微镜，可以 包括这种光学分束器组件。
通过增加下面描述的一个或多个特征，可以进一步改进上述装置。可独立于其 它特征将以下特征中的每一个添加到装置。此外，每个特征具有其自身的有利技术 效果，如下文所述。
第一分束器可以沿着第一光路反射第一光谱部分的光。这可以沿着第一光路引导第一光谱部分的光。
类似地，第二分束器可以沿着第二光路反射第二光谱部分的光。这可以沿着第 二光路引导第二光谱部分的光。
第一分束器可以透射第二光谱部分的光。这可以使配置简单。
第二分束器可以透射第一光谱部分的光。同样，这可以使配置简单。
在另一个实施例中，第二分束器可以不透射第一光谱部分。特别地，到达第二 分束器的光可以不包括第一光谱部分。在这种情况下，第二分束器不必对第一光谱 部分的光具有任何特定的特性。它可以吸收或反射这样的光。
为了记录特征组织或区域的图像，对于第一和第二光路中的至少一个，荧光团 的发射带可以与对应的光谱部分重叠。
在有利的实施例中，至少一个分束器是分色镜。这可以简化设置。分色镜可使 得其以特定角度反射特定波长。分色镜可以包括限定均匀厚度的层或涂层。分色镜 还可以包括多于一个的层以选择多于一个的波长。
由第一光路和第二光路引导的光的光谱部分中的至少一个可以包括彼此间隔开的两个光谱子部分。这可以便于在一个光输出部段记录两个不同的信号。例如，可 以在一个相机芯片上可视化和区分两个不同的荧光发射带。
光学分束器组件可以被配置为与至少两个荧光团一起使用，这两个荧光团的每一个具有不同的荧光发射带，其中对于每个光谱子部分，荧光团的荧光发射带与光 谱子部分重叠和/或位于光谱子部分内。这可以允许记录与两种荧光团相关联的图像。 这两种荧光团可以是荧光素和ICG。
光学分束器组件可以进一步包括用于检测第一、第二和第三输出部段中的一个处的光的至少一个相机。相机可以包括图像传感器。相机和/或图像传感器可分别布 置在第一、第二或第三输出部段处。
至少一个相机可以包括Bayer滤波器。这种相机也可以被指定为彩色相机。这可以帮助记录图像，特别是当对应的光谱部分宽和/或必须区分不同的光谱部分，例如 不同的荧光发射带时。
在有利的实施例中，选择Bayer滤波器的子滤波器以匹配荧光团中的一个的荧光发射带。这增加了信号强度。特别地，子滤波器的透射率的最大值可以位于荧光发 射带的最大波长的50nm内，优选在20nm内。例如，一个子过滤器可以在560nm 处具有最大透射率以匹配荧光素。另一个子过滤器可以在850nm具有最大值以与 ICG(吲哚菁绿)相匹配。在一些实现中，Bayer滤波器具有针对每种颜色的标准化 波长范围。在这种情况下，在560nm附近的波段中的荧光发射仅由绿色通道看到， 而红外荧光信号通过Bayer滤波器并在所有通道(RGB)上被检测。这种差异响应使 得能够区分两个荧光发射波长。
子滤波器在荧光发射带的最大波长处的透射率可以大于80％，优选大于90％， 特别是大于95％。
为了使收益最大化，可以选择荧光团，使得其荧光发射带与由Bayer滤波器的子滤波器透射的光谱部分重叠。
为了实现高灵敏度，与其他相机相比，至少一个相机可以是没有Bayer滤波器的黑白相机，其中Bayer滤波器通过实现不同颜色通道的分离来实现颜色成像。从而可 以避免由于Bayer滤波器的子滤波器而发生的损耗。黑白相机可以包括黑白图像传感 器。黑白图像传感器也可以称为灰色图像传感器，因为如果在单色显示器上显示， 它可以测量对应于灰色阴影的不同强度。
在有利的实施例中，光学分束器组件包括三个相机，一个相机是没有Bayer滤波器的黑白相机，两个相机包括Bayer滤波器。具有Bayer滤波器的两个相机允许在不 同波长之间进行区分，而黑白相机可以例如对弱信号提供高灵敏度。
在一个实施例中，没有Bayer滤波器的黑白相机可以布置在第二光输出部段处。另外，具有Bayer滤波器的相机可以布置在第一光输出部段和第三光输出部段处。
在另一实施例中，可将具有黑白图像传感器且不具有Bayer滤波器的相机布置在第一光输出部段处。另外，具有Bayer滤波器的相机可以布置在第二和第三光输出部 段处。
在优选的开发中，与第一光输出部段相关联的图像传感器和/或相机被配置为在颜色空间中记录彩色图像，颜色空间具有预定的颜色通道集，其中第一光路的光谱 部分包括两个光谱子部分，其中第一子部分与颜色空间的第一颜色通道重叠，并且 不与颜色空间的第二颜色通道重叠，其中第二子部分至少与第二颜色通道重叠。这 可以通过简单地选择颜色通道中的一个来促进信号的分离。
第一子部分可以与荧光素相关联，并且第一颜色通道可以是绿色通道。绿色可 以特别涉及500-565nm的部分。
第二子部分可以与ICG相关联，并且第二颜色通道可以是红色通道。红色可以 具体涉及625nm以上的部分。
当指定波长时，这可以具体涉及真空中的波长。在介质中，波长可以更短。不 同介质中的频率可以保持相同，并且波长与频率的乘积可以是光在介质中的速度。
两个颜色通道可以由另一个颜色通道分开。这可以允许容易地记录不同图像， 因为颜色通道之间的串扰被最小化。
在容易应用的配置中，颜色通道是基色。特别地，颜色空间可以是以红色、绿 色和蓝色作为基色的RGB颜色空间。
优选地，光学分束器组件被配置为将具有第一和第二波长的两个荧光发射带的光引导至第一光输出部段，并且将具有在第一和第二波长之间的第三波长的荧光发 射带的光引导至第二光输出部段。那么第一和第二波长的阻尼是最小的。
在另一个实施例中，与第二输出部段相关联的图像传感器和/或相机可以被配置为在颜色空间中记录彩色图像，颜色空间具有预定的颜色通道集，并且第一光路的 光谱部分包括两个光谱子部分，其中第一子部分与颜色空间的第一颜色通道重叠， 并且不与颜色空间的第二颜色通道重叠，其中第二子部分至少与第二颜色通道重叠。 第一子部分可以再次与荧光素相关联，并且第一颜色通道可以是绿色通道。第二子 部分可以与ICG相关联，并且第二颜色通道可以是红色通道。
光学分束器组件可以被配置为用于将具有第一波长和第二波长的两个荧光发射带的光引导至第二光输出部段，并且将具有在第一和第二波长之间的第三波长的荧 光发射带的光引导至第一光输出部段。这可以允许荧光发射带的良好分离。
由与第二光输出部段相关联的图像传感器和/或相机记录的光谱部分可以位于在第一光输出部段处记录的两个光谱子部分之间。这可以允许这些部分的良好分离。
具体地，光学分束器组件可以被配置为将白光引导至第三输出部段。白光可以 是在滤除第一部分和第二部分时光中保留的部分。白光可以是第三部分。该白光可 以用于产生给出进行外科手术的区域的概观的图像。
至少一个分束器可以包括棱镜上的涂层。这可以给出紧凑的构造。
在有利的实施例中，光学分束器组件包括第一棱镜、第二棱镜和第三棱镜中的 至少一个，第一棱镜包括光进入部段和第一光输出部段，第二棱镜包括第二光输出 部段，第三棱镜包括第三光输出部段。这可以具有光学分束器组件可以紧凑的效果。
第一分束器可以在第一棱镜和第二棱镜之间以实现坚固构造。类似地，第二分 束器可以位于第二棱镜和第三棱镜之间。
在导致空间节省和坚固布置的进一步发展中，光学分束器组件包括彼此连接以形成整体块的三个棱镜。块可以是单片的。
在有利的实施例中，第一和第二光谱部分不重叠。因此，提高了信号强度。
类似地，在有利实施例中，第一、第二和第三光谱部分不重叠。
分束器组件可以被配置为用于荧光素、ICG和5-ALA的组合使用。这可以例如 在第二部分和第一部分的第一子部分和第二子部分使得它们中的每一个与荧光素、 ICG和5-ALA的一个荧光发射带重叠但不与其他荧光团的荧光发射带重叠时实现。
一种显微镜组件可以进一步包括图像处理设备，其中图像处理设备被配置为从来自三个光输出部段的三个图像创建单个图像。
分束器布置可用于区分三个荧光波段并生成可见布置。原理上，该布置可以在 适当的照明下同时用于所有四个图像。
可见图像是由任何不用于荧光(FL)成像的相机输出构成的。已知棱镜/分束器 布置的照明光波长分布和滤波器特性就可以进行颜色平衡。
在有利的显微镜组件中，用户可以选择或指示荧光模式。照明源的照明可由控 制器控制以提供适当的激发照明(第一荧光照明光、第二荧光照明光和第三荧光照 明光中的一个或多个)加上宽带“白光”照明。然后，系统可以知道哪个或哪些相 机的信号与选择的荧光相关，以及使用哪些相机的信号以构造颜色平衡的可视图像。 然后可以将一个或多个图像输出到替代显示器。这种色彩平衡可以在图像处理设备 中执行。
用于记录图像的适用性不必包括图像的保存。如果图像被捕获并且例如在一个或多个显示器上现场处理和显示，但是之后不被保存，则本发明的解决方案也可以 被使用。
接下来，通过仅使用示例实施例作为示例来进一步描述若干实施例，这些示例 实施例也在附图中示出。在附图中，对于在功能和设计中的至少一个方面彼此对应 的特征使用相同的附图标记。
在所附实施例中示出的特征的组合仅用于说明性目的并且可以被修改。例如， 可以省略具有特定应用所不需要的技术效果的实施例的特征。同样，如果对于特定 应用需要与该特征相关联的技术效果，则可以添加未被示出为实施例的一部分的特 征。
在图4a中，示出了显微镜组件445(其可对应于图1a的显微镜系统1000或结 合图1a至2b、6a至7示出的显微镜中的一个)，其包括分束器组件400(其可以对 应于图1c中所示的分束器组件132)。分束器组件400允许拍摄和记录进行外科手术 的区域的图像。
存在适于记录不同光谱部分410，420，430的图像的三个相机481，482，483 (其可以对应于或包括图1c中所示的图像传感器134-1—134-3)。在图4a中，线481b、 482b以及483b示出实际的相机传感器，481a，482a以及483a示出被配置为将入射 到相机传感器的光限制到期望的光谱部分的带通滤波器。由此，可以分别对来自不 同荧光团的荧光进行成像。以这种方式获得的图像然后可以输入到显微镜组件的图 像处理设备446中并且根据需要组合。例如，可以将两个或三个图像叠加并组合成 单个图像，在单个图像中外科医生可以看到特征组织。荧光团的信号的强度可以根 据需要调节，并且例如用假色显示以允许容易区分。这样的图像然后可以在显示设 备448上显示或者在观看系统中观看。在带通滤波器的前面，可以使用虚置玻璃， 在此也用作光输出部段461，462，463。这些虚置玻璃块可以用于确保到每个相机的 光路长度是相同的。进入棱镜的光是会聚的(聚焦的)，因此焦点可以指向每个相机 表面。另外，在光输出部段处可以存在可选的玻璃虚设部170。
光学分束器组件400包括第一分束器451(图1c中的132-1)和第二分束器452 (图1c中的132-2)。两个分束器451，452用于将光分为第一光路471、第二光路 472和第三光路473。
第一光路471被配置为将第一光谱部分410的光从光进入部段460引导至第一 光输出部段461，光(可见光/反射光和荧光发射)在光进入部段460处进入光学分 束器组件400。
类似地，第二光路472被配置为将第二光谱部分420的光从光进入部段460引 导到第二光输出部段462，第二光输出部段462与第一光输出部段461间隔开。
最后，第三光路473被配置为将第三光谱部分430的光从光进入部段460引导 到第三光输出部段463，第三光输出部段463与第一光输出部段461和第二光输出部 段462间隔开。
第二光路472穿过第一分束器451，并且第三光路473穿过第一和第二分束器451，452。
分束器451，452可以各自实施为分色镜455。每个分色镜455包括在一定角度 下反射预定波长的至少一个薄层。可以透射其他波长。
第一分束器451沿着第一光路471反射第一光谱部分410的光。第一分束器451 透射第二光谱部分420的光以及不是第一光谱部分410的一部分的其他波长。类似 地，第二分束器452沿着第二光路472反射第二光谱部分420的光，并且可以例如 透射其他波长。然而，当没有或几乎没有第一光谱部分410的光到达第二分束器452 时，它也可以反射第一光谱部分410的光。
光学分束器组件400包括具有用于检测第一、第二和第三输出部段461，462， 463处的光的三个图像传感器481b，482b，483b的三个相机481，482，482。为此， 三个图像传感器481b，482b，483b分别布置在第一、第二或第三输出部段461，462， 463处。图像传感器与带通滤波器481a，482a和482b耦合。在一些实施方式中，分 束器的涂层与图中所示的理想分布不匹配，因此带通滤波器可以用于阻挡期望波段 外的(任何)光。
为了记录来自特征组织和荧光团的信号，对于第一和第二光路471，472中的至 少一个，荧光团的发射带与光谱部分410，420重叠。例如，荧光素、5-ALA和ICG 中的至少一种可以用作荧光团。
在所描绘的实施例中，由第一光路471引导的光的光谱部分410包括彼此间隔 开的两个光谱子部分411(标记为圆圈中的1)，412(标记为圆圈中的2)。这可以例 如通过第一分束器451来实现，第一分束器451将两个光谱子部分反射并将它们引 导到位于第一光输出部段461处的第一相机481的第一图像传感器481a上。
对于每个光谱子部分411，412，荧光团的荧光发射带与光谱子部分411，412重 叠或位于光谱子部分411，412内。具体地，在该示例中，与荧光素相关联的第一光 谱子部分411位于540nm的典型荧光发射波长周围。与ICG相关联的第二光谱子部 分412包括大约750-900nm的波长。
第一相机481包括Bayer滤波器481a。Bayer滤波器481a包括三个子滤波器， 用于选择性地将红、绿和蓝中的仅一个传输到每个像素上。绿色子滤波器的面积包 括红色和蓝色子滤波器的组合面积。通过使用这种Bayer滤波器48a，可以容易地分 离与两个荧光团相关的两个子部分411，412。例如，可以使用与绿色子滤波器耦合 的像素来检测由荧光素引起的荧光发射。由ICG引起的荧光发射在每个像素处是可 见的，因此可以使用计算逻辑来识别。这两个子部分411，412彼此间隔开，使得它 们之间的串扰最小化。这意味着具有自然带宽的荧光信号在另一个子部分处仅具有 非常小的信号强度或没有信号强度。
可选择Bayer滤波器488a的子滤波器以匹配荧光团中的一个的荧光发射带。具 体地，子滤波器的透射率的最大值可以位于荧光发射带最大值的50nm内，优选20nm 内。子滤波器在荧光发射带的最大波长处的透射率可以大于80％，优选大于90％， 甚至更优选至少95％。
有利地，选择荧光团，使得其荧光发射带与由Bayer滤波器488a的子滤波器透 射的光谱部分重叠。
为了实现高灵敏度，第二相机482包括黑白图像传感器482a，但不包括Bayer 滤波器。这可以例如在使用弱信号或具有低量子效率的荧光团的情况下是有用的。 例如，第二光路472可以与涉及5-ALA的荧光发射的光谱部分420相关联。
第三相机483可以包括Bayer滤波器483b和第三图像传感器483a，以便记录具 有宽光谱范围并且可以被命名为白光的剩余光的第三光谱部分430。第三光谱部分 430可以用于给出进行外科手术的区域的总体概观(图像的视场是相同的)。在各种 操作模式中，将第三光谱部分与其它光谱部分(未用于荧光成像)中的一个组合以 生成可见光图像。
总体上，光学分束器组件400包括三个相机481，482，483，一个相机482在没 有Bayer滤波器的情况下操作(并且因此实际上作为黑白图像传感器操作)，并且两 个相机481，483包括Bayer滤波器488a，488b。包括Bayer滤波器488a，488b的两 个相机481，483还可以包括Bayer滤波器481a，483a后面的黑白图像传感器481a， 483a。两个相机481，483可以是允许拍摄具有颜色信息的图像的彩色相机。
在所描绘的实施例中，在第二光输出部段462处布置没有Bayer滤波器的相机 482的图像传感器482a，并且在第一光输出部段461和第三光输出部段463处布置 具有Bayer滤波器488a，488b的相机481，483的图像传感器481a，483a。在其他 实施例中，可以在第一输出部段461处布置没有Bayer滤波器的相机，以避免由于第 一分束器451引起的任何损失。
与第一光输出部段461相关联的相机481被配置为记录在RGB颜色空间中的彩 色图像，颜色空间具有预定的颜色通道集。第一光路471的光谱部分410包括两个 光谱子部分411，412，其中第一子部分411，即与荧光素相关联的子部分，与颜色空 间的第一颜色通道，即绿色重叠，而不与颜色空间的第二颜色通道，即红色重叠。 第二子部分412，即与ICG有关的子部分，至少与第二颜色通道即红色重叠。如图 4a至4c所示，分束器451可以包括在515nm-535nm，835-880nm处>90％的平均反 射率(Rave)，以及在400nm-495nm，559nm-810nm处<5％的平均反射率(Rave)。 分束器452可以包括在625nm-645nm处>90％的平均反射率(Rave)，以及在400 nm-605nm，665nm-810nm处<5％的平均反射率(Rave)。入射角可以是F8.0。
两个颜色通道可以由另一个颜色通道分开。
每个颜色通道可以是基色，例如红色、绿色或蓝色。
换言之，由与第二光输出部段462相关联的第二图像传感器482a记录的反射光 谱部分420位于在第一光输出部段461处记录的两个光谱子部分411，412之间。因 此，第一和第二光谱部分410，420不重叠。
此外，光束分束器组件被配置为将白光或剩余光引导至第三输出部段463。光学分束器组件400被配置用于将具有第一和第二波长的两个荧光发射带的光引导到第 一光输出部段461，并且将具有在第一和第二波长之间的第三波长的荧光发射带的光 引导到第二光输出部段462。
不同光谱部分的结果分布可以在图4b至4d中看到。在这种情况下，波长小于 约900nm的光通过光进入部段460进入光学分束器组件400。荧光素频带和ICG频 带通过第一分束器451被导向第一相机481，并且在图4b中可以被看作光谱中的两 个不同的峰，在这两个峰之间具有间隙。
5-ALA峰透射通过第一分束器451并由第二分束器452导向第二相机482。由于 在第二相机482中没有(Bayer)滤波器，因此对于该弱信号可以实现高灵敏度。如 图4c所示，该峰位于在第一输出部段测量的两个峰之间。峰的这种分离允许信号的 良好分离和可靠检测。
在图4d中，示出了到达第三输出部段463的光的部分。这是进入输入部段的光， 既没有朝向第一输出部段461偏转，也没有朝向第二输出部段462偏转，也没有被 吸收。由于光谱的宽度，该部分可以被称为白光。
在不同的实施例中，与第二输出部段462相关联的图像传感器482a和/或相机 482可以被配置为在颜色空间中记录彩色图像，颜色空间具有预定的颜色通道集，第 二光路472的光谱部分420包括两个光谱子部分，其中第一子部分与颜色空间的第 一颜色通道重叠，而不与颜色空间的第二颜色通道重叠，其中第二子部分至少与第 二颜色通道重叠。
在本示例中，光学分束器组件被配置用于将具有第一和第二波长的两个荧光发射带的光引导到第二光输出部段462，并且将具有在第一和第二波长之间的第三波长 的荧光发射带的光引导到第一光输出部段461。
两个分束器451，452各自包括在棱镜491，492，493上的涂层495。
此外，光学分束器组件400包括第一棱镜491、第二棱镜492和第三棱镜493， 第一棱镜491包括光进入部段460和第一光输出部段461，第二棱镜492包括第二光 输出部段462，第三棱镜493包括第三光输出部段463。
第一分束器451位于第一棱镜491和第二棱镜492之间。此外，第二分束器452 位于第二棱镜492和第三棱镜493之间。
总之，光学分束器组件400包括彼此连接以形成整体块499的三个棱镜491，492，493。这可以简化处理。具体地，光学分束器组件400可以是显微镜组件445或显微 镜的相机头440的一部分。
光学分束器组件400被配置用于荧光素、ICG和5-ALA的组合使用。这是由于 第二部分420和第一部分410的第一子部分411和第二子部分412使得它们中的每 一个与荧光素、ICG和5-ALA的一个荧光发射带重叠，而不与其他荧光团的荧光发 射带重叠而实现的。
在图4e中，示出了另一实施例。同样，存在适于记录不同光谱部分410，420， 430的图像的三个相机481，482，483。由此，来自不同荧光团的荧光可以被分别成 像。以这种方式获得的图像然后可以输入到显微镜组件的图像处理设备446中并且 根据需要组合。
光学分束器组件400包括第一分束器451和第二分束器452。两个分束器451， 452用于将光分为第一光路471、第二光路472和第三光路473。
对于第一分束器451，平均反射率可以是Rave>90％@400nm-485nm， 565nm-599nm，679nm-790nm，Rave<5％@505nm-545nm，619nm-659nm， 810nm-850nm。这意味着在从400nm至485nm，从565nm至599nm和从679nm 至790nm的间隔中，平均反射率大于90％，在从505nm至545nm，从619nm至 659nm和从810nm至850nm的间隔中，平均反射率小于5％。入射角可以是F8.0。
对于第二分束器，平均反射率可以是Rave>90％@40nm-599nm，679nm-850nm， Rave<5％@619nm-659nm。这意味着在从400nm至599nm，从679nm至850nm的 间隔中，平均反射率大于90％，在从619nm至659nm的间隔中，平均反射率小于 5％。入射角可以是F8.0。
因此，第一分束器451传输所有三种荧光团(荧光素、5-ALA和ICG)的信号。 其他光被反射到包括第一Bayer滤波器481a的第一相机481上。第二分束器452仅 传输5-ALA信号，其然后到达第三相机483，第三相机483包括黑白图像传感器483a 并且没有Bayer滤波器。用于荧光素和ICG的信号由第二分束器反射到第二相机482 上，第二相机包括Bayer滤波器488b。
在图5中，示出了有利的显微镜组件445。用户可以选择或指示荧光模式。照明 源500的照明将由控制器520控制以提供适当的激发照明(第一荧光照明光501、第 二荧光照明光502和第三荧光照明光503中的一个或多个)加上宽带“白光”照明 504。然后，系统将知道哪个或哪些相机481，482，483的信号与所选择的荧光相关， 以及使用哪个相机以构造颜色平衡的可视图像。然后可以将一个或多个图像输出到 可选显示器540。这种色彩平衡可在图像处理设备446中执行。
结合所提出的构思或上文或下文描述的一个或多个示例(例如，图1a至3，图 6a至7)提及了显微镜组件或分束器组件的更多细节和方面。显微镜组件或分束器 组件可以包括与所提出的构思的一个或多个方面或者以上或以下描述的一个或多个 示例相对应的一个或多个附加可选特征。
在图6a至6d中示出了用于显微镜系统的示例性实现的不同照明模式和成像模式。
在图6a至6d中，示出了一种显微镜系统的光学布局，显微镜系统包括：照明 系统630，其可对应于基于LED的照明系统180；光学子系统635，636，637，638， 其包括透镜635，637和638以及棱镜636；分束器组件400，其可对应于分束器组 件132；以及三个图像传感器481，482，483，其中两个在有Bayer滤波器488a/488b (其可以对应于Bayer滤波器136-1，162)的情况下操作。例如，分束器组件可以 类似于结合图4e/1c示出的分束器组件来实现。
在图6a中，示出了在可见模式下的显微镜系统的操作。在图6a中，照明系统 630的白光LED(例如，单个芯片)发射可见范围内的光谱631并且进行视场照明， 两个3芯片相机(每个包括具有三个图像传感器的分束器组件)通过两个立体光学 系统观察视场。这些传感器中的每一个记录特定光谱601，602，603。传感器1 481 记录在495nm-550nm和在800nm-900nm的范围内的光谱601，传感器2 482记录 在480nm-495nm，在550nm-615nm，和在665-750nm的范围内的光谱602。传感 器3 483记录615nm-665nm的光谱603。为了增加其灵敏度，传感器3在没有Bayer 图案的情况下操作。在可见光操作中，所有三个传感器的图像被组合以创建可见图 像610。
在图6b中，示出了在第二频率范围(由圆圈中的数字2示出)中提供荧光发射 的操作模式下的显微镜系统的操作。由于荧光激发波长接近400nm，该操作模式表 示为“FL400”。在图6b中，照明系统630的白光LED(例如单个芯片)发射光谱 并进行视场照明。在615nm-665nm之间的范围内的光谱632b被带通滤波器阻挡， 因为这覆盖了5-ALA的典型发射范围。光照系统630中在405nm处具有峰值632a 的附加蓝色LED发射荧光激发功率。得到的光谱632如图6b所示。两个3芯片相机 通过两个立体光学系统观察视场。这些传感器中的每一个记录特定光谱601，602， 603。传感器1 481记录在495nm-550nm和在800nm-900nm的范围内的光谱601， 传感器2 482记录在480nm-495nm，在550nm-615nm和在665-750nm的范围内的 光谱602。传感器3 483记录615nm-665nm的光谱603。为了增加其灵敏度，传感 器3在没有Bayer图案的情况下操作。组合传感器1和2的图像以创建可视图像610。 传感器3的图像创建荧光图像叠加620(由于激发波长接近400nm，因此表示为“FL 400”)。
在图6c中，示出了在第一频率范围(由圆圈中的数字1示出)中提供荧光发射 的操作模式下的显微镜系统的操作。由于荧光发射波长接近560nm，该操作模式表 示为“FL560”。在图6c中，照明系统630的白光LED(例如，单个芯片)发射光 谱并进行视场照明。在495nm-550nm之间的范围内的光谱633b被阻挡，因为这覆 盖了荧光素的典型发射范围。在480nm处具有峰值633a的附加青色LED以及带通 滤波器发射荧光激发功率。得到的光谱633如图6c所示。两个3芯片相机通过两个 立体光学系统观察视场。这些传感器中的每一个记录特定光谱。这些传感器中的每 一个记录特定光谱601，602，603。传感器1 481记录在495nm-550nm和在800nm-900 nm的范围内的光谱601，传感器2 482记录在480nm-495nm，在550nm-615nm以 及在665-750nm的范围内的光谱602。传感器3 483记录615nm-665nm的光谱603。 为了增加其灵敏度，传感器3在没有Bayer图案的情况下操作。组合传感器2和3 的图像以创建可视图像。传感器1的图像创建“FL 560”荧光图像叠加。
在图6d中，示出了在第三频率范围(由圆圈中的数字3示出)中提供荧光发射 的操作模式下的显微镜系统的操作。由于荧光发射和激发波长接近800nm，该操作 模式表示为“FL 800”。在图6d中，照明系统630的白光LED(例如，单个芯片) 发射光谱并进行视场照明。照明系统中在788nm处具有峰值634a的附加近红外 (NIR)LED以及带通滤波器发射荧光激发功率。得到的光谱634如图6d所示。
两个3芯片相机通过两个立体光学系统观察视场。这些传感器中的每一个记录 特定光谱。这些传感器中的每一个记录特定光谱601，602，603。传感器1 481记录 在495nm-550nm以及在800nm-900nm的范围内的光谱601，传感器2 482记录在 480nm-495nm，在550nm-615nm以及在665-750nm的范围内的光谱602。传感器 3 483记录615nm-665nm的光谱603。为了增加其灵敏度，传感器3在没有Bayer 图案的情况下操作。组合传感器2和3的图像以创建可视图像。传感器1的图像创 建“FL 800”荧光图像叠加。
结合所提出的构思或以上或以下描述的一个或多个示例(例如图1a至5，7)提 及了照明模式或成像模式的更多细节和方面。照明模式或成像模式可以包括与所提 出的构思的一个或多个方面或者以上或以下描述的一个或多个示例相对应的一个或 多个附加可选特征。
如在此所使用的，术语“和/或”包括一个或多个相关联的所列项目的任何和所 有组合，并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面，但是清楚的是，这些方面还表示 对应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方 法步骤的上下文中描述的各方面还表示对相应装置的相应块或项目或特征的描述。
一些实施例涉及包括如结合图1至6d中的一个或多个所描述的系统的显微镜。 或者，显微镜可以是结合图1至6d中的一个或多个描述的系统的一部分或连接到该 系统。图7示出了被配置为执行在此描述的方法的系统700的示意图。系统700包 括显微镜710和计算机系统720。显微镜710被配置为拍摄图像并且连接到计算机系 统720。计算机系统720被配置为执行在此描述的方法的至少一部分。计算机系统 720可以被配置为执行机器学习算法。计算机系统720和显微镜710可以是单独的实 体，但也可以一起集成在一个公共壳体中。计算机系统720可以是显微镜710的中 央处理系统的一部分和/或计算机系统720可以是显微镜710的子部件的一部分，例 如显微镜710的传感器、致动器、相机或照明单元等的一部分。
计算机系统720可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如，个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以 是分布式计算机系统(比如，具有分布在各种位置，例如分布在本地客户端和/或一 个或多个远程服务器群和/或数据中心的一个或多个处理器和一个或多个存储设备的 云计算系统)。计算机系统720可以包括任何电路或电路的组合。在一个实施例中， 计算机系统720可以包括可以是任何类型的一个或多个处理器。如本文中所使用， 处理器可意指任何类型的计算电路，例如，但不限于，例如显微镜或显微镜部件(例 如，相机)的微处理器，微控制器，复杂指令集计算(CISC)微处理器，精简指令 集计算(RISC)微处理器，超长指令字(VLIW)微处理器，图形处理器，数字信号 处理器(DSP)，多核处理器，现场可编程门阵列(FPGA)，或任何其他类型的处理 器或处理电路。可以包括在计算机系统720中的其它类型的电路可以是定制电路， 专用集成电路(ASIC)等，例如用于无线设备(比如，移动电话、平板计算机、膝 上型计算机、双向无线电设备和类似的电子系统)的一个或多个电路(比如，通信 电路)。计算机系统720可以包括一个或多个存储设备，该一个或多个存储设备可以 包括适合于特定应用的一个或多个存储元件，例如随机存取存储器(RAM)，一个或 多个硬盘驱动器，和/或处理可移动介质比如压缩盘(CD)、闪存卡、数码影碟(DVD) 等的一个或多个驱动器的形式的主存储器。计算机系统720还可以包括显示设备， 一个或多个扬声器，以及键盘和/或控制器(可以包括鼠标，轨迹球，触摸屏，语音 识别设备)，或允许系统用户将信息输入到计算机系统720中并从计算机系统720接 收信息的任何其他设备。
这些方法步骤中的一些或全部可以通过(或使用)硬件装置(例如，处理器、 微处理器、可编程计算机或电子电路)来执行。在一些实施例中，一些最重要的方 法步骤中的一个或多个可以由这样的装置执行。
根据某些实现要求，本发明的实施例可以用硬件或软件来实现。该实现可以使 用非暂时性存储介质来执行，该非暂时性存储介质比如数字存储介质，例如软盘， DVD，蓝光光碟，CD，ROM，PROM和EPROM，EEPROM或FLASH存储器，其 上存储有电子可读控制信号，非暂时性存储介质与可编程计算机系统协作(或能够 协作)，使得执行相应的方法。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，其能够与可编程计算机系统协作，使得执行这里描述的方法之一。
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机 程序产品在计算机上运行时，该程序代码用于执行方法之一。程序代码例如可以存 储在机器可读载体上。
其它实施例包括存储在机器可读载体上的用于执行本文所述方法之一的计算机程序。
换句话说，本发明的实施例因此是一种计算机程序，当计算机程序在计算机上 运行时，该计算机程序具有用于执行在此描述的方法之一的程序代码。
因此，本发明的另一实施例是一种存储介质(或数据载体，或计算机可读介质)，其包含存储于其上的计算机程序，所述计算机程序用于在由处理器执行时执行本文 中所描述的方法中的一者。数据载体、数字存储介质或记录介质通常是有形的和/或 非过渡的。本发明的另一个实施例是在此描述的包括处理器和存储介质的装置。
因此，本发明的另一个实施例是表示用于执行这里描述的方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如配置为经由数据通信连接(例 如，经由互联网)来传输。
另一个实施例包括处理装置，例如计算机或可编程逻辑设备，其配置为或适于 执行这里描述的方法之一。
另一实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。
根据本发明的另一实施例包括配置为将用于执行这里描述的方法之一的计算机程序(例如，电子地或光学地)传输到接收机的装置或系统。接收机例如可以是计 算机，移动设备，存储设备等。该装置或系统例如可以包括用于将计算机程序传输 到接收机的文件服务器。
在一些实施例中，可编程逻辑设备(例如，现场可编程门阵列)可以用于执行 在此描述的方法的一些或全部功能。在一些实施例中，现场可编程门阵列可与微处 理器协作以执行本文中所描述的方法中的一者。通常，这些方法优选地由任何硬件 装置来执行。
附图标记列表
100 显微镜
130 图像传感器组件
132 分束器组件
134-1，134-2，134-3 图像传感器
136-1，136-2 Bayer滤波器
138-1，138-2，138-2 光谱部分
180 照明系统
181-1 第一基于LED的光源
181-2 光学滤波器
182 第二基于LED的光源
183 第三基于LED的光源
184 第二光学滤波器
185 聚光元件
190 用于显微镜的系统
192 接口
194 一个或多个处理器
196 一个或多个存储设备
310 发射在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率
320 发射跨越白光光谱的辐射功率
330 生成图像数据
340 处理图像数据
400 分束器组件
410 第一光谱部分
411 第一光谱子部分
412 第二光谱子部分
420 第二光谱部分
430 第三光谱部分
440 相机头
445 显微镜组件
446 图像处理设备
448 显示设备
451 第一分束器
452 第二分束器
455 分色镜
460 光进入部段
461 第一光输出部段
462 第二光输出部段
463 第三光输出部段
471 第一光路
472 第二光路
473 第三光路
481 第一相机
481a 第一相机的带通滤波器
481b 第一图像传感器
482 第二相机
483a 第二相机的带通滤波器
482b 第二图像传感器
483 第三相机
483a 第三相机的带通滤波器
483b 第三图像传感器
488a Bayer滤波器
488b Bayer滤波器
491 第一棱镜
492 第二棱镜
493 第三棱镜
495 涂层
499 块
500 光源
501 第一荧光激发光
502 第二荧光激发光
503 第三荧光激发光
504 宽带光
520 控制器
540 显示器
601 第一传感器的光谱
602 第二传感器的光谱
603 第三传感器的光谱
610 可见图像
620 荧光图像叠加
630 照明系统
631 照明系统的光谱
632 照明系统的光谱
632a 在照明系统的光谱内的峰值
632b 在照明系统的光谱内的间隙
633 照明系统的光谱
633a 在照明系统的光谱内的峰值
633b 在照明系统的光谱内的间隙
634 照明系统的光谱
634a 在照明系统的光谱内的峰值
700：系统(2x)
710：显微镜(6x)
720：计算机系统(12x)，从计算机系统(1x)接收信息

Claims (15)

1.一种显微镜系统，包括：
基于发光二极管LED的照明系统(180)，被配置为发射在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率和/或发射跨越白光光谱的辐射功率，其中发射的跨越所述白光光谱的光被滤波，使得具有与所述至少一种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光被衰减或阻挡；
至少一个图像传感器组件(130)，被配置为生成图像数据，所述图像数据表示由所述基于LED的照明系统照明的样本反射的光；以及
一个或多个处理器(194)，被配置为：
处理所述图像数据以生成经处理的图像数据。
2.根据权利要求1所述的显微镜系统，其中所述一个或多个处理器被配置为重建所述经处理的图像数据中表示具有与所述至少一种荧光材料的所述至少一个荧光发射波长一致的波长的光的一部分。
3.根据权利要求1或2所述的显微镜系统，其中所述图像数据表示由所述基于LED的照明系统照明的样本反射的光以及由所述至少一种荧光材料发射的光。
4.根据权利要求1至3中任一项所述的显微镜系统，其中所述一个或多个处理器配置为基于所述图像数据来生成表示可见光的第一图像以及表示所述至少一种荧光材料的荧光发射的第二图像。
5.根据权利要求1至4中任一项所述的显微镜系统，其中，所述基于LED的照明系统具有两种或更多种操作模式，第一操作模式适用于反射成像和荧光成像，并且第二操作模式适用于反射成像，其中所述一个或多个处理器被配置为如果所述基于LED的照明系统以所述第一操作模式操作则生成所述第一图像和所述第二图像，并且如果所述基于LED的照明系统以所述第二操作模式操作则生成所述第一图像而不生成所述第二图像。
6.根据权利要求1至5中任一项所述的显微镜系统，其中所述至少一个图像传感器组件包括分束器组件(132，132-1—132-5)以及三个图像传感器(134-1，134-2，134-3)，所述分束器组件被配置为将第一光谱部分的光引导至第一图像传感器，将第二光谱部分的光引导至第二图像传感器，以及将第三光谱部分的光引导至第三图像传感器，所述三个图像传感器被配置为基于入射到相应图像传感器的所述光谱部分生成图像数据。
7.根据权利要求6所述的显微镜系统，其中，所述三个图像传感器中的第一图像传感器和第二图像传感器采用Bayer滤波器(136-1，136-2)操作，并且所述三个图像传感器中的第三图像传感器在没有所述Bayer滤波器的情况下操作。
8.根据权利要求6或7所述的显微镜系统，其中所述图像数据包括源自所述第一图像传感器的第一部分，源自所述第二图像传感器的第二部分，以及源自所述第三图像传感器的第三部分，其中所述一个或多个处理器被配置为基于所述图像数据的三个部分的第一组合生成表示可见光的第一图像，并且基于所述图像数据的三个部分的第二组合生成表示所述至少一种荧光材料的荧光发射的第二图像。
9.根据权利要求8所述的显微镜系统，其中，所述一个或多个处理器被配置为组合所述图像数据的三个部分，使得如果发射在被调谐到一种荧光材料的激发波长的波长处具有一个峰值的光，则基于所述图像数据的两个部分生成所述第一图像，并且基于所述图像数据的一个部分生成所述第二图像，并且使得如果发射在被调谐到三种荧光材料的激发波长的三个波长处具有三个峰值的光，则基于所述图像数据的一个部分生成所述第一图像，并且基于所述图像数据的两个部分生成所述第二图像，和/或
其中所述一个或多个处理器被配置为组合所述图像数据的三个部分，使得如果发射在被调谐到第一荧光材料的激发波长的第一波长处具有峰值的光，则基于所述图像数据的第一部分生成所述第二图像，并且使得如果发射在被调谐到第二荧光材料的激发波长的第二波长处具有峰值的光，则基于所述图像数据的第三部分生成所述第二图像，和/或
其中所述一个或多个处理器被配置为组合所述图像数据的三个部分，使得如果发射在被调谐到第三荧光材料的激发波长的第三波长处具有峰值的光，则基于所述图像数据的第一部分生成所述第二图像，和/或
其中所述一个或多个处理器被配置为至少基于所述图像数据的第二部分生成所述第一图像。
10.根据权利要求6至9中任一项所述的显微镜系统，其中所述第一光谱部分和所述第二光谱部分中的至少一个包括彼此间隔开的两个光谱子部分，和/或
其中所述第一光谱部分包括位于450nm和550nm之间以及750nm和1000nm之间的两个连续子部分，和/或
其中所述第三光谱部分是位于550nm和700nm之间的连续部分。
11.根据权利要求1至10中任一项所述的显微镜系统，其中所述基于LED的照明系统包括：一个或多个第一基于LED的光源(181-1)，被配置为发射跨越所述白光色谱的辐射功率；至少一个光学滤波器(181-2)，被布置成对由所述一个或多个第一基于LED的光源发射的光进行滤波并且被配置为衰减或阻挡具有与所述至少一种荧光材料的至少一个荧光发射波长一致的波长的光；以及一个或多个第二基于LED的光源(182)，被配置为发射在被调谐到所述至少一种荧光材料的激发波长的波长处具有至少一个峰值的所述辐射功率。
12.根据权利要求11所述的显微镜系统，其中所述一个或多个第二基于LED的光源被配置为发射在以下各项中的一个或多个处具有峰值的辐射功率：
在390nm和420nm之间，
在460nm和500nm之间，以及
在780nm和810nm之间。
13.根据权利要求11或12所述的显微镜系统，其中所述基于LED的照明系统进一步包括被配置为发射跨越所述白光色谱的辐射功率的一个或多个第三基于LED的光源(183)。
14.根据权利要求1至13中任一项所述的显微镜系统，其中所述基于LED的照明系统具有两种或更多种操作模式，其中所述基于LED的照明系统配置为在第一操作模式中发射在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率以及跨越所述白光光谱的辐射功率，其中跨越所述白光光谱发射的光被滤波，使得具有与所述至少一种荧光材料的至少一个荧光发射波长一致的波长的光被衰减或阻挡，并且在第二操作模式下，发射跨越所述白光光谱的辐射功率，其中具有与所述至少一种荧光材料的至少一个荧光发射波长一致的波长的光不被衰减或阻挡。
15.一种使用显微镜对对象成像的方法，所述方法包括：
使用基于发光二极管LED的照明系统发射(310)在被调谐到至少一种荧光材料的激发波长的波长处具有至少一个峰值的辐射功率；
使用所述基于LED的照明系统发射(320)跨越白光光谱的辐射功率，其中跨越所述白光光谱发射的光被滤波，使得具有与所述至少一种荧光材料的至少一个荧光发射波长光谱一致的波长光谱的光被衰减或阻挡；
生成(330)图像数据，所述图像数据表示由所述基于LED的照明系统照明的样本反射的光；以及
处理(340)所述图像数据以生成经处理的图像数据。
CN202110259548.8A 2020-03-10 2021-03-10 具有基于led的照明系统的显微镜系统的构思 Active CN113376823B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102020106499 2020-03-10
DE102020106499.3 2020-03-10
EP20211272.8 2020-12-02
EP20211272.8A EP3882681A1 (en) 2020-03-10 2020-12-02 A concept for a microscope system with an led-based illumination system

Publications (2)

Publication Number Publication Date
CN113376823A true CN113376823A (zh) 2021-09-10
CN113376823B CN113376823B (zh) 2023-10-27

Family

ID=73747862

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110259548.8A Active CN113376823B (zh) 2020-03-10 2021-03-10 具有基于led的照明系统的显微镜系统的构思
CN202110259546.9A Active CN113376822B (zh) 2020-03-10 2021-03-10 用于显微镜的照明系统，用于显微镜的系统、方法和计算机程序以及显微镜系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110259546.9A Active CN113376822B (zh) 2020-03-10 2021-03-10 用于显微镜的照明系统，用于显微镜的系统、方法和计算机程序以及显微镜系统

Country Status (4)

Country Link
US (2) US11555993B2 (zh)
EP (2) EP3882681A1 (zh)
JP (2) JP7239626B2 (zh)
CN (2) CN113376823B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system
EP4277256A1 (en) 2022-05-13 2023-11-15 Leica Instruments (Singapore) Pte Ltd Image processor and computer-implemented method for a medical observation device, using a location-dependent color conversion function

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100321772A1 (en) * 2009-06-17 2010-12-23 Peter Reimer Illuminating system and an optical viewing apparatus incorporating said illuminating system
US20120085932A1 (en) * 2005-11-04 2012-04-12 George Themelis Systems and methods for multispectral imaging
CN102892348A (zh) * 2010-02-12 2013-01-23 健康与环境慕尼黑德国研究中心赫姆霍茨中心（有限责任公司） 多光谱光子成像的方法和装置
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN105723270A (zh) * 2013-09-03 2016-06-29 徕卡显微系统复合显微镜有限公司 扫描显微镜以及用于扫描显微镜的声光主分束器
US20160320602A1 (en) * 2015-04-30 2016-11-03 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
US20170235118A1 (en) * 2016-02-15 2017-08-17 Leica Instruments (Singapore) Pte. Ltd. Illumination filter system and observation system for a multispectral fluorescence microscope, multispectral fluorescence microscope, and microscopying method
CN107407597A (zh) * 2015-01-12 2017-11-28 威里利生命科学有限责任公司 具有高分辨率的高吞吐量高光谱成像和光学分割

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3962122B2 (ja) 1996-11-20 2007-08-22 オリンパス株式会社 内視鏡装置
EP1850731A2 (en) * 2004-08-12 2007-11-07 Elop Electro-Optical Industries Ltd. Integrated retinal imager and method
JP5114024B2 (ja) 2005-08-31 2013-01-09 オリンパス株式会社 光イメージング装置
JP2008209726A (ja) 2007-02-27 2008-09-11 Olympus Corp 照明装置
DE102007029894A1 (de) 2007-06-28 2009-01-15 Leica Microsystems (Schweiz) Ag Mikroskop mit zentrierter Beleuchtung
WO2009033021A2 (en) * 2007-09-05 2009-03-12 Chroma Technology Corporation Light source with wavelength converting phosphor
US20090236541A1 (en) * 2008-03-24 2009-09-24 General Electric Company System and Methods for Optical Imaging
AU2009291477A1 (en) 2008-09-15 2010-03-18 Led Roadway Lighting Ltd. Light emitting diode roadway lighting optics
JP2011070050A (ja) 2009-09-28 2011-04-07 Nikon Corp 顕微鏡
US9134243B2 (en) * 2009-12-18 2015-09-15 University Health Network System and method for sub-surface fluorescence imaging
DE102010021452A1 (de) 2010-04-01 2011-10-06 Siteco Beleuchtungstechnik Gmbh Leuchte mit LED-Modulen
JP2013057750A (ja) 2011-09-07 2013-03-28 Nikon Corp 顕微鏡
JP2014003086A (ja) 2012-06-15 2014-01-09 Ushio Inc 光照射装置、露光装置
WO2015031322A1 (en) 2013-08-26 2015-03-05 Delta T Corporation Tunable luminaire and related methods to control light output
US10849710B2 (en) * 2014-02-21 2020-12-01 The University Of Akron Imaging and display system for guiding medical interventions
ES2883220T3 (es) * 2014-06-05 2021-12-07 Univ Heidelberg Métodos y medios de formación de imágenes multiespectrales
DE102014112285A1 (de) 2014-08-27 2016-03-03 Carl Zeiss Microscopy Gmbh Verfahren zum Korrigieren einer Farbwiedergabe eines digitalen Mikroskops sowie digitales Mikroskop
CA3009419A1 (en) * 2016-01-26 2017-08-03 Novadaq Technologies ULC Configurable platform
JP2018027272A (ja) 2016-08-19 2018-02-22 ソニー株式会社 撮像システム
DE102018202243A1 (de) 2018-02-14 2019-08-14 Richard Wolf Gmbh Medizinisch-endoskopisches Instrument
DE102019101734B4 (de) * 2019-01-24 2021-01-07 Schott Ag Beleuchtungseinrichtung für ein abbildendes optisches Gerät sowie Verfahren zur optischen Analyse eines Objektes
EP3882681A1 (en) * 2020-03-10 2021-09-22 Leica Instruments (Singapore) Pte. Ltd. A concept for a microscope system with an led-based illumination system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120085932A1 (en) * 2005-11-04 2012-04-12 George Themelis Systems and methods for multispectral imaging
US20100321772A1 (en) * 2009-06-17 2010-12-23 Peter Reimer Illuminating system and an optical viewing apparatus incorporating said illuminating system
CN102892348A (zh) * 2010-02-12 2013-01-23 健康与环境慕尼黑德国研究中心赫姆霍茨中心（有限责任公司） 多光谱光子成像的方法和装置
CN105263390A (zh) * 2013-04-23 2016-01-20 雪松-西奈医学中心 用于从荧光团同时录制可见光图像和红外光图像的系统和方法
CN105723270A (zh) * 2013-09-03 2016-06-29 徕卡显微系统复合显微镜有限公司 扫描显微镜以及用于扫描显微镜的声光主分束器
CN107407597A (zh) * 2015-01-12 2017-11-28 威里利生命科学有限责任公司 具有高分辨率的高吞吐量高光谱成像和光学分割
US20160320602A1 (en) * 2015-04-30 2016-11-03 Farnoud KAZEMZADEH System, method and apparatus for ultra-resolved ultra-wide field-of-view multispectral and hyperspectral holographic microscopy
US20170235118A1 (en) * 2016-02-15 2017-08-17 Leica Instruments (Singapore) Pte. Ltd. Illumination filter system and observation system for a multispectral fluorescence microscope, multispectral fluorescence microscope, and microscopying method

Also Published As

Publication number Publication date
CN113376822B (zh) 2024-02-20
JP2021144216A (ja) 2021-09-24
US20210286160A1 (en) 2021-09-16
US11835700B2 (en) 2023-12-05
US11555993B2 (en) 2023-01-17
CN113376823B (zh) 2023-10-27
JP7239626B2 (ja) 2023-03-14
EP3882681A1 (en) 2021-09-22
CN113376822A (zh) 2021-09-10
US20210286159A1 (en) 2021-09-16
JP2021144217A (ja) 2021-09-24
EP3878355A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
CN107920726B (zh) 图像拾取设备、显微镜图像拾取系统和内窥镜图像拾取系统
JP4971816B2 (ja) 撮像装置
JP6939000B2 (ja) 撮像装置及び撮像方法
JP5646844B2 (ja) 赤外蛍光を観察するための手術用顕微鏡
US7794394B2 (en) Device for wavelength-selective imaging
US5833617A (en) Fluorescence detecting apparatus
CN113376823B (zh) 具有基于led的照明系统的显微镜系统的构思
US20220322922A1 (en) Method and apparatus using a medical imaging head for fluorescent imaging
JP2014087661A (ja) 画像化内視鏡と共に使用するフィルター
US20190058837A1 (en) System for capturing scene and nir relighting effects in movie postproduction transmission
EP3284396B1 (en) Observation apparatus and method for visual enhancement of an observed object
EP4009095A1 (en) Hybrid microscope
JP2907571B2 (ja) レーザ走査型蛍光顕微鏡
JP7483862B2 (ja) 光ビームスプリッタアセンブリ、カメラヘッドおよび顕微鏡アセンブリ
CN108931508B (zh) 显微镜系统
EP3805838B1 (en) Microscope and related apparatuses, methods and computer programs
EP3961285A1 (en) Microscope, microscope system and method for imaging an object using a microscope
EP3991633A1 (en) Microscope system for use in eye surgery and corresponding system, methods and computer programs
CN115668275A (zh) 用于显微镜系统和用于确定变换函数的系统、方法和计算机程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant