CN112996423A - 图像获取系统和图像获取方法 - Google Patents

图像获取系统和图像获取方法 Download PDF

Info

Publication number
CN112996423A
CN112996423A CN201980072569.XA CN201980072569A CN112996423A CN 112996423 A CN112996423 A CN 112996423A CN 201980072569 A CN201980072569 A CN 201980072569A CN 112996423 A CN112996423 A CN 112996423A
Authority
CN
China
Prior art keywords
light
band
image
light source
narrow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980072569.XA
Other languages
English (en)
Inventor
大木智之
长江聪史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN112996423A publication Critical patent/CN112996423A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明的目的是获取发射图像，即使当来自发光剂的发射波长属于可见光带时，也不会导致发射图像的信噪比降低。根据本公开的图像获取系统包括：第一窄带光源(101)，发射用于激发发光剂的第一窄带光，所述发光剂存在于观察目标中并发射具有属于可见光波长带的波长的光；第二窄带光源(103)，发射第二窄带光，该第二窄带光具有在发光剂的发射峰值波长的±30nm范围内的波长带；宽带光源(105)，发射用于照射待观察的对象的宽带光；第一成像元件(201)，在该第一成像元件处，包括与从发光剂发射的光对应的波长的发射波长带的光形成图像；以及第二成像元件(203)，由一个或多个成像元件组成，在所述一个或多个成像元件处除了发射波长带之外的波长带的光形成图像。合成从第一成像元件获取的第一捕捉图像和从第二成像元件获取的第二捕捉图像，以创建与待观察的对象相关的捕捉图像。

Description

图像获取系统和图像获取方法
技术领域
本公开涉及一种图像获取系统和一种图像获取方法。
背景技术
近年来，一种技术已经受到关注，在该技术中，利用与试剂反应的激发光照射施用试剂的患者，并且观察从试剂发射的光(例如，荧光)，以支持医生的外科手术或诊断。在此处，由于从试剂发射的光非常弱，通常关闭用于手术等的一般照明，仅使用激发光，并观察来自试剂的光。然而，在这种情况下，由于只能获取只有从试剂发射的光发光的图像，所以医生难以在观察从试剂发射的光的同时进行一些外科手术。
因此，例如，专利文献1提出了一种技术，其中，准备用于捕捉来自观察目标的光的图像的两个或更多个图像传感器，并且分离来自观察目标的光，使得分别通过使用不同的图像传感器对通过使用普通照明获取的正常图像和通过捕捉从试剂发射的光的图像获取的发光图像进行获取。例如，可以通过使用发荧光并被可见光波长带的光以外的光(更具体地，近红外光)激发的试剂，例如，称为吲哚菁绿(ICG)的荧光剂，并进一步使用上述技术，来执行背景图像和具有荧光波长的荧光图像的多路分用。结果，可以同时获取背景图像和荧光图像，并且医生可以在观看背景图像的同时对以荧光图像为特征的部分执行适当的外科手术或进行诊断。
引用列表
专利文献
专利文献1：JP 2018-27272 A
发明内容
技术问题
然而，即使当使用上述分离来自观察目标的光的技术时，在从发光剂发射的光的波长属于可见光波长带的情况下，图像传感器对照明光和从发光剂发射的光所混合的光进行接收。结果，在发光图像(例如，荧光图像)中，信噪比(S/N比)可降低。因此，即使在从发光剂发射的光的波长属于可见光波长带的情况下，在能够获取发光图像而不会导致发光图像的信噪比降低的技术方面仍有改进的空间。
因此，鉴于上述情况，本公开提出了一种图像获取系统和一种图像获取方法，即使在从发光剂发射的光的波长属于可见光波长带的情况下，该图像获取系统和图像获取方法也能够获取发光图像，而不会导致发光图像的信噪比降低。
问题的解决方案
根据本公开，一种图像获取系统，包括：第一窄带光源，发射用于激发发光剂的第一窄带光，所述发光剂存在于观察目标中并发射具有属于可见光波长带的波长的光；第二窄带光源，发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光；宽带光源，发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带更宽的波长带中；第一图像传感器，在所述第一图像传感器上形成发光波长带中的光的图像，该发光波长带包括与从所述发光剂发射的光对应的波长；以及第二图像传感器，包括一个或多个图像传感器，在所述一个或多个图像传感器上形成除所述发光波长带之外的波长带中的光的图像，其中，将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与所述观察目标相关的捕捉图像。
此外，根据本公开，一种图像获取方法，包括：利用来自第一窄带光源和第二窄带光源中的至少一者以及宽带光源的照明光来照射观察目标，所述第一窄带光源发射用于激发发光剂的第一窄带光，所述发光剂存在于所述观察目标中并发射具有属于可见光波长带的波长的光，所述第二窄带光源发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光，所述宽带光源发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带宽的波长带中；由第一图像传感器和第二图像传感器中的每一个接收来自所述观察目标的光，在所述第一图像传感器上形成发光波长带中的光的图像，该发光波长带包括与从所述发光剂发射的光对应的波长，在第二图像传感器上形成除发光波长带之外的波长带中的光的图像；并且将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与观察目标相关的捕捉图像。
根据本公开，利用第一窄带光和第二窄带光中的至少一者和宽带光作为照明光照射观察目标，在第一图像传感器和第二图像传感器上形成来自观察目标的光的图像，并且将第一捕捉图像和第二捕捉图像彼此组合，以获取与观察目标相关的捕捉图像。
附图说明
[图1]是示意性示出根据本公开实施方式的图像获取系统的总体配置的说明图；
[图2]是示意性示出根据实施方式的图像获取系统中的光源单元和成像单元的配置的说明图；
[图3]是示意性示出根据实施方式的图像获取系统中的光源单元的配置的示例的说明图；
[图4]是示意性示出根据实施方式的光源单元中的多路复用光学系统的示例的说明图；
[图5]是示出根据该实施方式的光源单元中从W光源发射的宽带光的光谱的示例的曲线图；
[图6]是示出从根据实施方式的光源单元发射的照明光的光谱的示例的曲线图；
[图7]是示出从根据实施方式的光源单元发射的照明光的光谱的示例的曲线图；
[图8]是示意性示出根据实施方式的图像获取系统中的成像单元的配置的示例的说明图；
[图9A]是示意性示出根据实施方式的成像单元中的成像光学系统的示例的说明图；
[图9B]是示意性示出根据实施方式的成像单元中的成像光学系统的示例的说明图；
[图10A]是示意性示出根据实施方式的成像单元中的成像光学系统的示例的说明图；
[图10B]是示意性示出根据实施方式的成像单元中的成像光学系统的示例的说明图；
[图11]是示出根据实施方式的图像获取系统中的算法处理单元的配置示例的框图；
[图12]是用于描述在根据实施方式的算法处理单元中执行的图像处理方法的说明图；
[图13]是示出根据实施方式的算法处理单元的硬件配置的示例的框图；
[图14]是示出根据实施方式的图像获取方法的流程的示例的流程图；
[图15]是用于描述示例的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施方式。在本说明书和附图中，具有基本相同功能配置的组件将由相同的附图标记表示，以省略重叠的描述。
注意，将按以下顺序提供描述。
1.由本发明人进行的检查
2.实施方式
2.1图像获取系统的总体配置
2.2图像获取系统中光源单元和成像单元的配置
2.3光源单元的详细配置示例
2.4成像单元的详细配置示例
2.5算法处理单元的配置示例
2.6算法处理单元的硬件配置示例
2.7图像获取方法
2.8结论
3.示例
(由本发明人进行的检查)
在描述根据本公开的实施方式的图像获取系统和图像获取方法之前，下面将简要描述由本发明人进行的检查的内容，以实现能够获取发光图像而不会导致发光图像的信噪比降低的技术。
如上所述，以下技术已经受到关注，其中，利用与试剂反应的激发光照射施用试剂的患者，并且观察从试剂发射的光(例如，荧光)，以支持医生的外科手术或诊断。例如，一种被称为5-氨基乙酰丙酸(5-ALA)的发光剂仅被肿瘤细胞吸收并沉积在肿瘤细胞中，并被代谢为原卟啉IX(PPIX)，这是一种荧光物质。当暴露在蓝紫色(405nm)光下时，PPIX发出红色(640nm)荧光，这对于脑外科手术中的术中确定是有用的。近年来，用于脑外科、眼科、心脏外科等的手术显微镜通常具有如上所述的荧光观察功能，并且已经开发了具有荧光观察功能的手术内窥镜，例如，刚性内窥镜或柔性内窥镜。
传统上，在手术显微镜或手术内窥镜中，各种灯光源(例如，氙灯和卤素灯)和单个光源(例如，白色LED光源)主要用作照明光源。因此，例如，为了增加荧光观察功能，需要用滤光器等从单个光源提取用于产生荧光的激发光，或者重新多路复用激发光。此外，由于来自发光剂的荧光是非常弱的光，所以通常关闭普通照明，例如，无影灯，并且仅使用激发光进行荧光观察。在这种情况下，因为获取了仅荧光发光的图像，所以可以观察到感兴趣的部分，但是由于背景变暗，所以难以执行外科手术。
以下两种方法可以被认为是医生等在观察从感兴趣部分发出的光(例如，荧光)的同时进行外科手术的解决方案。第一种方法是以时分方式获取图像的方法，第二种方法是从感兴趣的部分分离光(光通量)的方法。
在作为第一种方法的时分方法中，用于正常观察(例如，在无影灯下使用正常可见光观察感兴趣的部分)的正常光和激发光在时间轴上交替快速辐射。然后，交替捕捉通过使用正常光捕捉的正常观察图像和通过捕捉由激发光从发光剂产生的荧光获取的荧光观察图像。此后，通过组合所获取的正常观察图像和荧光观察图像来获取合成图像，并且显示所获取的合成图像。
然而，在如上所述的时分方法中，由于成像装置(例如，相机)中的快门速度与来自光源的正常光或激发光的发射相关联，因此发生光闪烁，并且用户(例如，医生)遭受压力。为了防止这种光的闪烁，需要以用户不受闪烁干扰的高速闪烁光，并且使光的高速闪烁与成像装置的快门同步，这在技术上是困难的。
此外，在这种时分方法中，由于交替捕捉正常观察图像和荧光观察图像，所以帧速率降低。当帧速率降低时，在这种移动很快的情况下，难以跟随观察目标的移动，这可能妨碍外科手术(例如，止血)中的快速响应。
另一方面，在作为第二种方法的光通量分离方法中，准备两个或更多个图像传感器，并且一个图像传感器是用于从发光剂捕捉荧光图像的专用元件。在这种情况下，如前所述，在发光剂是发荧光并被可见光波长带的光以外的光(更具体地，近红外光)激发的试剂(例如，ICG)的情况下，通过多路分用作为背景图像的正常观察图像和具有荧光波长的荧光观察图像，同时观察成为可能。
然而，即使当使用上述光通量分离方法时，在从发光剂发射的光的波长属于可见光波长带的情况下，图像传感器接收照明光和从发光剂发射的光混合的光。结果，在发光图像(例如，荧光图像)中，信噪比(S/N比)可降低。
如上所述，在这种情况下，即使在从发光剂发射的光的波长属于可见光波长带的情况下，在能够获取发光图像而不会导致发光图像的信噪比降低的技术方面仍有改进的空间。
为了克服这种情况，本发明人进行了勤奋的研究，结果，基于以下想法：即使在从发光剂发射的波长属于可见光波长带的情况下，也可以通过使用光通量分离方法而不会导致发光图像的信噪比降低，通过使用特定的光源和特定的成像装置并适当地控制光源和成像装置的操作状态，获取发光图像，来实现如下详细描述的本技术。
由于下面详细描述的本技术采用光通量分离方法，所以在采用时分方法的情况下不会出现上述现象，并且可以提高作为用户的医生的便利性。此外，在下面详细描述的本技术中，虽然采用了光通量分离方法，但是通过控制光源和使用特定的成像光学系统，可以分离从发光剂发射的光。结果，即使在从发光剂发射的光的波长属于可见光波长带的情况下，也可以在不导致发光图像的信噪比降低的情况下获取发光图像。
在下文中，将详细描述基于上述想法实现的根据本公开实施方式的图像获取系统和图像获取方法。
(实施方式)
<图像获取系统的总体配置>
在下文中，首先，将参考图1简要描述根据本公开的实施方式的图像获取系统的总体配置。图1是示意性示出根据本实施方式的图像获取系统的整体配置的说明图。
在根据本实施方式的图像获取系统1中，预先向其中引入发射具有属于可见光波长带的波长的光的发光剂(例如，各种荧光试剂或磷光试剂)LR的样本是观察目标S，并且通过捕捉观察目标S的图像来获取观察目标S的捕捉图像。
在此处，由根据本实施方式的图像获取系统1观察的观察目标S没有特别限制，并且可以引入各种发光剂的各种已知样本可以是观察目标。这种观察目标S的示例包括由活生物体(例如，人类)的器官代表的各种活组织。
此外，预先引入到观察目标S中的发光试剂LR没有特别限制，并且可以使用各种已知的发光试剂，只要它们包含发射具有属于可见光波长带的波长的光的物质。例如，发射波长属于可见光波长带的荧光的荧光试剂的示例包括荧光素、5-氨基乙酰丙酸(5-ALA)和他拉泊芬(Laserphyrin)。假设至少一种上述发光试剂被预先引入到在本实施方式中聚焦的观察目标S中。
如上所述获取观察目标S的捕捉图像的图像获取系统1包括光源单元10、成像单元20和算法处理单元30，如图1中示意性示出的。
光源单元10是在算法处理单元30的控制下用预定照明光照射观察目标S的单元。成像单元20是在算法处理单元30的控制下捕捉用来自光源单元10的照明光照射的观察目标S的一部分的图像并生成多个预定类型的捕捉图像的单元。算法处理单元30是控制光源单元10和成像单元20的操作状态的单元，并且通过使用从成像单元20获取的多种类型的捕捉图像来生成聚焦的观察目标S的捕捉图像。
在下文中，将详细描述根据本实施方式的图像获取系统1中包括的光源单元10、成像单元20和算法处理单元30中的每一个。
<光源单元和成像单元的配置>
接下来，将参考图2描述根据本实施方式的光源单元10和成像单元20的配置。图2是示意性示出根据本实施方式的图像获取系统中的光源单元和成像单元的配置的说明图。
如图2示意性所示，根据本实施方式的光源单元10包括第一窄带光源101、第二窄带光源103和宽带光源105。
第一窄带光源101发射用于激发观察目标S中存在的发光剂LR的第一窄带光，第二窄带光源103发射波长带在发光剂LR的峰值发光波长的±30nm内的第二窄带光。此外，宽带光源105发射用于照射观察目标的宽带光，该宽带光处于比第一窄带光和第二窄带光更宽的波长带中。
此外，如图2示意性所示，根据本实施方式的成像单元20包括第一图像传感器201和第二图像传感器203。
在第一图像传感器201上形成包括与从发光剂LR发射的光对应的波长的发光波长带中的光的图像，并且生成通过捕捉发光波长带中的光而获取的捕捉图像(第一捕捉图像)。此外，第二图像传感器203包括一个或多个图像传感器。在第二图像传感器203上形成不同于上述发光波长带的波长带中的光的图像，并且生成通过捕捉波长带中的光而获取的捕捉图像(第二捕捉图像)。
在根据本实施方式的图像获取系统1中，将从第一图像传感器201获取的第一捕捉图像和从第二图像传感器203获取的第二捕捉图像彼此组合，以获取与观察目标S相关的捕捉图像。
如上所述，在根据本实施方式的图像获取系统1中，使用满足特定条件的窄带光源和宽带光源组合的特定光源，并且提供其上形成发光波长带中的光的图像的第一图像传感器和其上形成除发光波长带之外的波长带中的光的图像的第二图像传感器。结果，即使在从发光剂LR发射的光的波长属于可见光波长带的情况下，根据本实施方式的图像获取系统1也可以获取发光图像，而不会导致发光图像的信噪比降低。
即，在根据本实施方式的图像获取系统1中，第一图像传感器201和第二图像传感器203在一个成像时间一起操作，并且在每个图像传感器中生成捕捉图像。在此处，在根据本实施方式的图像获取系统1中，在第一图像传感器201上形成发光波长带中的光的图像，该发光波长带包括与从被聚焦的发光剂LR发射的光(例如，荧光或磷光)对应的波长，并且在第二图像传感器203上形成具有属于其他波长带的波长的光的图像。此外，在根据本实施方式的图像获取系统1中，第二窄带光源103被设置为发射波长带在被聚焦的发光剂LR的峰值发光波长的±30nm内的第二窄带光。
在使用可见光代替从用于被聚焦的观察目标S的发光剂LR发射的光来执行正常观察的情况下，在第一图像传感器201上形成发光波长带中的光(换言之，第二窄带光)的图像，并且在第二图像传感器203上形成波长在发光波长带之外的波长带中的光(例如，波长不同于第二窄带光的宽带光)的图像。因此，通过组合从第一图像传感器201获取的第一捕捉图像和从第二图像传感器203获取的第二捕捉图像，可以对每个捕捉图像中缺失的波长带中的光进行插值，结果，可以获取与执行正常观察(例如，在无影灯下用正常可见光观察感兴趣部分)的情况类似的彩色捕捉图像。
此外，在针对聚焦的观察目标S观察到从发光剂LR发射的光的情况下，在第一图像传感器201上形成从发光剂LR发射的光的图像，并且在第二图像传感器203上形成波长在发光波长带之外的波长带中的光(即，波长不同于从发光剂LR发射的光的波长的光)的图像。在从第一图像传感器201获取的第一捕捉图像中，仅形成从发光剂LR发射的光的图像，因此，第一捕捉图像的信噪比(S/N比)不降低。此外，通过组合从第一图像传感器201获取的第一捕捉图像和从第二图像传感器203获取的第二捕捉图像，可以获取其中叠加了从发光剂LR发射的光的观察目标S的彩色捕捉图像。
结果，即使在从发光剂LR发射的光的波长属于可见光波长带的情况下，根据本实施方式的图像获取系统1也可以获取发光图像，而不会导致发光图像的信噪比降低。
注意，第二窄带光源103优选地发射波长带在聚焦在发光剂LR的峰值发光波长的±10nm内的第二窄带光，更优选发射波长带在峰值发光波长的±5nm内的第二窄带光。通过使用发射这种第二窄带光的第二窄带光源103，即使在从发光剂LR发射的光的波长属于可见光波长带的情况下，也可以更可靠地获取发光图像，而不会导致发光图像的信噪比降低。
<光源单元10的详细配置示例>
在此处，用作第一窄带光源101和第二窄带光源103的窄带光源没有特别限制，并且各种已知的窄带光源可以彼此独立地用作第一窄带光源101和第二窄带光源103。这种窄带光源的示例包括各种激光光源、半导体激光光源、发光二极管等。通过使用这种窄带光源，可以更容易地实现根据本实施方式的第一窄带光源101或第二窄带光源103。
此外，用作宽带光源105的宽带光源没有特别限制，并且可以使用各种已知的宽带光源。作为这样的宽带光源，例如，可以使用各种灯光源、发光二极管和荧光材料激发光源。通过使用这种宽带光源，可以更容易地实现根据本实施方式的宽带光源105，并且例如可以容易地实现宽带白光。
在根据本实施方式的图像获取系统1中，优选地，具有预定色温和色坐标的光用作照明观察目标S的照明光，通过将上述第一窄带光和第二窄带光中的至少一者与上述宽带光进行至少多路复用来获得该光。通过使用具有预定色温和色坐标的光作为照明光，可以更容易地获取与观察目标S相关的正常颜色捕捉图像或其中叠加了从发光剂LR发射的光的观察目标S的颜色捕捉图像。
此外，在根据本实施方式的图像获取系统1中，更优选地，如上所述的照明光是白光。通过使用白光作为照明光，可以更容易地获取彩色捕捉图像，该图像类似于用正常可见光观察感兴趣部分的图像，例如，在无影灯下。
在此处，更优选地，具有预定色温和色坐标的光是具有如下所述的色温和色坐标的白光，通过将上述第一窄带光和第二窄带光中的至少一者与上述宽带光至少多路复用来获得该光。即，更优选地，光是通过多路复用窄带光和宽带光获取的白光，使得色温在5000K以上并且6500K以下的范围内，并且色坐标(X，Y)在X:0.3以上且0.4以下，并且在Y:0.3以上且0.4以下的范围内。当色温和色坐标在上述范围内时，可以实现更好的白光，并且可以更容易地获取更好的彩色捕捉图像。
在根据本实施方式的图像获取系统1中，优选地，彼此独立地驱动如上所述的第一窄带光源101、第二窄带光源103和宽带光源105，以控制强度。通过彼此独立地驱动第一窄带光源101、第二窄带光源103和宽带光源105，可以更容易地实现具有如上所述的色温和色坐标的照明光。
此外，优选地，在根据本实施方式的图像获取系统1中，将包括发射蓝光的至少蓝色窄带光源、发射绿光的绿色窄带光源和发射红光的红色窄带光源作为窄带光源，并且将蓝色窄带光源、绿色窄带光源和红色窄带光源中的至少一者被配置为用作上述第一窄带光源101和/或第二窄带光源103。当根据本实施方式的图像获取系统1至少包括如上所述的蓝色窄带光源、绿色窄带光源和红色窄带光源时，可以更容易地实现如上所述的具有色温和色坐标的白光。此外，除了具有如上所述的色温和色坐标的白光之外，还可以增加色温和色坐标的可行组合的数量。
在使用如上所述的光源的光源单元10中，在未观察到从发光剂LR发射的光的情况下，优选地，具有如上所述的预定色温和色坐标的光用作照明光，通过多路复用第一窄带光和第二窄带光中的至少一者与宽带光来实现该光。此外，在使用如上所述的光源的光源单元10中，在观察到从发光剂LR发射的光的情况下，优选地，具有预定色温和色坐标的光用作照明光，通过抑制第二窄带光的强度并且增加或减少第一窄带光和宽带光的强度来实现该光。
与从窄带光源发射的窄带光的强度相比，从发光剂LR发射的光的强度(无论是荧光还是磷光)都非常弱。因此，在观察到从发光剂LR发射的光的情况下，优选地，如上所述抑制第二窄带光的强度。结果，可以更可靠地在第一图像传感器201上形成从发光剂LR发射的光的图像。此外，当观察到从发光剂LR发射的光时，优选地，通过增加或减少第一窄带光和宽带光的强度来实现如上所述的具有预定色温和色坐标的光。通过这样做，可以获取彩色捕捉图像(背景图像)，该图像类似于用正常可见光观察感兴趣部分的图像，例如，在无影灯下。
注意，在观察到从发光剂LR发射的光的情况下，优选地，关闭第二窄带光源103，或控制第二窄带光源103使得驱动电压低于第二窄带光的振荡阈值电压。结果，可以更可靠地抑制第二窄带光的强度，并且更可靠地在第一图像传感器201上形成从发光剂LR发射的光的图像。除了如上所述的控制之外，例如，可以控制第二窄带光源103的驱动电压，使得第二窄带光的强度是从发光剂LR发射的光的强度的1/100或更小。
[光源单元10的具体示例]
下面，将参考图3至图7更详细地描述在例如5-ALA用作发光剂LR的情况下根据本实施方式的图像获取系统1中的光源单元10。通过使用如下所述的光源单元10，即使在观察从5-ALA发射的光(荧光)的情况下，也可以容易地获取背景图像和荧光图像在信噪比(S/N比)高的状态下叠加的图像。
图3是示意性示出根据本实施方式的图像获取系统中的光源单元的配置示例的说明图。图4是示意性示出根据本实施方式的光源单元中的多路复用光学系统的示例的说明图。图5是示出根据本实施方式的光源单元中从W光源发射的宽带光的光谱的示例的曲线图。图6和图7是示出从根据本实施方式的光源单元发射的照明光的光谱的示例的曲线图。
当用波长为405nm的激发光照射时，作为发光剂LR的5-ALA发射波长为640nm的荧光(红色荧光)。在从5-ALA观察荧光的情况下，在光源单元10中，白色光源(W光源)105A被设置为宽带光源105，如图3中示意性示出的。此外，在光源单元10中，红色光源(R光源)111A、绿色光源(G光源)111B和蓝色光源(B光源)111C被设置为窄带光源，并且蓝紫色光源(V光源)111D被设置为发射波长为405nm的激发光以激发5-ALA的光源。
在此处，作为W光源105A，可以使用白光发光二极管(WLED)。此外，作为R光源111A，可以使用GaInP量子阱结构激光二极管，并且作为G光源111B、B光源111C和V光源111D，可以使用GaInN量子阱结构激光二极管。
注意，由于作为发光剂LR的5-ALA的荧光波长为640nm，所以分别从G光源111B和B光源111C发射的绿光和蓝光的波长没有特别规定，并且可以使用具有各种已知波长的光。例如，从G光源111B发射的绿光的波长可以是525nm，从B光源111C发射的蓝光的波长可以是445nm。然而，在根据本实施方式的光源单元10中，从R光源111A发射的红光的波长在640nm的峰值荧光波长的±30nm(即，610nm至670nm)的范围内，优选地，在640nm的峰值荧光波长的±10nm(即，630nm至650nm)的范围内，并且更优选地，在640nm的峰值荧光波长的±5nm(即，635nm至645nm)的范围内。
在如上所述通过使用各种窄带光源111A至111D和W光源105A执行正常观察的情况下，操作窄带光源111A至111D(或窄带光源111A至111C)和W光源105A。此外，在从5-ALA观察荧光的情况下，抑制R光源111A的输出，并且G光源111B、B光源111C和W光源105A的输出增加或减少，使得通过使用来自G光源111B、B光源111C和W光源105A的光来实现具有预定色温和色坐标的白光。此外，V光源111D作为激发光操作。即，在从5-ALA观察荧光的情况下，V光源111D用作第一窄带光源101。
如图3示意性所示，从各个光源发射的光被多路复用光学系统113多路复用，以实现照明光，并且照明光学系统115用照明光照射观察目标S的期望部分。
图4示意性地示出了根据本实施方式的光源单元10中的多路复用光学系统113的示例。在图4所示的多路复用光学系统113中，首先多路复用从各个窄带光源111A至111D发射的光，然后多路复用从W光源105A发射的白光。
从各个窄带光源和紫外光源发射的光被设置在光轴上的准直透镜C1准直。从R光源111A发射的红光被反射镜M以90°反射，透射通过分色镜DM1、分色镜DM2、分色镜DM3和分色镜DM4中的每一个，并被聚光透镜L收集。此时，红光通过分色镜DM1与从G光源111B发射的绿光多路复用，通过分色镜DM2与从B光源111C发射的蓝色波长多路复用，通过分色镜DM3与从V光源111D发射的蓝紫色光多路复用，并通过分色镜DM4与从W光源105A发射的白光多路复用。
在此处，分色镜DM1具有透射具有红色波长的光并反射具有绿色波长的光的光学特性，分色镜DM2具有透射具有红色波长的光和具有绿色波长的光并反射具有蓝色波长的光的光学特性。此外，分色镜DM3具有透射具有红色波长的光、具有绿色波长的光和具有蓝色波长的光并反射具有蓝紫色波长的光的光学特性，并且分色镜DM4具有透射具有红色波长的光、具有绿色波长的光、具有蓝色波长的光和具有蓝紫色波长的光并反射具有不同于这些波长的光的光学特性。
例如，在从W光源105A发射的白光的光谱如图5所示的情况下，当执行正常观察时，最终用作照明光的光的光谱如图6所示，并且当观察来自5-ALA的荧光时，如图7所示。注意，图6和图7示出了穿过设置在成像单元20的成像光学系统中的激发光截止滤光器之后的光谱，因此不包括蓝紫光。
从比较图6和图7所示的光谱可以清楚地看出，当进行荧光观察时，抑制来自R光源111A的光的强度，并且分别从G光源111B、B光源111C和W光源105A发射的光的强度比增加或减少。在图6中，由于执行控制，使得红光、绿光、蓝光和白光的光量比变为(0.25:0.4:0.3:0.5)，所以实现了具有如上所述的色温和色坐标的白光。此外，在图7中，由于执行控制，使得红光、绿光、蓝光和白光的光量比变为(0:0.4:0.5:1)，所以实现了具有如上所述的色温和色坐标的白光。
在根据本实施方式的光源单元10中，不仅使用窄带光源，而且使用宽带光源(W光源105A)，使得即使在抑制R光源111A的光量的情况下，属于来自R光源111A的光附近的波长带的光也从宽带光源(W光源105A)发射。因此，即使在抑制R光源111A的光量的情况下，也可以通过使用来自G光源111B、B光源111C和W光源105A的光来实现具有如上所述的色温和色坐标的白光。
注意，多路复用光学系统113的配置不限于图4所示的配置，并且可以采用各种已知的多路复用方法。可以采用面对面多路复用方法，或者可以采用其他方法。
在后续阶段提供的照明光学系统115利用通过多路复用光学系统113执行的多路复用而获取的照明光照射观察目标S的期望部分，以便具有期望的色温和色坐标。照明光学系统115通过使用已知光学元件(例如，各种透镜或反射镜)来配置，并且没有特别限制，并且可以适当地采用各种已知光学系统。例如，在根据本实施方式的图像获取系统1安装在医用内窥镜上的情况下，可以采用设置在医用内窥镜单元中的各种已知的内窥镜光学系统，作为照明光学系统115，并且在根据本实施方式的图像获取系统1安装在医用显微镜上的情况下，可以采用设置在医用显微镜单元中的各种已知的显微镜光学系统，作为照明光学系统115。
在上文中，已经参考图3至图7详细描述了光源单元10的具体示例。
注意，在荧光素用作发光剂LR的情况下，荧光素被波长为445nm的光激发并发射波长为520nm的荧光(绿色荧光)。因此，在使用荧光素的情况下，通过将从B光源111C发射的蓝光的波长设置为445nm，B光源111C用作第一窄带光源101。此外，从用作第二窄带光源103的G光源111B发射的绿光的波长在520nm的峰值荧光波长的±30nm(即，490nm至550nm)的范围内，优选地，在520nm的峰值荧光波长的±10nm(即，510nm至530nm)的范围内，并且更优选地，在520nm的峰值荧光波长的±5nm(即，515nm至525nm)的范围内。然后，当执行正常观察时，操作R光源111A、G光源111B、B光源111C和W光源105A，并且当执行荧光观察时，抑制G光源111B的输出，并且R光源111A、B光源111C以及W光源105A的输出增加或减少，从而通过使用来自R光源111A、B光源111C和W光源105A的光来实现具有预定色温和色坐标的白光。
类似地，即使在Laserphyrin用作发光剂LR的情况下，也可以提供发射适当激发光的光源作为第一窄带光源101，并且从窄带光源发射的光的波长可以在Laserphyrin的峰值荧光波长的±30nm范围内，该窄带光源发射与来自Laserphyrin的荧光对应的光。
此外，即使在组合使用多个发光剂LR的情况下，考虑到每个发光剂LR的激发波长和峰值发光波长，可以适当地提供用作激发光的第一窄带光源101，并且从用作第二窄带光源103的窄带光源发射的窄带光的波长可以在峰值发光波长的±30nm的范围内。
<成像单元20的详细配置示例>
下面，将参考图8至图10B详细描述在例如5-ALA用作发光剂LR的情况下根据本实施方式的图像获取系统1中的成像单元20。
图8是示意性示出根据本实施方式的图像获取系统中的成像单元的配置示例的说明图。图9A至10B是示意性示出根据本实施方式的成像单元中的成像光学系统的示例的说明图。
如图8所示，根据本实施方式的成像单元20至少包括第一图像传感器201和第二图像传感器203。此外，优选地，根据本实施方式的成像单元20还包括成像光学系统211，用于将来自观察目标S的光引导至第一图像传感器201和第二图像传感器203。通过进一步包括这种成像光学系统211，可以更可靠地在第一图像传感器201和第二图像传感器203上形成来自观察目标S的光的图像。
在此处，用作第一图像传感器201和第二图像传感器203的图像传感器不受特别限制，例如，可以使用各种已知的图像传感器，例如，互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)传感器。
此外，用作第一图像传感器201和第二图像传感器203的图像传感器优选地是用于利用例如拜耳阵列进行彩色成像的图像传感器。此外，在一些情况下，也可以使用用于单色成像的图像传感器，作为用作第一图像传感器201的图像传感器。
在根据本实施方式的成像单元20中，如前所述，从第一图像传感器201获取的第一捕捉图像是通过捕捉对应于从发光剂LR发射的光的波长带(即，发光波长带)中的图像而获取的图像，并且从第二图像传感器203获取的第二捕捉图像是通过捕捉波长带(即，除了发光波长带之外的波长带)中的图像而获取的图像，该波长带不包括对应于从发光剂LR发射的光的波长。
优选地设置在根据本实施方式的成像单元20中的成像光学系统211是用于将来自观察目标S的光引导至第一图像传感器201和第二图像传感器203的光学系统。作为成像光学系统211，例如，可以适当地使用在医用显微镜单元、医用内窥镜单元等中提供的各种光学系统。
此外，优选地，根据本实施方式的成像光学系统211还包括分支光学系统，该分支光学系统使得来自观察目标S的光分支成发光波长带中的光和除发光波长带之外的波长带中的光。由于成像光学系统211还包括如上所述的分支光学系统，所以来自观察目标S的光可以更可靠地分成发光波长带中的光和除发光波长带之外的波长带中的光，可以进一步提高从第一图像传感器201和第二图像传感器203中的每一个获取的捕捉图像的信噪比。
成像光学系统的示例在图9A和9B中示出。在图9A中，激发光截止滤光器CF和用作分支光学系统的分色镜DM11被设置为构成成像光学系统211的光学元件。
根据需要，在根据本实施方式的图像获取系统1中提供激发光截止滤光器CF，以便在观察到从发光剂LR发射的光的情况下，防止从第一窄带光源101发射的激发光被引导到第一图像传感器201和第二图像传感器203。优选地，激发光截止滤光器CF被设置为可从成像光学系统211的光路中拆卸，并且根据需要被设置在光路上。这种激发光截止滤光器CF没有特别限制，并且可以适当地使用各种已知的波长选择滤光器等。
此外，在图9A所示的示例中，在用作分支光学系统的分色镜DM11中，提供波长选择滤光器，该波长选择滤光器具有反射属于发光波长带的光以使光的图像形成在第一图像传感器201上并且透射属于除发光波长带之外的波长带的光以使光的图像形成在第二图像传感器203上的光学特性。例如，在使用5-ALA作为发光剂LR的情况下，分色镜DM11中提供的波长选择滤光器具有反射作为5-ALA的荧光波长的640nm附近的光(例如，640nm±10nm范围内的光)并透射其他波长带中的光的光学特性。
此外，在根据本实施方式的成像光学系统211中，例如，如图9B所示，可以使用包括多个棱镜的分色棱镜PR来代替分色镜DM11。在颜色分离棱镜PR中，波长选择滤光器FL1设置在位于光路上游侧的第一位置的棱镜和位于第二位置的棱镜之间的接合表面上，并且波长选择滤光器FL1具有与图9A中相同的光学特性。通过使用如图9B所示的一个分色棱镜PR作为分支光学系统，可以使用多达三个图像传感器，并且将来自观察目标S的光分成三个光通量。
此外，在根据本实施方式的成像光学系统211中，用作第二图像传感器203的图像传感器可以由一个图像传感器或多个图像传感器构成。如图10A所示，例如，当使用两个分色镜DM11和DM13时，通过使用分色镜DM13，对于用作第二图像传感器203的图像传感器203A和203B中的每一个，可以进一步分离除发光波长带之外的波长带中的光。
此外，如图10B所示，在颜色分离棱镜PR中，当从光路的上游侧观察时，由于波长选择滤光器FL2进一步设置在位于第二位置的棱镜和位于第三位置的棱镜之间的接合表面上，所以对于用作第二图像传感器203的图像传感器203A和203B中的每一个，可以进一步分离除发光波长带之外的波长带中的光。
以这种方式，通过使用多个分色镜或通过使用其中组合了多个棱镜的分色棱镜，可以将来自观察目标S的光分成三个或更多个光路。结果，例如，在同时观察从多个发光剂LR发射的光的情况下，可以分离从多个发光剂LR发射的光，并允许不同的图像传感器通过适当调整波长选择滤光器的光学特性来捕捉光的图像。
在根据本实施方式的成像单元20中，用作第一图像传感器201的图像传感器和用作第二图像传感器203的图像传感器根据从被聚焦的发光剂LR发射的光的波长而改变。因此，例如，在如图10A所示的成像单元20中，对于某种发光剂LR1，由附图标记201表示的图像传感器用作第一图像传感器，但是对于另一种发光剂LR2，由附图标记203A表示的图像传感器可以用作第一图像传感器。
在上文中，已经参考图8至10B详细描述了根据本实施方式的成像单元20。
<算法处理单元的配置示例>
接下来，将参考图11和图12描述根据本实施方式的图像获取系统1中包括的算法处理单元30的配置的示例。图11是示出根据本实施方式的图像获取系统中的算法处理单元的配置示例的框图，图12是用于描述根据本实施方式的算法处理单元中执行的图像处理方法的说明图。
根据本实施方式的算法处理单元30综合控制光源单元10和成像单元20的操作状态。此外，根据本实施方式的算法处理单元30使用从成像单元20输出的两种类型的捕捉图像(第一捕捉图像和第二捕捉图像)来生成与观察目标S相关的捕捉图像，并将获取的捕捉图像提供给图像获取系统1的用户。
如图11示意性所示，具有这种功能的算法处理单元30主要包括成像处理控制单元301、数据获取单元303、图像处理单元305、输出控制单元307、显示控制单元309和存储单元311。
成像处理控制单元301由例如中央处理单元(CPU)、只读存储器(ROM)、随机存取存储器(RAM)、输入装置、通信装置等实现。成像处理控制单元301是根据作为用户的医生等执行的输入操作来控制光源单元10和成像单元20的操作状态的处理单元。
例如，成像处理控制单元301可以控制设置在光源单元10中的每个光源，以控制每个光源的开/关状态或从每个光源发射的光的强度(光量)。可以例如通过控制施加到每个光源的驱动电压的大小来实现光源的这种控制。结果，成像处理控制单元301可以实现如上所述的具有预定色温和色坐标的照明光。注意，当控制光源单元10时，成像处理控制单元301优选地彼此独立地控制作为光源单元10提供的每个光源的操作状态，如上所述。
此外，成像处理控制单元301可以控制成像单元20中提供的每个图像传感器的操作状态，以执行各种控制，例如，来自光源单元10的照明光的照射时间和成像单元20中每个图像传感器的成像时间之间的同步。此外，成像处理控制单元301可以适当地控制成像单元20中提供的每个图像传感器的增益、白平衡等，以实现期望的状态。结果，每个图像传感器可以生成具有更好信噪比的捕捉图像。
除了上述控制之外，成像处理控制单元301可以执行能够针对光源单元10和成像单元20执行的各种已知控制。
另外，成像处理控制单元301可以适当地向数据获取单元303或图像处理单元305输出指示光源单元10和成像单元20的操作状态的信息。结果，在数据获取单元303或图像处理单元305中，可以容易地确定从哪个图像传感器获取第一捕捉图像、从哪个图像传感器获取第二捕捉图像等。
数据获取单元303由例如CPU、ROM、RAM、通信装置等实现。数据获取单元303获取从成像单元20中提供的各个图像传感器输出的捕捉图像(即，第一捕捉图像和第二捕捉图像)的数据。从各个图像传感器输出的捕捉图像的数据被输出到在后续阶段提供的图像处理单元305，由数据获取单元303获取该数据。此外，数据获取单元303将从成像单元20输出的各个捕捉图像的数据与获取数据时的日期和时间相关的时间信息相关联，并将其作为历史信息存储在后续阶段提供的存储单元311等中。
图像处理单元305由例如CPU、图形处理单元(GPU)、ROM、RAM等实现。图像处理单元305通过使用从用作第一图像传感器201的图像传感器输出的第一捕捉图像和从用作第二图像传感器203的图像传感器输出的第二捕捉图像来生成与观察目标S相关的捕捉图像。更具体地，如图12中示意性示出的，图像处理单元305通过将第一捕捉图像和第二捕捉图像彼此组合来生成与观察目标S相关的捕捉图像，第一捕捉图像是在对应于从发光剂发射的光的波长带(发光波长带)中的捕捉图像，第二捕捉图像是在除了对应于从发光剂发射的光的波长带以外的波长带中的捕捉图像。由于第一图像传感器201和第二图像传感器203捕捉观察目标S的相同视场的图像，因此可以通过将第一捕捉图像和第二捕捉图像彼此组合来容易地生成合成图像。
例如，在将5-ALA作为发光剂LR引入观察目标S并且用户指示执行正常观察时的操作的情况下，仅在用作第二图像传感器203的图像传感器上形成不在红色波长带中的波长分量的图像。因此，在仅使用从第二图像传感器203获取的第二捕捉图像的情况下，不能生成正确的彩色图像。然而，尽管仅用红色波长带CMOS1中的信号不能显影正确的彩色图像，但是红色波长带中的分量的图像形成在用作第一图像传感器201的图像传感器上。因此，可以通过组合第一捕捉图像和第二捕捉图像来生成正确的彩色图像。更具体地，图像处理单元305通过组合构成第一捕捉图像的R分量的信号和构成第二捕捉图像的G分量和B分量的信号来生成正常颜色捕捉图像。
例如，在将5-ALA作为发光剂LR引入观察目标S并且用户指示进行荧光观察时的操作的情况下，在用作第一图像传感器201的图像传感器上形成5-ALA的荧光图像，并且不形成5-ALA的荧光以外的分量的图像。结果，可以显著提高第一捕捉图像的信噪比。此外，通过如上所述调整照明光的色温和色坐标，可以从用作第二图像传感器203的图像传感器获取与执行正常观察时等效的背景图像。因此，通过组合第一捕捉图像和第二捕捉图像，可以获取其中叠加了5-ALA的荧光的观察目标S的彩色捕捉图像。
此时，为了使用户更容易识别从发光剂LR发射的光，图像处理单元305可以在将从发光剂LR发射的光的颜色转换成观察目标S中不存在的颜色(例如，在观察目标S是活体组织的情况下为绿色)之后，将捕捉图像与第二捕捉图像组合，而不管发射光的颜色如何。通过这样做，用户可以容易地识别所生成的捕捉图像中存在发射光的部分。
注意，在照明光仅由来自W光源105A的宽带光(白光)构成的情况下，照明光中包括的红色波长带中的分量的图像形成在用作第一图像传感器201的图像传感器上，因此，除了5-ALA的荧光之外，照明光中包括的红色波长带中的分量的图像形成在第一图像传感器201上，这导致第一捕捉图像的信噪比降低。
一旦如上所述生成了与观察目标S相关的捕捉图像，图像处理单元305就将生成的捕捉图像的数据输出到输出控制单元307。此外，图像处理单元305可以将所生成的捕捉图像的数据与诸如数据生成时的日期和时间等时间信息相关联，然后将其作为历史信息存储在存储单元311等中。
输出控制单元307由例如CPU、ROM、RAM、输出装置、通信装置等实现。输出控制单元307控制与观察目标S相关的捕捉图像的数据的输出，捕捉图像由图像处理单元305生成。例如，输出控制单元307可以经由输出装置(例如，打印机)输出与观察目标S相关的捕捉图像的数据，并且向用户提供作为纸介质的输出数据，或者可以将与观察目标S相关的捕捉图像的数据输出到各种记录介质，捕捉图像由图像处理单元305生成。此外，输出控制单元307可以使外部提供的各种信息处理装置(例如，计算机、服务器和处理计算机)输出与观察目标S相关的捕捉图像的数据，捕捉图像由图像处理单元305生成，从而共享图像数据。此外，输出控制单元307可以与显示控制单元309协作，促使诸如图像获取系统1中包括的各种显示器之类的显示装置或者诸如设置在图像获取系统1外部的各种显示器之类的显示装置输出与观察目标S相关的捕捉图像的数据，如下所述，捕捉图像由图像处理单元305计算。
显示控制单元309由例如CPU、ROM、RAM、输出装置、通信装置等实现。显示控制单元309在图像获取系统1中包括的诸如显示器等输出装置或在图像获取系统1外部提供的输出装置上显示与观察目标S相关的捕捉图像或关于捕捉图像的各种信息时执行显示控制，捕捉图像由图像处理单元305生成。结果，图像获取系统1的用户可以当场掌握关于聚焦的观察目标的各种信息。
存储单元311由例如算法处理单元30中包括的RAM或存储装置来实现。存储单元311存储当成像处理控制单元301或图像处理单元305执行各种处理时使用的各种数据库、软件程序等。此外，在存储单元311中，适当地记录由成像处理控制单元301执行的各种控制处理或由图像处理单元305执行的各种图像处理中的各种设置信息、当根据本实施方式的算法处理单元30执行任何处理时需要存储的各种参数、处理的进度等。成像处理控制单元301、数据获取单元303、图像处理单元305、输出控制单元307、显示控制单元309等可以在存储单元311上自由地执行数据读/写处理。
在上文中，已经描述了根据本实施方式的算法处理单元30的功能的示例。上述每个组件可以通过使用通用部件或电路来配置，或者可以通过专用于每个组件的功能的硬件来配置。此外，每个组件的所有功能可以由CPU等来执行。因此，在实现本实施方式时，可以根据技术水平适当地改变要使用的配置。
注意，如上所述，可以创建用于实现根据本实施方式的算法处理单元的每个功能的计算机程序，并将该计算机程序安装在个人计算机等中。此外，可以提供一种其中存储了这种计算机程序的计算机可读记录介质。记录介质的示例包括磁盘、光盘、磁光盘和闪存。此外，上述计算机程序可以经由例如网络分发，而不使用记录介质。
<算法处理单元的硬件配置示例>
接下来，将参考图13详细描述根据本公开实施方式的算法处理单元30的硬件配置。图13是用于描述根据本公开实施方式的算法处理单元30的硬件配置的框图。
算法处理单元30主要包括CPU 901、ROM 903和RAM 905。此外，算法处理单元30还包括主机总线907、桥接器909、外部总线911、接口913、输入装置915、输出装置917、存储装置919、驱动器921、连接端口923和通信装置925。
CPU 901用作算法处理装置或控制装置，并且根据记录在ROM 903、RAM 905、存储装置919或可移动记录介质927中的各种程序来控制算法处理单元30或其一部分中的整体操作。ROM 903存储由CPU 901使用的程序、计算参数等。RAM 905主要存储由CPU 901使用的程序、在程序执行期间适当改变的参数等。这些通过主机总线907彼此连接，主机总线907通过使用内部总线(例如，CPU总线)来配置。
主机总线907经由桥接器909连接到外部总线911，例如，外围组件互连/接口(PCI)总线。
输入装置915是由用户操作的操作装置，例如，鼠标、键盘、触摸面板、按钮、开关或杠杆。此外，输入装置915可以是例如使用红外线或其他无线电波的遥控装置(所谓的遥控器)，或者可以是支持算法处理单元30的操作的外部连接装置929，例如，移动电话或PDA。另外，输入装置915通过使用例如输入控制电路来配置，该输入控制电路基于用户使用上述操作装置输入的信息来生成输入信号，并将输入信号输出到CPU 901。通过操作输入装置915，用户可以向算法处理单元30输入各种数据并指示处理操作。
输出装置917通过使用能够视觉或听觉地向用户通知所获取的信息的装置来配置。这种装置的示例包括显示装置(例如，CRT显示装置、液晶显示装置、等离子显示装置或电致发光显示装置或灯)、音频输出装置(例如，扬声器和耳机)、打印机装置、移动电话或传真机。输出装置917输出例如通过算法处理单元30执行的各种处理获取的结果。具体地，显示装置将通过算法处理单元30执行的各种处理获取的结果显示为文本或图像。另一方面，音频输出装置将由再现的音频数据、声学数据等组成的音频信号转换成模拟信号，并输出该模拟信号。
存储装置919是被配置为算法处理单元30的存储单元的示例的数据存储装置。存储装置919例如通过使用诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置或磁光存储装置等磁存储装置来配置。存储装置919存储由CPU 901执行的程序、各种数据、从外部获取的各种数据等。
驱动器921是用于记录介质的读取器/写入器，并且内置或外部附接到算法处理单元30。驱动器921读取记录在诸如安装的磁盘、光盘、磁光盘或半导体存储器等可移动记录介质927中的信息，并将该信息输出到RAM 905。此外，驱动器921还可以在诸如安装的磁盘、光盘、磁光盘或半导体存储器等可移动记录介质927中写入记录。可移动记录介质927的示例包括DVD介质、HD-DVD介质和蓝光(注册商标)介质。此外，可移动记录介质927可以是紧凑型闪存(CF)(注册商标)、闪存、安全数字(SD)存储卡等。此外，可移动记录介质927可以是例如集成电路(IC)卡或配备有非接触型IC芯片的电子装置。
连接端口923是用于将装置直接连接到算法处理单元30的端口。连接端口923的示例包括通用串行总线(USB)端口、IEEE1394端口和小型计算机系统接口(SCSI)端口。连接端口923的其他示例包括RS-232C端口、光学音频终端和高清多媒体接口(HDMI)(注册商标)端口。通过将外部连接装置929连接到连接端口923，算法处理单元30直接从外部连接装置929获取各种数据，并将各种数据提供给外部连接装置929。
通信装置925例如是通过使用用于连接到通信网络931的通信装置等配置的通信接口。通信装置925例如是用于有线或无线局域网(LAN)、蓝牙(注册商标)、无线USB(WUSB)等的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(ADSL)的路由器、用于各种类型通信的调制解调器等。通信装置925可以根据预定协议(例如，TCP/IP)向例如互联网和另一通信装置发送信号等，并且从其接收信号等。此外，连接到通信装置925的通信网络931通过使用以有线或无线方式连接的网络等来配置，并且可以是例如互联网、家庭LAN、红外通信、无线电波通信或卫星通信。
在上文中，已经描述了能够实现根据本公开实施方式的算法处理单元30的功能的硬件配置的示例。上述每个组件可以通过使用通用元件来配置，或者可以通过专用于每个组件的功能的硬件来配置。因此，在实现本实施方式时，可以根据技术水平适当地改变要使用的硬件配置。
<图像获取方法>
接下来，将参考图14简要描述使用如上所述的图像获取系统1的图像获取方法的流程的示例。图14是示出根据本实施方式的图像获取方法的流程的示例的流程图。
首先，如上所述，用户为图像获取系统1设置观察模式(即，是使用可见光波长带中的照明光执行正常观察还是观察到从发光剂发射的光)(步骤S101)。然后，设置在图像获取系统1的算法处理单元30中的成像处理控制单元301基于设置的观察模式控制光源单元10(步骤S103)，以实现期望状态的照明光。
在算法处理单元30的控制下，图像获取系统1的光源单元10用适合于观察模式的照明光照射观察目标(步骤S105)，并且图像获取系统1的成像单元20在算法处理单元30的控制下捕捉观察目标的图像(步骤S107)。设置在成像单元20中的各个图像传感器向算法处理单元30输出生成的捕捉图像。
图像获取系统1的算法处理单元30组合从各个图像传感器获取的捕捉图像(步骤S109)，以获取与观察目标相关的捕捉图像。然后，算法处理单元30输出获取的与观察目标相关的捕捉图像(步骤S111)。结果，图像获取系统1的用户可以获取与聚焦的观察目标相关的捕捉图像。
如上所述，已经参考图14简要描述了根据本实施方式的图像获取方法的流程的示例。
<结论>
如上所述，通过使用根据本实施方式的图像获取系统和图像获取方法，即使在从发光剂发射的光的波长属于可见光波长带的情况下，也可以获取发光图像，而不会导致发光图像的信噪比降低、导致成像时的帧速率降低并且导致光源闪烁。
此外，在如上所述的根据本实施方式的图像获取系统中，可以在正常观察和观察到从发光剂发射的光之间切换，而不改变系统的硬件配置，因此进一步提高了用户的便利性。
此外，通过如上所述扩展根据本实施方式的图像获取系统的光源单元10和成像单元20的配置，不仅可以执行使用一种发光剂的观察，还可以执行使用多种发光剂的观察。
在使用在照明光和从发光剂发射的光混合的状态下生成的具有低信噪比的捕捉图像的情况下，不能充分发挥发光成像的功能，例如，肿瘤识别和区域识别，因此可能导致医生等的误诊或误判。然而，通过使用根据本实施方式的图像获取系统和图像获取方法，可以同时获取具有优异信噪比的发光图像和正常捕捉图像，因此可以向用户提供具有背景颜色的发光图像。因此，用户可以在观看发光图像的同时执行外科手术，而无需执行诸如屏幕切换和光源切换等操作。此外，由于不需要屏幕切换操作，用户可以注视一个屏幕，这导致用户压力的减少。此外，由于光源切换通常通过硬件切换(例如，滤光器的切换)来执行，因此可以减少装置的组件数量。
此外，通过使用根据本实施方式的图像获取系统，可以使用多种发光剂实现发光成像。结果，可以进行迄今为止不能进行的操作，例如，用ICG进行血管识别并且在用5-ALA识别肿瘤的同时切除肿瘤。
[示例]
接下来，将参考示例具体描述根据本公开的图像获取系统和图像获取方法。应当注意，以下示例仅仅是根据本公开的图像获取系统和图像获取方法的示例，并且根据本公开的图像获取系统和图像获取方法不限于以下示例。
在以下每个示例中，在通过使用如图3所示的包括光源单元10的图像获取系统1来观察从引入到活体组织中的发光剂发射的光的情况下，基于从光源单元10发射的照明光的光谱和设置在成像单元20的分支光学系统中的波长选择滤光器的光学特性来执行模拟，并且验证信噪比提高了多少。
注意，假设红光具有638nm的波长，绿光具有525nm的波长，蓝光具有445nm的波长。此外，假设宽带光是具有图5所示的光谱的白光。另外，即使在只有具有图5所示的光谱的白光用作比较参考的情况下，也进行了类似的模拟。
在以下每个实施方式中，来自荧光剂的荧光强度与背景光强度的比率被视为信噪比，并进行验证。
(示例)
假设设置在成像单元20中的成像光学系统211是如图15所示的成像光学系统，并且对从作为荧光剂的5-ALA观察荧光的情况进行模拟。在此处，假设波长选择滤光器FL1具有在彩色图像传感器B上形成5-ALA的荧光的图像并且在彩色图像传感器A上形成其他波长带的光的图像的光学特性。
此外，假设通过使用上述绿光、蓝光和白光来实现色温为6000K并且色坐标为(X，Y)＝(0.322，0.341)的白光。
模拟结果表明，与仅使用白光的情况相比，与5-ALA的荧光相关的信噪比提高了2.3倍。
如上所述，已经参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于这些示例。对于本公开领域的技术人员来说，显而易见的是，可以在权利要求中描述的技术思想的范围内构思各种修改或变更，并且自然理解，这些修改或变更落入本公开的技术范围内。
此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。即，除了上述效果之外或者代替上述效果，根据本说明书的描述，根据本公开的技术可以表现出对于本领域技术人员来说显而易见的其他效果。
注意，以下配置也落入本公开的技术范围内。
(1)一种图像获取系统，包括：
第一窄带光源，发射用于激发发光剂的第一窄带光，所述发光剂存在于观察目标中并发射具有属于可见光波长带的波长的光；
第二窄带光源，发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光；
宽带光源，发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带更宽的波长带中；
第一图像传感器，在所述第一图像传感器上形成发光波长带中的光的图像，该发光波长带包括与从所述发光剂发射的光对应的波长；以及
第二图像传感器，包括一个或多个图像传感器，在所述一个或多个图像传感器上形成除所述发光波长带之外的波长带中的光的图像，
其中，将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与所述观察目标相关的捕捉图像。
(2)根据(1)所述的图像获取系统，其中，具有预定色温和色坐标的光被用作照明所述观察目标的照明光，通过将所述第一窄带光和所述第二窄带光中的至少一者与所述宽带光进行至少多路复用来获得该光。
(3)根据(2)所述的图像获取系统，其中，在未观察到从所述发光剂发射的光的情况下，具有预定色温和色坐标的光被用作照明光，通过将所述第一窄带光和所述第二窄带光中的至少一者与所述宽带光多路复用来实现该光，并且
在观察到从所述发光剂发射的光的情况下，具有预定色温和色坐标的光被用作照明光，通过抑制所述第二窄带光的强度并且增加或减少所述第一窄带光和所述宽带光的强度来实现该光。
(4)根据(3)所述的图像获取系统，其中，在观察到从所述发光剂发射的光的情况下，关闭所述第二窄带光源，或者控制所述第二窄带光源使得驱动电压低于所述第二窄带光的振荡阈值电压。
(5)根据(3)或(4)所述的图像获取系统，其中，在未观察到从所述发光剂发射的光的情况下，将所述第一捕捉图像和所述第二捕捉图像彼此组合，以输出所述观察目标的彩色捕捉图像，并且
在观察到从所述发光剂发射的光的情况下，所述第一捕捉图像和所述第二捕捉图像彼此组合，以输出其中叠加了从所述发光剂发射的光的所述观察目标的彩色捕捉图像。
(6)根据(2)至(5)中任一项所述的图像获取系统，其中，所述照明光是白光。
(7)根据(2)至(6)中任一项所述的图像获取系统，其中，将所述窄带光和所述宽带光多路复用，使得色温在5000K以上且在6500K以下的范围内，并且所述色坐标(X，Y)在X:0.3以上且0.4以下并且Y:0.3以上且0.4以下的范围内。
(8)根据(2)至(7)中任一项所述的图像获取系统，其中，所述第一窄带光源、所述第二窄带光源以及所述宽带光源被彼此独立地驱动，以控制强度。
(9)根据(1)至(8)中任一项所述的图像获取系统，还包括分支光学系统，所述分支光学系统使得来自所述观察目标的光分支成发光波长带中的光和除发光波长带之外的波长带中的光。
(10)根据(9)所述的图像获取系统，其中，所述分支光学系统包括：波长选择滤光器，使所述发光波长带中的光和除所述发光波长带之外的波长带中的光彼此分离；以及
分色镜和包括多个棱镜的分色棱镜中的至少一者。
(11)根据(1)至(10)中任一项所述的图像获取系统，其中，来自所述观察目标的光的图像经由医学显微镜单元或医用内窥镜单元形成在所述第一图像传感器和所述第二图像传感器上。
(12)根据(1)至(11)中任一项所述的图像获取系统，其中，将至少包括发射蓝光的蓝色窄带光源、发射绿光的绿色窄带光源以及发射红光的红色窄带光源作为所述窄带光源，并且
所述蓝色窄带光源、所述绿色窄带光源和所述红色窄带光源中的至少一者用作所述第一窄带光源和/或所述第二窄带光源。
(13)根据(1)至(12)中任一项所述的图像获取系统，其中，彼此独立地使用激光光源、半导体激光光源或者发光二极管作为所述第一窄带光源和所述第二窄带光源，并且
使用灯光源、发光二极管或者荧光材料激发光源作为所述宽带光源。
(14)根据(1)至(13)中任一项所述的图像获取系统，其中，所述发光剂是荧光素、5-氨基乙酰丙酸(5-ALA)或Laserphyrin中的至少一种。
(15)根据(1)至(14)中任一项所述的图像获取系统，其中，所述观察目标是活体组织。
(16)一种图像获取方法，包括：
利用来自第一窄带光源和第二窄带光源中的至少一者以及宽带光源的照明光来照射观察目标，所述第一窄带光源发射用于激发发光剂的第一窄带光，所述发光剂存在于所述观察目标中并发射具有属于可见光波长带的波长的光，所述第二窄带光源发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光，所述宽带光源发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带宽的波长带中；
由第一图像传感器和第二图像传感器中的每一个接收来自所述观察目标的光，在所述第一图像传感器上形成发光波长带中的光的图像，该发光波长带包括与从所述发光剂发射的光对应的波长，在第二图像传感器上形成除发光波长带之外的波长带中的光的图像；并且
将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与观察目标相关的捕捉图像。
附图标记列表
1 图像获取系统
10 光源单元
20 成像单元
30 算法处理单元
101 第一窄带光源
103 第二窄带光源
105 宽带光源
111 窄带光源
113 多路复用光学系统
115 照明光学系统
201 第一图像传感器
203 第二图像传感器
211 成像光学系统
301 成像处理控制单元
303 数据获取单元
305 图像处理单元
307 输出控制单元
309 显示控制单元
S 观察目标
LR 发光剂。

Claims (16)

1.一种图像获取系统，包括：
第一窄带光源，发射用于激发发光剂的第一窄带光，所述发光剂存在于观察目标中并发射具有属于可见光波长带的波长的光；
第二窄带光源，发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光；
宽带光源，发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带更宽的波长带中；
第一图像传感器，在所述第一图像传感器上形成包括与从所述发光剂发射的光对应的波长的发光波长带中的光的图像；以及
第二图像传感器，包括一个或多个图像传感器，在所述一个或多个图像传感器上形成除所述发光波长带之外的波长带中的光的图像，
其中，将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与所述观察目标相关的捕捉图像。
2.根据权利要求1所述的图像获取系统，其中，具有预定色温和色坐标的光被用作照明所述观察目标的照明光，通过将所述第一窄带光和所述第二窄带光中的至少一者与所述宽带光进行至少多路复用来获得该光。
3.根据权利要求2所述的图像获取系统，其中，在未观察到从所述发光剂发射的光的情况下，具有预定色温和色坐标的光被用作照明光，通过将所述第一窄带光和所述第二窄带光中的至少一者与所述宽带光多路复用来实现该光，并且
在观察到从所述发光剂发射的光的情况下，具有预定色温和色坐标的光被用作照明光，通过抑制所述第二窄带光的强度并且增加或减少所述第一窄带光和所述宽带光的强度来实现该光。
4.根据权利要求3所述的图像获取系统，其中，在观察到从所述发光剂发射的光的情况下，关闭所述第二窄带光源，或者控制所述第二窄带光源使得驱动电压低于所述第二窄带光的振荡阈值电压。
5.根据权利要求3所述的图像获取系统，其中，在未观察到从所述发光剂发射的光的情况下，将所述第一捕捉图像和所述第二捕捉图像彼此组合，以输出所述观察目标的彩色捕捉图像，并且
在观察到从所述发光剂发射的光的情况下，所述第一捕捉图像和所述第二捕捉图像彼此组合，以输出其中叠加了从所述发光剂发射的光的所述观察目标的彩色捕捉图像。
6.根据权利要求2所述的图像获取系统，其中，所述照明光是白光。
7.根据权利要求2所述的图像获取系统，其中，将所述窄带光和所述宽带光多路复用，使得色温在5000K以上且在6500K以下的范围内，并且所述色坐标(X，Y)在X:0.3以上且0.4以下并且Y:0.3以上且0.4以下的范围内。
8.根据权利要求2所述的图像获取系统，其中，所述第一窄带光源、所述第二窄带光源以及所述宽带光源被彼此独立地驱动，以控制强度。
9.根据权利要求1所述的图像获取系统，还包括分支光学系统，所述分支光学系统使得来自所述观察目标的光分支成发光波长带中的光和除发光波长带之外的波长带中的光。
10.根据权利要求9所述的图像获取系统，其中，所述分支光学系统包括：波长选择滤光器，使所述发光波长带中的光和除所述发光波长带之外的波长带中的光彼此分离；以及
分色镜和包括多个棱镜的分色棱镜中的至少一者。
11.根据权利要求1所述的图像获取系统，其中，来自所述观察目标的光的图像经由医学显微镜单元或医用内窥镜单元形成在所述第一图像传感器和所述第二图像传感器上。
12.根据权利要求1所述的图像获取系统，其中，将至少包括发射蓝光的蓝色窄带光源、发射绿光的绿色窄带光源以及发射红光的红色窄带光源作为所述窄带光源，并且
所述蓝色窄带光源、所述绿色窄带光源和所述红色窄带光源中的至少一者用作所述第一窄带光源和/或所述第二窄带光源。
13.根据权利要求1所述的图像获取系统，其中，彼此独立地使用激光光源、半导体激光光源或者发光二极管作为所述第一窄带光源和所述第二窄带光源，并且
使用灯光源、发光二极管或者荧光材料激发光源作为所述宽带光源。
14.根据权利要求1所述的图像获取系统，其中，所述发光剂是荧光素、5-氨基乙酰丙酸(5-ALA)和他拉泊芬中的至少一种。
15.根据权利要求1所述的图像获取系统，其中，所述观察目标是活体组织。
16.一种图像获取方法，包括：
利用来自第一窄带光源和第二窄带光源中的至少一者以及宽带光源的照明光来照射观察目标，所述第一窄带光源发射用于激发发光剂的第一窄带光，所述发光剂存在于所述观察目标中并发射具有属于可见光波长带的波长的光，所述第二窄带光源发射波长带在所述发光剂的峰值发光波长的±30nm内的第二窄带光，所述宽带光源发射用于照射所述观察目标的宽带光，所述宽带光处于比所述第一窄带光和所述第二窄带光的波长带宽的波长带中；
由第一图像传感器和第二图像传感器中的每一个接收来自所述观察目标的光，在所述第一图像传感器上形成发光波长带中的光的图像，该发光波长带包括与从所述发光剂发射的光对应的波长，在第二图像传感器上形成除发光波长带之外的波长带中的光的图像；并且
将从所述第一图像传感器获取的第一捕捉图像和从所述第二图像传感器获取的第二捕捉图像彼此组合，以获取与观察目标相关的捕捉图像。
CN201980072569.XA 2018-11-07 2019-10-23 图像获取系统和图像获取方法 Withdrawn CN112996423A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-209429 2018-11-07
JP2018209429 2018-11-07
PCT/JP2019/041440 WO2020095671A1 (ja) 2018-11-07 2019-10-23 画像取得システム及び画像取得方法

Publications (1)

Publication Number Publication Date
CN112996423A true CN112996423A (zh) 2021-06-18

Family

ID=70611329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980072569.XA Withdrawn CN112996423A (zh) 2018-11-07 2019-10-23 图像获取系统和图像获取方法

Country Status (5)

Country Link
US (1) US11509870B2 (zh)
EP (1) EP3878344A4 (zh)
JP (1) JPWO2020095671A1 (zh)
CN (1) CN112996423A (zh)
WO (1) WO2020095671A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542596A (zh) * 2021-06-29 2021-10-22 中国科学院长春光学精密机械与物理研究所 一种ccd成像仪及成像控制方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11602267B2 (en) * 2020-08-28 2023-03-14 Karl Storz Imaging, Inc. Endoscopic system incorporating multiple image sensors for increased resolution
KR102554488B1 (ko) * 2021-01-21 2023-07-11 주식회사 뷰웍스 영상 획득 장치
WO2023176560A1 (ja) * 2022-03-16 2023-09-21 ソニー・オリンパスメディカルソリューションズ株式会社 医療用光源装置及び医療用観察システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090117331A1 (en) * 2007-11-05 2009-05-07 Joshua Thomas Fung Textured Multi-Ply Sanitary Paper Product Having Optimized Emboss Patterns
US20100297402A1 (en) * 2009-05-21 2010-11-25 Donn Nathan Boatman Paper product produced by a high pressure embossing apparatus
US20100297286A1 (en) * 2009-05-21 2010-11-25 Donn Nathan Boatman High pressure embossing apparatus
JP5570798B2 (ja) 2009-12-15 2014-08-13 オリンパス株式会社 光走査型内視鏡装置
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
JP2014017114A (ja) * 2012-07-09 2014-01-30 Panasonic Corp 照明システム
KR102237828B1 (ko) * 2014-08-22 2021-04-08 삼성전자주식회사 동작 인식 장치 및 이를 이용한 동작 인식 방법
KR102226177B1 (ko) * 2014-09-24 2021-03-10 삼성전자주식회사 사용자 인증 방법 및 그 전자 장치
CN104523214A (zh) 2014-12-19 2015-04-22 佛山市南海区欧谱曼迪科技有限责任公司 一种窄带成像内窥镜装置
KR101606828B1 (ko) * 2015-02-26 2016-03-29 국립암센터 형광 영상 시스템
US9648217B2 (en) * 2015-03-21 2017-05-09 Erik A. Kaiser Selfie apparatus
US9609230B1 (en) * 2015-12-30 2017-03-28 Google Inc. Using a display as a light source
JP2018027272A (ja) * 2016-08-19 2018-02-22 ソニー株式会社 撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542596A (zh) * 2021-06-29 2021-10-22 中国科学院长春光学精密机械与物理研究所 一种ccd成像仪及成像控制方法
CN113542596B (zh) * 2021-06-29 2022-08-19 中国科学院长春光学精密机械与物理研究所 一种ccd成像仪的成像控制方法

Also Published As

Publication number Publication date
JPWO2020095671A1 (ja) 2021-10-21
US20210289176A1 (en) 2021-09-16
EP3878344A1 (en) 2021-09-15
EP3878344A4 (en) 2021-12-08
WO2020095671A1 (ja) 2020-05-14
US11509870B2 (en) 2022-11-22

Similar Documents

Publication Publication Date Title
JP5426620B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
CN112996423A (zh) 图像获取系统和图像获取方法
KR101913622B1 (ko) 선택형 조명 스펙트럼으로 구성된 배경 수술 이미지에 의한 형광 이미징 방법 및 시스템
JP5331904B2 (ja) 内視鏡システム及び内視鏡システムの作動方法
US7179221B2 (en) Endoscope utilizing fiduciary alignment to process image data
JP5229723B2 (ja) 蛍光画像取得装置
JP5110702B2 (ja) 蛍光画像取得装置
US10694117B2 (en) Masking approach for imaging multi-peak fluorophores by an imaging system
JP5808031B2 (ja) 内視鏡システム
JP6878647B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP2004024611A (ja) 蛍光観察用画像処理装置
JP2005198794A (ja) 内視鏡装置
JP6876810B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP5766773B2 (ja) 内視鏡システムおよび内視鏡システムの作動方法
WO2018047369A1 (ja) 内視鏡システム
JP6017669B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP6581952B2 (ja) 内視鏡システム及びその作動方法
JP6054806B2 (ja) 画像処理装置及び内視鏡システムの作動方法
JP7090705B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6686127B2 (ja) 内視鏡用光源装置及び内視鏡システム
JP7090706B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
JP6669539B2 (ja) 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6203124B2 (ja) 内視鏡装置、内視鏡装置の作動方法
WO2022059233A1 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び画像処理装置用プログラム
JPWO2017142096A1 (ja) 内視鏡用光源装置及び内視鏡システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210618

WW01 Invention patent application withdrawn after publication