CN111345902B - 用于创建发萤光的荧光团的hdr单色图像的系统和方法 - Google Patents

用于创建发萤光的荧光团的hdr单色图像的系统和方法 Download PDF

Info

Publication number
CN111345902B
CN111345902B CN201911322730.2A CN201911322730A CN111345902B CN 111345902 B CN111345902 B CN 111345902B CN 201911322730 A CN201911322730 A CN 201911322730A CN 111345902 B CN111345902 B CN 111345902B
Authority
CN
China
Prior art keywords
image
passband
color
digital
digital monochrome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911322730.2A
Other languages
English (en)
Other versions
CN111345902A (zh
Inventor
乔治·塞梅利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Instruments Singapore Pte Ltd
Original Assignee
Leica Instruments Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Instruments Singapore Pte Ltd filed Critical Leica Instruments Singapore Pte Ltd
Publication of CN111345902A publication Critical patent/CN111345902A/zh
Application granted granted Critical
Publication of CN111345902B publication Critical patent/CN111345902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0012—Surgical microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3904—Markers, e.g. radio-opaque or breast lesions markers specially adapted for marking specified tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A61B2090/3941—Photoluminescent markers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

本发明涉及用于从包含发荧光的荧光团(22)的物体(30)的数字彩色输入图像(4)计算HDR图像(38)的方法和系统。输入图像(4)使用具有至少两种不同类型(16,17,18)的颜色传感器(8)的彩色相机(2)来获取，所述颜色传感器例如是R、G和B传感器。输入图像(4)被记录在共感测波长带(64,66,68)中，在该共感测波长带(64,66,68)中至少两种不同类型的颜色传感器的不同光谱响应度(58,60,62)重叠。输入图像(4)包括至少两个不同的数字单色输入图像(6)，每个输入图像由不同类型的颜色传感器记录。入射到彩色相机(2)上的光可以使用带通滤镜(32)进行滤波，该带通滤镜具有优选地可调谐的通带(34)。通带(34)限定了共感测波长带，并且可以根据颜色传感器的光谱响应度、荧光团和数字单色输入图像(6)的图像特性来调整。

Description

用于创建发萤光的荧光团的HDR单色图像的系统和方法
技术领域
本发明涉及用于创建发荧光的荧光团的HDR单色图像的系统和方法。
背景技术
在手术期间或活检的病理检查期间，荧光团用于标记特定类型的组织、细胞或细胞的部分。荧光团的荧光由覆盖荧光团的荧光激发光谱的光触发。在激发时，荧光团发射荧光光谱中的荧光。荧光光谱中的光强度通常较低，即使不属于荧光光谱内的所有其他波长都被阻挡，也会导致低对比度荧光图像。
当在相同图像区域内非常低和非常高的强度共存时，成像传感器的动态范围可能不足以捕获高强度和低强度两者。这导致丢失最亮或/和最暗强度的强度信息。在这种情况下，强度低于最低水平的所有区域将呈现为黑色，而高于最高水平的所有强度将呈现为白色。
动态范围有限的问题不仅出现在高强度和低强度同时显示的情况下，而且也出现在高强度和低强度相继显示的情况下。在这种情况下，相机灵敏度的调整可以缓解问题，但是快速的强度变化可能无法通过灵敏度的调整足够快地补偿。例如，当诸如吲哚菁绿(ICG)的荧光染料被静脉注射以用于荧光血管造影时，荧光信号将开始非常暗，然后在染料团到达时，信号将迅速变得非常高，由于相机灵敏度自动调整的延迟，这导致几帧具有饱和区域。
即使当成像传感器(例如，CCD、CMOS)具有高标称动态范围时，这通常指数字化电路，并且不反映传感器的总动态范围。例如，即使输出信号是14位，即～16K不同的信号电平，传感器也只能区分1000个不同的光强度水平。典型地，通过用单个传感器以不同曝光水平顺序捕获多个图像来增加动态范围，使得每个后续图像捕获不同的动态范围，例如一个图像用于低强度，另一个图像用于高强度。然后，图像以动态范围相结合的方式合并，并且最亮区域和最暗区域两者在单个图像中被可视化。然而，这种方法不能用于视频捕获。
荧光图像的高强度和低强度的存在导致低对比度和在记录荧光图像的过程中有价值信息的损失。为了保留该信息，根据本发明的系统和方法的目的是创建荧光图像，该荧光图像具有增加的动态范围，而不使用昂贵的附加设备，并且可以用于视频。
发明内容
为了解决这个问题，本发明提供了一种用于处理发荧光的荧光团的数字输入图像的图像获取系统，特别是用于显微镜或内窥镜的图像获取系统，以及一种用于从至少一个荧光团的至少两个数字单色输入图像创建数字单色HDR荧光图像的方法。
根据本发明，图像获取系统包括彩色相机，该彩色相机具有至少两种不同类型的颜色传感器、多个输入像素，每种类型的颜色传感器生成包括输入像素的不同的数字单色输入图像并具有不同的光谱响应度，该彩色相机还包括至少一个共感测波长带，其中至少两个传感器在像素处的相应光谱响应度重叠；和HDR图像生成器，其耦合到彩色相机；其中HDR图像生成器被配置为从所述至少两个数字单色输入图像计算数字单色HDR荧光输出图像。
此外，该方法包括以下步骤：使用至少两种不同类型的颜色传感器获取发荧光的荧光团的至少两个数字单色输入图像，所述至少两种不同类型的颜色传感器具有不同的光谱响应度，并且包括至少一个共感测波长带，其中所述至少两种类型的传感器的光谱响应度重叠；选择荧光团以具有与共感测波长带重叠的荧光光谱；以及从所述至少两个数字单色输入图像计算数字单色HDR荧光图像。
因此，根据本发明的系统和方法能够通过使用例如标准彩色相机来提供发荧光的荧光团的HDR图像，所述彩色相机为例如RGB相机，其对于每个像素具有三种不同类型的颜色传感器，即R(红色)、G(绿色)和B(蓝色)颜色传感器。通过从每种类型的颜色传感器获取单独的单色图像来生成HDR图像。通过使用共感测波长带中不同类型的颜色传感器的不同响应度，自动生成HDR图像所需的不同曝光水平。
通过添加一个或多个以下附加特征，可以进一步改进上述系统和方法，其中每个附加特征可以彼此独立地添加，并且每个附加特征本身是有利的。下面描述的附加特征可以各自应用于该方法和系统。
例如，优选的是，数字单色图像仅在至少一个共感测波长带中获取。这确保了以不同的响应度，即不同的平均强度水平记录数字单色输入图像。
此外，优选的是，至少两种、优选至少三种不同类型的颜色传感器的光谱响应度(特别是平均光谱响应度)在至少一个共感测波长带中不同。
根据另一个实施例，该系统可以包括具有至少一个通带的光学带通滤镜，该至少一个通带与至少一个共感测波长带和荧光波长带两者重叠。这种带通滤镜的使用允许选择适当的共感测波长带，其中至少颜色传感器的相应光谱响应度足够不同，以增强所得HDR图像的动态范围。光学带通滤镜优选地位于彩色相机的前面，用于分别过滤到达彩色相机或不同类型的颜色传感器的光。
优选地，光学带通滤镜的通带限于共感测波长带，其中至少两个、优选三个颜色传感器中的每一个的光谱响应度不同。最优选地，至少两个或三个颜色传感器的光谱响应度在带通滤镜的通带中具有最大差值。最大差值可以从通带中颜色传感器的平均光谱响应度来计算。平均光谱响应度可以通过使用几何、算术和/或调和平均值和/或中值来计算。最大差值可以通过最大化通带中每个光谱响应度之间差值的绝对值之和，和/或最大化差值和/或平均差值的乘积来计算。在用于计算最大差值的通带中，只有那些位于相应的预定阈值之上和/或之下的光谱响应度(例如，高于动态范围的40％和/或低于动态范围的90％)可以被考虑。
此外，如果颜色传感器的光谱响应度，特别是如上计算的它们的平均值，在通带中至少近似等距地交错，可能是有利的。光谱响应度之间的距离可以线性计算或以对数尺度计算。+/-20％的偏差仍可视为等距的。
上述特征中的每一个都允许由数字单色输入图像覆盖的动态范围最大化。
在一个实施例中，通带可以根据至少一个荧光团的荧光光谱和共感测波长带中的光谱响应度通过手动更换带通滤镜来调整。
根据本发明的另一个优选实施例，可以修改通带，而不需要更换带通滤镜。为此，带通滤镜可以是可调谐带通滤镜。可调谐带通滤镜可以包括可调谐通带，该可调谐通带相对于通带的中心频率、通带的至少一个截止频率、至少一个截止频率的滚降和Q因子中的至少一个是可调谐的。例如，可调谐光学带通滤镜可以是液晶滤镜、光纤滤镜或基于干涉测量的可调谐带通滤镜。
通带可以在图像获取系统的操作期间调整，优选自动调整。对于通带的这种自动调整，图像获取系统可以包括用于改变通带的滤镜控制器，优选地根据数字单色输入图像和/或数字单色HDR输出图像的图像特性来改变。图像特性可以包括发荧光的荧光团的平均强度、强度直方图、强度方差和动态范围中的至少一个。
根据一个实施例，通带可以基于反馈回路自动改变。作为这种反馈回路中的校正变量，可以使用至少两个单色输入图像和/或数字单色HDR输出图像的图像特性。例如，通带可以被自动修改以最大化通带中的荧光强度。通带中的荧光强度可以通过确定至少两个数字单色输入图像和/或数字单色HDR输出图像中的至少一个的平均或均值强度或亮度来计算。
替代地或累积地，通带可以例如通过反馈回路自动修改，以增加通带中平均光谱响应度之间的差异。这种差异可以通过将至少两个数字单色输入图像的平均强度相互比较来确定。此外，替代地或累积地，通带可以被修改以包括荧光强度处于其最大水平的荧光波长。这种波长可以存储在各种不同的荧光团中。
在另一个实施例中，通带可以根据荧光团自动改变。例如，荧光团的类型可以手动输入，并且通带可以自动调整。这种调整可以使用例如已经根据经验确定并存储在图像获取装置中的荧光团相关通带的值来进行。
在可以单独或者附加于上述实施例使用的另一个实施例中，可以为数字单色HDR荧光输出图像修改通带，以在单色输入图像的至少一些输出像素上具有平均最大动态范围。
替代地或累积地，通带可以被修改为包括位于颜色传感器的动态范围中间的至少一个光谱响应度。中间动态范围是总动态范围的50％+/-15％。如果在例如8位颜色传感器的一个像素处的最大强度值是255，则中间动态范围是128+/-38的强度值。
为了执行通带的这种自动调整，图像获取系统的滤镜控制器可以被配置为计算至少一个单色输入图像的至少一些像素的平均强度，并且根据该强度修改通带。替代地或附加地，不同类型的颜色传感器的光谱响应度可以存储在图像获取系统中，并用于自动调整通带。图像获取系统，特别是HDR图像生成器，可以被配置成根据不同类型的颜色传感器的光谱响应度来调整通带。图像获取系统，特别是HDR图像生成器，可以被配置成自动计算光谱响应度的重叠，并且调整通带以至少部分地重叠光谱响应度的重叠。
共感测波长带的极限波长(即端值)可以手动指定，并且通带的自动调整可以被限制以落在这些极限内。
彩色相机可以是RGB相机、CYGM相机或RGBE相机。彩色相机可以包括马赛克滤镜布置，例如拜耳滤镜、CYGM滤镜、RGB滤镜，和/或它可以包括Foveon传感器架构、色彩共位采样架构、分色镜和/或透明衍射滤镜阵列。彩色相机也可以是多光谱或高光谱相机。需要至少两种不同类型的颜色传感器，优选至少三种。共感测带的数量优选地比不同传感器类型的数量少一个。每种类型的传感器记录不同的色带。
HDR图像生成器和滤镜控制器可以各自实现为硬件设备、软件设备或者硬件和软件设备两者的组合。例如，HDR图像生成器和/或滤镜控制器可以包括至少一个CPU、至少一个GPU和/或至少一个ASIC，和/或在操作中执行所需功能的软件模块。应当注意，在操作中，软件可以引起硬件设备的结构改变，使得硬件设备可以作为HDR图像生成器和/或滤镜控制器操作。这些操作改变可以例如涉及诸如晶体管和存储元件的电子部件的改变。
根据一个实施例，至少两个数字单色输入图像是单个帧的一部分。因此，至少两个单色输入图像基本上同时被记录，从而在所得的HDR输出图像中没有运动模糊。
本发明尤其可以涉及医学观察装置，例如显微镜或内窥镜，其包括在上述实施例之一中的图像获取系统和/或适于执行上述图像处理方法。
最后，本发明涉及存储程序的非暂时性计算机可读介质，该程序使得计算机执行根据上述实施例中任一个的图像处理方法。
附图说明
下面，参照附图描述本发明的示例性实施例。在附图中，相对于功能和结构中的至少一个彼此对应的元件被提供有相同的附图标记。
附图中示出和描述的特征的组合仅用于解释，并不将本发明限制于示出和描述的组合。特别地，如果特定应用不需要所获得的技术效果，则上述可选特征中的一个或多个可以从实施例中省略；反之亦然：如果特定应用需要该一个或多个特征的技术效果，则可以将上面描述为可选的一个或多个附加特征添加到所示实施例中。
在图中：
图1示出了根据本发明的图像获取系统的示意图；
图2示出了在图1的图像获取系统中使用的颜色传感器的示意图；
图3示出了在图1的图像获取系统中使用的另一种颜色传感器的示意图；
图4示出了图1的图像获取系统的带通滤镜的通带的示意图；
图5示出了在图1的图像获取系统中使用的不同类型的颜色传感器的光谱响应度、一个或更多个带通滤镜的各种通带和荧光团的各种荧光波长带的示意图；和
图6示出了根据本发明的方法的流程图的示意图。
具体实施方式
根据本发明的图像获取系统1可以包括彩色相机2，例如RGB相机、多光谱相机或高光谱相机。RGB相机2通常记录包括三个不同单色图像6的数字彩色输入图像4。每个数字单色输入图像6已经由不同类型的颜色传感器8记录，如图2和3所示。每种类型的颜色传感器8代表数字彩色输入图像4中输入像素10处的不同色带。数字输入图像4、6中的每一个可以由表示例如光强度的数字值的二维或者通常n维阵列来表示。
不同的数字单色输入图像6可以通过例如提供马赛克滤镜布置12来生成，例如拜耳滤镜、CYGM滤镜或RGBE滤镜。仅出于示例性目的，图2示出了RGB滤镜，其中在每个像素10处，在每个颜色传感器8的前面使用两个绿色滤镜13、一个红色滤镜14和一个蓝色滤镜15。绿色滤镜13只允许可见的绿色光通过，红色滤镜14只允许可见的红色光通过，蓝色滤镜15只允许可见的蓝色光通过。因此，提供了三种不同类型的传感器16、17、18，每个传感器16、17、18对不同色带的光敏感。表述“颜色传感器的类型”不一定要求不同类型16、17、18的传感器8之间存在结构差异，而是可以要求至少功能差异，即每种类型16、17、18的颜色传感器8记录不同的颜色或波长带。
图3示出了颜色传感器8的另一种布置。这里，由不同类型16、17、18的颜色传感器8感测的颜色由它离表面20的深度决定。由于可见光的穿透深度取决于波长，蓝色光的穿透深度小于绿色光，并且绿色光的穿透深度小于红色光。因此，对于每个像素10，颜色传感器8一个堆叠在另一个之上。
本发明适用于具有至少两种不同类型16、17、18的颜色传感器8的这些配置中的任何一种。然而，三种或更多种不同类型的颜色传感器是优选的。优选地，不同的数字单色输入图像6是同一帧21的一部分，即同时拍摄。
图像获取系统1适于记录发荧光的荧光团22(图1)的图像4、6，特别是活组织24中的荧光团22的图像，如外科显微镜或内窥镜中的情况那样。替代地，荧光团22也可以用于具有更大放大率的实验室显微镜例如以可视化细胞的部分，以及任何其他类型的显微镜或内窥镜。
图像获取系统1可以包括光源26，光源26产生在荧光团22中触发荧光的波长的光。来自光源26的光28被引导到包含荧光团22的物体30上，例如活组织24。从荧光团22发射的荧光被彩色相机2记录在至少两个数字单色输入图像6中。
光源26还可以包括白光，使得可见光图像可以与包含荧光的图像同时被记录。为了获取可见光图像，可以使用另一个相机(未示出)，该相机通过光学滤镜布置(未示出)与荧光激发和发射带解耦，使得这些波长不被记录在可见光图像中。
在这种情况下，彩色相机2可以仅致力于记录荧光图像，并且可以通过带通滤镜32与光源26的激发波长和任何白光解耦。带通滤镜32可以包括一个或更多个光学滤镜，这些光绪滤镜组合起来导致仅通带34内的波长能够通过带通滤镜，如图4和5中示意性地示出的，其中针对不同波长λ示出了带通滤镜的透射率T。替代地，可以使用多光谱或超光谱相机，其使用相应数量的不同类型的颜色传感器在多个(例如至少四个)波长带中同时记录白光和荧光图像。每个数字单色输入图像6由不同类型的颜色传感器记录。
在也可以包括相机2的图像获取系统1的光学获取系统37的光路36中，带通滤镜32位于相机2的前方。如果使用内窥镜，光路通过光纤(未示出)指向物体30。
为了计算数字单色HDR输出图像38，图像获取系统1包括HDR图像生成器40，其可以是硬件设备41，例如通用计算机42的CPU，和/或可以包括GPU、FPU和/或ASIC。替代地或累积地，HDR图像生成器40可以由软件模块组成或包括软件模块。数字彩色输入图像4或数字单色输入图像6可以分别经由输入接口44输入到HDR图像生成器40中，输入接口44可以被配置为接受例如RGB、HDMI、DVI或适于传输图像或视频数据的其他输入格式。
数字单色输出图像38可以使用输出接口46以相同或不同的图像格式输出。
HDR图像生成器40适于从数字单色输入图像6中的至少两个计算数字单色HDR输出图像38。数字单色HDR输出图像38被显示在至少一个显示设备48上，例如目镜50、增强现实护目镜52或监视器54。因为数字彩色输入图像、数字单色输入图像6和数字单色HDR输出图像38中的任何一个都可以是立体的，显示设备48中的一个或多个也可以是立体的。
HDR图像生成器40可以适于将数字单色HDR输出图像38与可见光图像混合，和/或根据输出像素56处的强度值将伪彩色分配给数字单色HDR输出图像38。
应当注意，数字输入图像4、6和数字单色HDR输出图像38可以是产生视频序列的输入和输出图像的时间序列的一部分。每个数字单色HDR输出图像38优选地由HDR图像生成器40实时计算和输出，并由显示设备48中的任何一种实时显示。此外，如果在本说明书中陈述数字单色HDR输出图像38基于数字单色输入图像6，这也包括一种或更多种类型的颜色传感器8的两个或更多个单色输入图像6可以被平均以产生单个数字单色输入图像6的情况，该单个数字单色输入图像6然后被用于计算数字单色HDR输出图像38。
参照图5更详细地描述数字单色HDR输出图像38的计算。
在图5的最上面部分中，在RGB相机的示例性情况下，不同类型16、17、18的颜色传感器8(图2和3)的光谱响应度R用附图标记58、60、62表示，并且示出为依赖于波长λ。所示的光谱响应度R已经归一化为公共最大值Rmax。曲线60表示感测来自红色可见光光谱的光的颜色传感器8的光谱响应度。曲线58显示感测来自绿色可见光光谱的光的颜色传感器8的光谱响应度。曲线62表示感测来自蓝色可见光光谱的光的颜色传感器8的光谱响应度。所有光谱响应度R仅示意性示出，并且已经归一化。
在图5的最上面部分还示出了共感测波长带64、66、68的示例。在共感测波长带64、66、68中，至少两种类型16、17、18的颜色传感器8的光谱响应度58、60、62重叠。例如，在共感测波长带64中，蓝色传感器18的光谱响应度62和绿色传感器16的光谱响应度58重叠。对于波长落在共感测波长带64内的光，蓝色传感器18和绿色传感器16都将产生信号。红色传感器17的光谱响应度60在共感测波长带64中可忽略不计。
此外，在共感测波长带64中，一种类型16的颜色传感器的平均光谱响应度70不同于另一种类型18的颜色传感器的平均光谱响应度74。平均光谱响应度70可以通过用于平均的任何过程来计算，例如相应共感测波长带64、66、68内的相应光谱响应度58、60、62的几何、算术和/或调和平均值或中值。优选地，至少两种类型的颜色传感器(优选地至少三种类型的颜色传感器)的平均光谱响应度70、72、74是不同的。
在共感测波长带66中，光谱响应度58、60、62重叠，使得如果用落在共感测波长带66内的波长照射，每个颜色传感器8将产生信号。同样，附图标记70、72、74表示平均光谱响应度。在共感测波长带68中，与共感测波长带66相比，相对平均光谱响应度70、72和74已经变换。因此，从图5的顶部可以清楚地看出，通过改变共感测波长带的位置和/或宽度(例如由中心频率或至少一个截止频率确定的)，可以调整平均光谱响应度70、72、74。如果由不同类型的传感器记录的色带被限制到共感测波长带，则这种相关性可以用于最大化从数字单色输入图像6计算的数字单色HDR输出图像38的动态范围。
例如，可以选择共感测波长带，使得平均光谱响应度70、72、74在线性或对数尺度上至少大约等距地间隔。因此，随后的平均光谱响应度70、72、74之间差值的+/-20％的偏差仍然视为等距的。
在可以替代地或累积地使用的另一种方法中，选择共感测波长带，其中在归一化光谱响应度的大约一半R0.5处存在至少一个平均光谱响应度70、72、74。同样，相对于R0.5+/-20％的偏差仍然被认为对应于R0.5。
此外，再次替代地或累积地，共感测波长带可以被变换，使得平均光谱响应度70、72、74之间的差值在所选的共感测波长带中被最大化。这种差值的最大化可以通过最大化平均光谱响应度之间差值的总和、乘积或任何其他范数来执行。
在本申请中所用，一种类型的颜色传感器的光谱响应度代表其对特定波长λ的入射光的响应。光谱响应度可以具体涉及每个光学输入的电输出的比率，即不仅包括该类型的颜色传感器的光波长相关性质，还包括其电学和电子性质。然而，最低程度上说，光谱响应度与相应类型的颜色传感器的光学性质有关。
为了创建和/或调整共感测波长带64、66、68，优选使用带通滤镜32(图1)。通带34限定了共感测波长带，其中不同类型的颜色传感器记录数字单色输入图像6。
例如，共感测波长带64、66、68或图5中未示出的任何其他共感测波长带可以通过手动更换带通滤镜32来选择，从而用不同的通带34过滤入射到颜色传感器8上的光。在图5的中间部分，示出了三个不同的通带34，它们可以通过使用不同的带通滤镜32来选择。优选地，在任一时间仅使用一个通带34。当然，可以选择任何其他通带34，只要它与其中存在至少两个不可忽略或非零光谱响应度58、60和/或62的波长带重叠，即重合，即导致共感测波长带。
然而，优选的是，带通滤镜32是可调谐带通滤镜32。这意味着可以修改以下滤镜特性77中的至少一个：上限截止频率，或者等效地，下限截止波长λ1；上限截止频率或下限截止波长λu；中心频率或中心波长λc；带宽75(图4)’Q因子，即中心频率除以带宽75，和/或滤镜滚降76，即截止波长λ1、λu处的衰减；或除上述之外的任何其他滤镜特性77。
使用可调谐带通滤镜32允许通带34被快速调整，以便为数字单色HDR输出图像38(图1)选择产生最佳结果(特别是最大对比度)的共感测波长带64、66、68。
此外，如果使用可调谐带通滤镜32，可以使用例如滤镜控制器78(图1)来实现任何滤镜特性77的自动调整，特别是反馈控制，滤镜控制器78可以是HDR图像生成器40的一部分或者是诸如CPU或ASIC的独立电子部件和/或软件部件。
作为这种反馈控制的示例，HDR图像生成器40可以被配置为计算数字单色输入图像6和/或数字单色HDR输出图像38中的每一个内的动态范围，并且调整滤镜特性77中的至少一个以最大化该动态范围。为此，HDR图像生成器40可以包括存储器部分80(图1)，其中存储有表示光谱响应度曲线58、60、62的查找表，例如在图5的最上面部分中所示。通过查找不同类型的颜色传感器在通带34处的光谱响应度，滤镜控制器78可以例如对于固定的滤镜带宽74计算在带通滤镜32的可调谐范围内的共感测波长带的位置，该位置使得数字单色HDR输出图像38和/或给定输入图像4、6的任何数字单色输入图像6中的对比度最大化。上面已经解释了可以根据其执行通带34的自动适配的其他标准，例如最大化平均光谱响应度之间的差值。
在图5的底部，示意性地示出了两种不同荧光团22的荧光光谱82、84。可以看出，例如在共感测波长带68中，两个荧光团22的荧光强度F都将较低。对于具有荧光光谱84的荧光团，最好使用共感测波长带70，因为它与荧光发射处于最大的波长λF重合。这将导致数字单色HDR输出图像38中非常高的对比度。
在具有荧光光谱82的荧光团的情况下，共感测波长带64和66都可以产生良好的结果。然而，尽管共感测波长带64包括来自荧光光谱82的λF，但是可以仅使用两个颜色传感器的信号，因为红色传感器16的平均响应度60在该共感测波长带64中为零或者可以忽略不计。因此，根据数字单色输入图像6和/或数字单色HDR输出图像38的图像特性，将通带34变换到共感测波长带66可能是优选的。
这表明荧光团也可以根据不同类型颜色传感器的光谱响应度来选择，以获得最佳结果。特别地，荧光团应该在可用的共感测波长带中具有强荧光，同时，不同类型的颜色传感器应该具有足够不同的光谱响应度。
图6提供了使用物体30中荧光的数字单色输入图像6获得数字单色HDR输出图像38的过程的概述。
在可选步骤90中，选择荧光团22，该荧光团的荧光光谱82、84与共感测波长带重叠。该步骤确保在波长带中将产生足够的荧光强度，其中至少两个颜色传感器8将产生足够大的输出信号。
此外，在步骤90中，可以选择带通滤镜32，该带通滤镜32的通带34限定了共感测波长带，该共感测波长带优选地比荧光团的荧光光谱窄。
在下一步骤92中，提供荧光激发光来触发荧光团22中的荧光。
接下来，在步骤94中，由荧光团发射的荧光(优选地与任何反射光一起)被带通滤镜32滤波，以便将其限制在共感测波长带。
在步骤96中，优选地为彩色相机2的至少两个(最优选地为每个)颜色通道获取数字单色输入图像6。数字单色输入图像6优选地被同时获取，即作为同一帧21或同一数字彩色输入图像4的一部分。图像4、6可以是立体的。
在步骤98中，从数字单色输入图像6计算数字单色HDR输出图像38。数字单色HDR输出图像38可以是三维的或立体的。
在步骤100中，数字单色HDR输出图像38显示在至少一个显示设备48上。
如果数字单色HDR输出图像38没有表现出令人满意的对比度，则在步骤102中可以选择新带通滤镜32、新通带34和/或新荧光团22。如果使用可调谐带通滤镜32，新通带34的计算可以在该阶段手动触发。一旦显示了数字单色HDR图像38，可以在任何时候执行步骤102。
在步骤104中，可以计算图像参数，例如数字单色输入图像6和/或数字单色HDR输出图像38中的至少一个中的动态范围。此外或替代地，可以确定当前共感测波长带中的平均光谱响应度的位置。由此，并且通过例如使用表示相机中使用的不同类型的颜色传感器的光谱响应度的查找表，计算具有使数字单色HDR输出图像38中的对比度最大化的滤镜特性77的通带34。可以为用户显示所需的滤镜特性77，以手动选择带通滤镜32或手动调整可调谐带通滤镜32。滤镜特性也可以电子地和自动地传送给滤镜控制器78以调整通带34。
在步骤106中，带通滤镜32被自动调整或手动更换，以呈现给新的滤镜特性77。步骤104和106建立反馈控制108，以自动调整最佳通带34。
上述步骤可以实时执行，使得数字单色HDR输出图像38的计算可以以视频序列或流的帧速率执行。
附图标记
1 图像获取系统
2 彩色相机
3 医学观察装置
4 数字彩色输入图像
6 数字单色输入图像
8 颜色传感器
10 输入像素
12 马赛克滤镜布置
13 绿色滤镜
14 红色滤镜
15 蓝色滤镜
16 绿色传感器
17 红色传感器
18 蓝色传感器
20 表面
21 帧
22 荧光团
24 活组织
26 光源
28 来自光源的光
30 物体
32 带通滤镜
34 通带
36 光路
37 光学获取系统
38 数字单色HDR输出图像
40 HDR图像生成器
41 硬件设备
42 通用计算机
44 输入接口
46 输出接口
48 显示设备
50 目镜
52 增强现实护目镜
54 监视器
56 输出像素
Figure GDA0004094202800000121
75 带宽
76 滚降
77 滤镜特性
78 滤镜控制器
80 存储器部分
Figure GDA0004094202800000131
108 反馈控制回路
R 光谱响应度
T 透射率
F 荧光强度
λ 波长
λc 中心频率的波长
λl 下限截止频率的波长
λu 上限截止频率的波长
λF 最大荧光的波长

Claims (17)

1.一种用于处理具有荧光光谱(82,84)的荧光团(22)的数字输入图像(4,6)的图像获取系统(1)，所述图像获取系统(1)包括：
彩色相机(2)，
所述彩色相机(2)在多个输入像素(10)处具有至少两种不同类型(16,17,18)的颜色传感器(8)，每种类型(16,17,18)的颜色传感器(8)生成不同的数字单色输入图像(6)，所述数字单色输入图像包括所述输入像素(10)并且具有不同的光谱响应度(58,60,62)，
所述彩色相机(2)还包括至少一个共感测波长带(64,66,68)，其中所述至少两种不同类型的颜色传感器的所述光谱响应度重叠；和
HDR图像生成器(40)，其耦合到所述彩色相机(2)；
其中，所述HDR图像生成器(40)被配置成从所述至少两个数字单色输入图像(6)计算数字单色HDR输出图像(38)。
2.根据权利要求1所述的图像获取系统(1)，其中所述图像获取系统(1)用于显微镜或内窥镜。
3.根据权利要求1所述的图像获取系统(1)，还包括位于所述彩色相机(2)前面的光学带通滤镜(32)，所述光学带通滤镜(32)具有通带(34)，所述通带(34)限定所述共感测波长带(64,66,68)。
4.根据权利要求3所述的图像获取系统(1)，其中，所述带通滤镜(32)的所述通带(34)与所述荧光团(22)的所述荧光光谱(82,84)重叠。
5.根据权利要求3或4所述的图像获取系统(1)，所述带通滤镜(32)包括可调谐通带(34)，所述通带(34)相对于至少一个滤镜特性(77)是可调谐的，所述滤镜特性(77)包括中心频率、至少一个截止频率、滚降(76)、带宽(75)和Q因子中的至少一个。
6.根据权利要求5所述的图像获取系统(1)，还包括耦合到所述HDR图像生成器(40)的滤镜控制器(78)，用于根据所述数字单色输入图像(6)和/或所述数字单色HDR输出图像(38)的图像特性来修改所述带通滤镜(32)的所述通带(34)。
7.根据权利要求5所述的图像获取系统(1)，还包括控制回路(108)，用于根据所述数字单色输入图像(6)和/或所述数字单色HDR输出图像(38)中的至少一个的图像特性来自动修改所述通带(34)。
8.根据权利要求3或4所述的图像获取系统(1)，还包括存储器部分(80)，所述存储器部分包括所述彩色相机(2)的所述不同类型(14,16,18)的颜色传感器(8)的所述光谱响应度(58,60,62)的表示，并且其中，所述图像获取系统(1)被配置成根据所述光谱响应度(58,60,62)自动调整所述通带(34)。
9.一种医学观察装置(3)，其包括根据权利要求1至8中任一项所述的图像获取系统(1)。
10.根据权利要求9所述的医学观察装置(3)，其中所述医学观察装置(3)是显微镜或内窥镜。
11.一种用于从至少两个数字单色输入图像(6)创建至少一个发荧光的荧光团(22)的数字单色HDR输出图像(38)的方法，每个数字单色输入图像具有多个输入像素(10)，
所述方法包括以下步骤：
使用至少两种不同类型(16,17,18)的颜色传感器(8)获取所述发荧光的荧光团(22)的所述至少两个数字单色输入图像(6)，所述至少两种不同类型的颜色传感器具有不同的光谱响应度(58,60,62)，并且包括至少一个共感测波长带(64,66,68)，在所述至少一个共感测波长带(64,66,68)中至少两种不同类型的颜色传感器的所述光谱响应度重叠；
选择所述荧光团(22)以具有与所述共感测波长带重叠的荧光光谱(82,84)；和
从至少两个数字单色输入图像(6)计算数字单色HDR输出图像(38)。
12.根据权利要求11所述的方法，还包括使用光学带通滤镜(32)过滤来自所述荧光团(22)的指向所述颜色传感器(8)的荧光的步骤，所述光学带通滤镜(32)具有与所述共感测波长带(64,66,68)重叠的通带(34)。
13.根据权利要求12所述的方法，还包括修改所述通带(34)以增加所述数字单色HDR输出图像(38)中的对比度的步骤。
14.根据权利要求13所述的方法，还包括根据所述数字单色输入图像(6)和/或所述数字单色HDR输出图像(38)中的至少一个的图像特性自动修改所述通带(34)的步骤。
15.根据权利要求13或14所述的方法，还包括根据所述通带(34)内的所述至少两种不同类型(16,17,18)的颜色传感器(8)的所述光谱响应度(58,60,62)之间的差值来修改所述通带(34)的步骤。
16.根据权利要求13或14所述的方法，还包括使用所述至少两种不同类型(16,17,18)的颜色传感器(8)记录所述至少两个数字单色输入图像(6)的步骤。
17.一种存储使计算机执行根据权利要求11至16中任一项所述的方法的程序的非暂时性计算机可读介质。
CN201911322730.2A 2018-12-20 2019-12-20 用于创建发萤光的荧光团的hdr单色图像的系统和方法 Active CN111345902B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP18214911.2 2018-12-20
EP18214911.2A EP3669743B1 (en) 2018-12-20 2018-12-20 System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore

Publications (2)

Publication Number Publication Date
CN111345902A CN111345902A (zh) 2020-06-30
CN111345902B true CN111345902B (zh) 2023-07-04

Family

ID=64755302

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911322730.2A Active CN111345902B (zh) 2018-12-20 2019-12-20 用于创建发萤光的荧光团的hdr单色图像的系统和方法

Country Status (4)

Country Link
US (1) US11083368B2 (zh)
EP (1) EP3669743B1 (zh)
JP (1) JP6896053B2 (zh)
CN (1) CN111345902B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050027166A1 (en) * 2003-06-17 2005-02-03 Shinya Matsumoto Endoscope system for fluorescent observation
GB0601183D0 (en) * 2006-01-20 2006-03-01 Perkinelmer Ltd Improvements in and relating to imaging
US8498695B2 (en) * 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
EP2227711A4 (en) 2008-01-02 2014-01-22 Univ California TELEMIC ROSCOPY DEVICE WITH HIGH NUMERICAL APERTURE
WO2009137935A1 (en) 2008-05-16 2009-11-19 Biomedical Photometrics Inc. Imaging system with dynamic range maximization
CN104918541A (zh) * 2012-11-19 2015-09-16 学术医疗中心 关节镜仪器组件及在关节镜手术中定位肌骨骼结构的方法
CN104717917B (zh) * 2013-02-12 2016-11-02 奥林巴斯株式会社 内窥镜装置
JP2017511176A (ja) * 2014-03-17 2017-04-20 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 非白色光の一般的な照明装置を含む手術システム
EP3284396B1 (en) * 2016-08-16 2020-02-12 Leica Instruments (Singapore) Pte. Ltd. Observation apparatus and method for visual enhancement of an observed object
US10823952B2 (en) * 2017-06-22 2020-11-03 Huron Technologies International Inc. MSIA scanning instrument with increased dynamic range

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106572792A (zh) * 2014-06-05 2017-04-19 海德堡大学 用于多光谱成像的方法和部件
CN106999021A (zh) * 2014-06-05 2017-08-01 海德堡大学 用于多光谱成像的方法和部件

Also Published As

Publication number Publication date
CN111345902A (zh) 2020-06-30
US11083368B2 (en) 2021-08-10
JP6896053B2 (ja) 2021-06-30
EP3669743B1 (en) 2024-04-03
JP2020099694A (ja) 2020-07-02
US20200196846A1 (en) 2020-06-25
EP3669743A1 (en) 2020-06-24

Similar Documents

Publication Publication Date Title
CN107137053B (zh) 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置
US11089278B2 (en) Image-processing device, fluorescence observation device and method for emulating a first type of fluorescence observation device on a second type of fluorescence observation device
WO2017145529A1 (ja) 計算システム
RU2381737C2 (ru) Устройство для наблюдения биологических объектов
JP6367683B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP6066595B2 (ja) 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム
US9787915B2 (en) Method and apparatus for multi-spectral imaging
JP2021192534A (ja) 撮像装置及び撮像方法
US10874293B2 (en) Endoscope device
JP6467562B2 (ja) 内視鏡システム
CN110893096A (zh) 一种基于图像曝光的多光谱成像系统和方法
CN106455955A (zh) 图像处理装置
CN111345902B (zh) 用于创建发萤光的荧光团的hdr单色图像的系统和方法
EP4275577A1 (en) Method, processor, and medical fluorescence observation device using two color images and color cameras for fluorescence and white-light
EP4275578A1 (en) Method, processor, and medical fluorescence observation device using a color-dependent color conversion function
EP4275581A1 (en) Method, processor, and medical fluorescence observation device for toggling images
EP4275580A1 (en) Method, processor, and medical fluorescence observation device using two color images to record fluorescence
EP3991633A1 (en) Microscope system for use in eye surgery and corresponding system, methods and computer programs
JP6615950B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
CN112335233B (zh) 图像生成装置以及摄像装置
WO2023218098A1 (en) Method, processor, and medical fluorescence observation device for toggling images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant