CN112585450A - 光谱成像装置和荧光观察装置 - Google Patents

光谱成像装置和荧光观察装置 Download PDF

Info

Publication number
CN112585450A
CN112585450A CN201980054384.6A CN201980054384A CN112585450A CN 112585450 A CN112585450 A CN 112585450A CN 201980054384 A CN201980054384 A CN 201980054384A CN 112585450 A CN112585450 A CN 112585450A
Authority
CN
China
Prior art keywords
spectrum
section
image sensor
gain
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980054384.6A
Other languages
English (en)
Inventor
辰田宽和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585450A publication Critical patent/CN112585450A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/44Raman spectrometry; Scattering spectrometry ; Fluorescence spectrometry
    • G01J3/4406Fluorescence spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0264Electrical interface; User interface
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2803Investigating the spectrum using photoelectric array detector
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N2021/6417Spectrofluorimetric devices
    • G01N2021/6423Spectral mapping, video display

Landscapes

  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

根据本发明的实施例的光谱成像装置设置有光谱单元、图像传感器和控制单元。光谱单元根据波长分散入射光。图像传感器被配置为使得可以对每个像素设置曝光时间或增益,并且检测分散在光谱单元中的每个波长的光。控制单元被配置为使得可以对每个预定像素区域设置图像传感器的曝光时间或增益。

Description

光谱成像装置和荧光观察装置
技术领域
本技术涉及例如用于病理图像的诊断的光谱成像装置和荧光观察装置。
背景技术
使用荧光染色的病理图像诊断已经被提出作为高度定量和多色方法(例如,见专利文献1)。与彩色染色相比,荧光方法的优点在于容易进行复用并获得详细的诊断信息。在除病理诊断之外的荧光成像中,颜色数量的增加使得可以一次检查在样本中表达的各种抗原。
引用列表
专利文献
专利文献1:日本专利No.4452850
发明内容
技术问题
将区域传感器的横轴扩展到空间并且将其(区域传感器)纵轴扩展到波长的光谱观察装置可以容易地获得样本上的一条线的光谱。然而,在明亮的波长带、非常暗的波长带等被混合在光谱中的情况下,传感器本身的动态范围不足,暗的部分塌陷,或明亮的部分饱和,导致不能获得足够的数据。另一方面,为了解决该问题,如果使用具有大记录容量的传感器,在诸如病理图像的目标中存储容量增大,其中整个像素的数量变得巨大,并且出现新的问题,诸如数据的可访问性降低和整个系统的缓慢操作。
考虑到上述情况,本技术的目的是提供一种光谱成像装置和荧光观察装置,能够在抑制传感器的记录容量时在高动态范围内进行记录。
问题的解决
根据本技术的实施例的光谱成像装置包括光谱部、图像传感器和控制单元。
光谱部针对每个波长分散入射光。
图像传感器被配置为能够以像素为单位设置曝光时间或增益,并且检测分散在光谱部中的每个波长的光。
控制单元被配置为能够以预定像素区域为单位设置图像传感器的曝光时间或增益。
根据上述光谱成像装置,可以获得最佳曝光条件并且可以扩展要记录的光谱的动态范围。
光谱部可以被配置为对每个波长在一个轴向上分散入射光,并且控制单元可以被配置为以垂直于这一个轴向的线为单位设置图像传感器的曝光时间。
图像传感器还可以包括像素部和计算部,计算部计算从像素部输出的图像数据的像素值。在这种情况下,控制单元被配置为以预定像素区域为单位设置用于计算像素值的增益。
控制单元可以包括基于图像传感器的输出获得入射光的发射光谱的评估部,以及存储多个参考成分光谱和自体荧光光谱的存储部。评估部被配置为计算发射光谱的成分比,使得多个参考成分光谱和自发光光谱的线性和被获得。
评估部被配置为基于对每个预定像素区域设置的曝光时间或增益来校准发射光谱或成分光谱中的至少一个。
评估部可以被配置为从捕获的光谱中确定是否存在像素值达到饱和的像素,并且从捕获的光谱的成分比的计算中排除达到饱和的像素。
根据本技术的实施例的荧光观察装置包括载物台、激发部、光谱部、图像传感器和控制单元。
载物台被配置为能够支撑荧光染色的病理标本。
激发部用线照明照射载物台上的病理标本。
光谱部对每个波长由线照明分散激发的荧光。
图像传感器被配置为能够以像素为单位设置曝光时间或增益,并且检测分散在光谱部中的每个波长的光。
控制单元被配置为以预定像素区域为单位设置图像传感器的曝光时间或增益。
荧光观察装置还可以包括显示部,用于基于图像传感器的输出显示荧光光谱。
显示部可以具有操作区域,用于接收以预定像素区域为单位的曝光时间或增益的输入。
显示部可以具有显示区域,用于基于曝光时间或增益设置的设置之后显示光谱和直方图。
发明的有利效果
如上所述,根据本技术,可以在抑制传感器的记录容量的同时在高动态范围中执行记录。
注意,这里描述的效果不一定是限制性的,并且本公开中描述的任何效果可以被提供。
附图说明
[图1]图1是示出根据本技术的实施例的光谱成像装置的基本配置的示意图。
[图2]图2是示出设置有光谱成像装置的荧光观察装置的光学系统的示意图。
[图3]图3是观察目标的病理标本的示意图。
[图4]图4是示出荧光观察装置的配置的框图。
[图5]图5是示出在荧光观察装置中的检测部及其周边的配置的框图。
[图6]图6是用于说明像素部与发射光谱之间的关系的示意图。
[图7]图7是示出在检测区域中发射光谱与动态范围之间的关系的说明图。
[图8]图8是示出在控制单元中执行的直到发射光谱的成分分离计算的处理过程的流程图。
[图9]图9是示出实施例中的饱和处理过程的示例的流程图。
[图10]图10是说明饱和处理的示例的示意图。
[图11]图11是荧光观察装置中的显示部的示意图。
[图12]图12是示出显示部中的激发部的设置区域的屏幕配置的示例的图。
[图13]图13是示出在显示部中的来自一个线照明的荧光光谱的检测设置区域的屏幕配置的示例的图。
[图14]图14是示出显示部中来自其他线照明的荧光光谱的检测设置区域的屏幕配置的示例的图。
[图15]图15是用于说明显示部中的直方图窗口的图。
[图16]图16是用于说明在控制单元中执行的处理的荧光观察装置的框图。
[图17]图17是示出荧光观察装置的修改的示意性框图。
[图18]图18是示出荧光观察装置的其它修改的示意性框图。
具体实施方式
下面将参照附图描述根据本技术的实施例。
[装置概要]
图1是示出根据本技术的实施例的光谱成像装置10的基本配置的示意图。
如同一图所示,光谱成像装置10是线扫描型成像光谱仪,并且包括光谱部11和检测部12。光谱部11具有与X轴方向平行的狭缝111和波长分散元件112。检测部12包括图像传感器(区域传感器)121,图像传感器121包括诸如CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)的固态成像元件。
狭缝111从xy平面上的样本(未示出)提取入射光(荧光)的X轴方向上的空间分量。波长分散元件112针对每个波长分散穿过狭缝111的入射光Lx,以对图像传感器121成像。作为波长分散元件112,通常使用棱镜或衍射光栅在Y轴方向上分离入射光Lx的每个波长带。图像传感器121获得在波长分散元件112中波长分离的入射光L1的(X,λ)的光谱图像。通过结合用于在Y轴方向上扫描样本的机构,可以获得(X,Y,λ)的光谱图像。
图像传感器121被配置为能够对像素单位设置曝光时间或增益,如将在后面描述的。通过取决于每个波长带中的光的光接收区域来调节曝光时间或增益,可以抑制明亮的波长带中的光的饱和,并且可以获得对暗的波长带中的光具有足够灵敏度的光谱图像。
此外,图像传感器121被配置为在全帧中从读出区域仅读取区域的一部分。结果,帧速率可以通过与读出区域的减小相对应的量被提高。此外,可以将读出区域的任何区域划分为多个,并且在每个区域中设置不同的增益和曝光时间。
[荧光观察装置]
图2是示出包括本实施例的光谱成像装置10的荧光观察装置100的光学系统的示意图。
如该图所示,荧光观察装置100包括光谱部11、检测部12和荧光激发部13。荧光激发部13包括激发光光学系统131、滤光块132和物镜133。
激发光光学系统131包括能够发射激发光的一个或多个光源。作为光源,发光二极管(LED)、激光二极管(LD)、汞灯等被使用。激发光是线照明的,并照射在与xy平面平行的载物台20上的样本S。
样本S通常由包括观察目标Sa的载玻片(slide)形成,例如图3所示的组织切片。然而,应当理解,样本S可以由这种载玻片以外的东西形成。样本S(观察目标Sa)被通过激发光的照射激发的多个荧光颜料染色。
滤光块132包括二向色镜、带通滤波器等。二向色镜将来自激发光光学系统131的激发光向物镜133反射,并将透过物镜133的来自样本S的荧光向光谱部11透射。带通滤波器具有切断从样本S向着光谱部11的光的激发光的波长带的带通特性。
图4是示出荧光观察装置100的配置的框图。荧光观察装置100包括装置主体1、控制单元2和显示部3。
装置主体1包括载物台20、激发光源(激发部)101、光谱成像部102、观察光学系统103、扫描机构104、聚焦机构105、非荧光观察部106等。
激发光源101对应于激发光学系统131,并且光谱成像部102对应于光谱部11和检测部12。观察光学系统103对应于滤光块132和物镜133。
扫描机构104通常由XY移动机构形成,该XY移动机构在X轴和Y轴的至少两个方向上与载物台20平行地移动。在这种情况下,例如,如图3所示,图像捕获区域Rs在X轴方向上被划分为多个区域,并且操作被重复执行,即,在Y轴方向上扫描样本S,随后在X轴方向上移动样本S,并且进一步在Y轴方向上执行扫描。结果,能够获得大面积的光谱图像,例如,在病理性玻片(pathological slide)等情况下,能够获得WSI(整体玻片成像,whole slideimaging)。
聚焦机构105在垂直于X轴和Y轴的方向上将载物台20或物镜133移动到最佳聚焦位置。非荧光观察部106被用于样本S的暗场观察、明场观察等,但根据需要可以被省略。
荧光观察装置100可以被连接到用于控制荧光激发部(激光二极管或快门的控制)、作为扫描机构的XY载物台、光谱成像部(相机)、聚焦机构(检测部和Z载物台)、非荧光观察部(相机)等的控制部80。
[图像传感器]
图5是示出检测部12及其周边的配置的框图。
如同一图所示,检测部12包括图像传感器121和信号处理电路122。图像传感器121包括像素部30和计算部31。
像素部30输出例如由RGB像素构成的Bayer(拜尔)阵列的像素阵列的每个像素中通过光电转换与曝光时间对应的电荷信息。通过控制单元2的控制(快门控制),以像素区域为单位(例如,行(线)单位)将像素部30设置成不同的曝光时间。从要经受长时间曝光的行,与基于长时间曝光的累积电荷相对应的高灵敏度像素信息311被输出。从要经受短时间曝光的行,与基于短时间曝光的累积电荷相对应的低灵敏度像素信息312被输出。
计算部31从像素部30输出的图像数据计算像素值。在本实施例中,计算部31输入从像素部30输出的高灵敏度像素信息311和低灵敏度像素信息312,并且具有用于基于输入信息生成一条图像信息的图像信息合成部313。图像信息合成部313的输出被输入到信号处理电路122。信号处理电路122执行信号处理,例如,诸如白平衡(WB)调整和γ校正以生成输出图像。输出图像被提供给控制单元2,存储在后述的存储部21中,或者输出到显示部3。
图像传感器121利用像素部30的Y轴方向(垂直方向)上的像素阵列作为波长的通道来获得荧光光谱数据(x,λ)。所获得的光谱数据(x,λ)以由激发波长激发的光谱数据是否被束缚的状态被记录在控制单元2(存储部21)中。
通过控制单元2对每个预定像素区域设置像素部30的曝光时间。在本实施例中,由于光谱部11中的波长分散元件112在Y轴方向上对入射光Lx(见图1)波长分离,因此在Y轴方向上具有不同波长的光(发射光谱)到达图像传感器121的像素部30。因此,在本实施例中,如上所述,通过控制单元2的控制(快门控制),像素部30的曝光时间被设置成以垂直于Y轴方向平行于X轴方向的线为单位。
控制单元2还被配置为能够以像素区域为单位,单独地设置与计算部31的图像信息合成部313中的高灵敏度像素信息311和低灵敏度像素信息312中的每一个相乘的用于灵敏度补偿的增益。因此,可以提高低灵敏度像素信息的灵敏度,同时抑制高灵敏度像素信息311的饱和。
曝光时间和增益的设定值没有特别限制,可以是任意值或基于预先测量的颜料的发射光谱强度的值。例如,当低灵敏度像素区域的曝光时间和像素值的增益被设置为1时,高灵敏度像素信息区域的曝光时间和像素值的增益被设置为例如约1.5至5.0的范围。
此外,不限于曝光时间和增益都被设置的情况,并且可以被设置为仅曝光时间可调节,或者可以被设置为仅增益可调节。或者,曝光时间和增益中的一个作为主设定值,而另一个可以是补充设定值。例如,通过将曝光时间设置为主设定值,可以获得具有良好S/N的图像数据。
图6是用于说明像素部30与发射光谱之间的关系的示意图。
如同一图所示,控制单元2根据发射光谱的波长范围、滤光块132的透过波长范围(见图2)和图像传感器121(像素部30)的整个读出区域来确定检测区域。在荧光成像的情况下,滤光块132通常具有用于切断激发光的带通特性。因此,如果存在多个激发波长,则如同一图所示的波长不透射的频带(不透明频带DZ)被生成。控制单元2从检测区域中排除不包括这种待检测信号的区域。
如图6所示,当位于光非渗入区DZ的上方和下方的区域分别被取为ROI1和ROI2时,具有相应峰的颜料的发射光谱(以下,也称为荧光光谱)被检测。图7是示出在检测区域中的发射光谱与动态范围之间的关系的说明图,同一图的(a)示出在设置曝光时间和增益之前获得的数据(在每个检测区域中曝光时间或增益相同),并且同一图的(b)示出分别设置曝光时间和增益之后获得的数据。
如图7中的(a)所示,ROI1的颜料具有强光谱强度并且饱和超过检测的动态范围,然而ROI2的颜料具有弱强度。在本实施例中,如图7中的(b)所示,将与ROI1相对应的(X,λ)区域的曝光时间设置为相对短(或增益设置为相对小),相反,将与ROI2相对应的(X,λ)区域的曝光时间设置为相对长(或增益设置为相对大)。结果,用适当的曝光可以捕获深色和浅色的颜料。检测区域的坐标信息,诸如ROI1与ROI2、增益以及关于曝光时长的信息被存储在控制单元2的存储部21中。
[控制单元]
通过包括图像传感器121的检测部12(光谱成像部102)获得的荧光光谱被输出到控制单元2。可以基于单独的颜料等的光谱,通过成分分析(色彩分离)来定量评估多个荧光光谱的捕获的数据。控制单元2,如图4所示,包括存储部21和评估部22。
控制单元2可以通过计算机中使用的硬件元件,诸如CPU(中央处理单元)、RAM(随机存取存储器)和ROM(只读存储器))和必要的软件来实现。可以使用诸如FPGA(现场可编程门阵列)的PLD(可编程逻辑电路),或DSP(数字信号处理器)、其它ASIC(专用集成电路(ASIC))等来作为CPU的代替或补充。
存储部21预先存储作为单独用于对样本S染色的颜料的多个参考的成分光谱和样本S的自发光光谱(以下,也统称为标准光谱)。评估部22基于在存储部21中存储的标准光谱,将由图像传感器121获得的样本S的发射光谱分离成从颜料和自发光光谱导出的光谱,并且计算每个成分比。在本实施例中,捕获的样本S的发射光谱的成分比被计算以便作为标准光谱的线性和。
另一方面,由图像传感器121获得的样本S的发射光谱从原始光谱被调制,因为对每个检测区域单独地设置曝光时间和增益。因此,如果按原样使用由图像传感器121获得的数据,则可能不能精确地执行成分光谱的色彩分离计算。
因此,评估部22被配置为基于对图像传感器121的每个预定像素区域(检测区域)设置的曝光时间和增益来校准发射光谱或参考成分光谱中的至少一个。
图8是示出在控制单元2中执行的直到发射光谱的成分分离计算的处理过程的流程图。在下文中,由图像传感器121获得的样本S的发射光谱也被称为捕获的光谱。
如同一图所示,控制单元2设置图像传感器121的像素部30的检测区域的曝光时间和增益(步骤101)。这些设定值由用户经由后述的显示部3输入。在将曝光时间和增益设置记录到存储部21之后,控制单元2经由图像传感器121获得样本S的捕获的光谱(步骤102和103)。
控制单元2基于每个检测区域的设置的增益和设置的曝光时间来解调捕获的光谱,或者通过调制存储在存储部21中的标准光谱来校准捕获的光谱(步骤104)。换句话说,基于设置的曝光时间和设置的增益,将捕获的光谱和标准光谱转换为公共强度轴。强度轴包括,例如,单位时间电荷数[e-],光谱辐射度[W/(sr·m2·nm)]等。在改变标准光谱的情况下,将标准光谱乘以捕获时各检测区域的相对强度比。此后,必要时执行将后述的饱和处理(步骤105),然后执行捕获的光谱的成分分离计算(步骤106)。
另一方面,在通过光谱学执行多个荧光样本的光谱捕获的情况下,重要的是设置诸如每个像素的曝光时间和增益的参数,使得可以在没有饱和的情况下预先进行捕获。然而,在WSI(整体玻片成像)等中,很难在样本的所有区域中获得最佳曝光,并且时间损失也很大。当在捕获期间发生饱和时,光谱的峰值在传感器的AD(模拟到数字转换)最大值处达到极限,使得不可能捕获正确的光谱。因此,出现了与为色彩分离计算而预先准备的成分光谱(标准光谱)的偏差变大,并且不能执行正确计算的问题。
因此,在本实施例中,除了通过ROI(感兴趣区域)设置来扩展动态范围之外,还执行后面描述的饱和处理。这使得即使在捕获的光谱中存在某种饱和时也能够正确地执行色彩分离计算,从而减少捕获的重试次数。
本实施例中的饱和处理执行指定发生饱和的像素并将该像素从计算中排除的处理。处理过程的示例在图9中示出。
图9是示出饱和处理过程的流程图。
如同一图所示,控制单元2执行从获得的捕获的光谱生成饱和检测阵列的处理(步骤201)。如图10所示,对每个波长(通道)确定捕获的光谱的饱和的存在或不存在,并且生成饱和检测阵列,其中不饱和的通道被设置为“1”,饱和的通道被设置为“0”。
通过参考每个检测区域的像素值以及它是否达到最大亮度值来确定饱和的存在或不存在。由于与原始正确光谱相比,估计达到最大亮度值的像素区域是饱和的,因此从成分分离计算中去除与像素区域(通道)相对应的参考光谱的通道。
总体上,通过光谱捕获记录的波长的通道数(CH数)通常大于最终输出的成分数。因此,如果未发生饱和的有效通道的数量大于成分的数量,则即使从计算中去除发生饱和的通道的数据,成分分离计算也可以被执行。
当生成阵列中的有效通道数(通道数确定为“1”)大于最终输出的成分数(通道数)时,执行将饱和检测阵列乘以捕获的光谱和参考光谱的处理(步骤203和204)。否则,计算是不可能的,因此,在不执行成分分离计算的情况下结束处理。结果,由于在其中发生饱和的通道被从最小二乘法的计算排除,可以仅利用正确测量的波长执行成分比计算。
根据如上所述的本实施例,关于能够改变任何检测区域的增益设置和曝光时间的图像传感器121,提供光谱成像光学系统以将图像传感器121的横轴扩展到空间并且将其纵轴扩展到波长。从图像传感器121的每个区域,通过设置为仅读取检测区域,进一步将检测区域划分为波长×空间的两个或更多个二维空间ROI,并且通过对每个检测区域设置不同增益和曝光时间的组合,可获得最佳曝光条件,并且还可以扩大要记录的光谱的动态范围。
例如,当采取多荧光染色样本时,与红色荧光颜料相比,蓝色荧光颜料可以具有非常高的强度。在这样的条件下,蓝色波长带的曝光时间被缩短,增益被设置为更低,红色波长带的曝光时间被延长,增益被设置为更高。结果,具有浅位范围的记录可以被执行,从而可以在抑制传感器的记录容量的同时执行具有高动态范围的记录。
图像传感器121的检测区域根据传感器的灵敏度区域内的待测量对象的光谱来设置。如果存在诸如陷波滤波器的非透明带和在观察光路中不存在光的区域,则可以通过将它们从读出区域中排除来提高记录帧速率。
此外,根据本实施例,当从所获得的光谱中单独计算每个颜料的颜色混合比时,即使在捕获的光谱中存在一些饱和,也可以通过生成用于区分饱和波长和其他波长的饱和检测阵列(见图10)来执行通过光谱拟合的色彩分离。
[显示部]
通过ROI设置捕获参数的问题是用户难以理解捕获条件。因为数据是空间和波长的三维,所以很难看到哪里发生饱和以及哪个波长的信号不足。执行ROI设置和显示的部分需要能够全面地显示和设置设置参数与捕获范围之间的关系、设置参数与传感器输出之间的关系等。
因此,在本实施例中,显示部3被如下配置,并且将在下面描述显示部3的细节。这里,作为示例,将描述假设多次荧光成像的显示部3的配置。
图11是说明显示部3的示意图。显示部3被配置为能够基于图像传感器121的输出来显示样本S的荧光光谱。显示部3可以由整体安装到控制单元2的监视器构成,或者可以是连接到控制单元2的显示装置。显示部3包括诸如液晶装置或有机EL装置的显示元件和触摸传感器,并且被配置为UI(用户界面),显示用于输入拍摄条件、拍摄图像等的设置。
如图11所示,显示部3包括主屏幕301、缩略图像显示屏幕302、载玻片信息显示屏幕303和捕获载玻片列表显示屏幕304。主屏幕301包括用于捕获的控制按钮(键)的显示区域305、激发激光(线照明)的设置区域306、光谱的检测设置区域307和308、光谱自动设置控制区域309等。可以存在这些区域305至309中的至少一个,并且在一个显示区域中可以包括其他显示区域。
荧光观察装置100依次执行从载玻片架(未示出)取出载玻片(样本S)、读取载玻片信息、捕获载玻片的缩略图、设置曝光时间等。载玻片信息包括患者信息、组织部位、疾病、染色信息等,并且从附接到载玻片的条形码、QR码(注册商标)等被读取。样本S的缩略图图像和载玻片信息分别显示在显示屏幕302和303上。捕获的载玻片信息作为列表显示在屏幕304上。
除了样本S的荧光图像之外,在主屏幕301上显示当前捕获的载玻片的捕获状态。在设置区域306中显示或设置激发激光,并且在检测设置区域307和308中显示或设置由激发激光导出的荧光光谱。
图12是示出激发激光的设置区域306的屏幕配置的示例的图。这里,通过对每个复选框81的触摸操作来选择或切换各个激发线L1-L4的输出的开启/关闭(ON/OFF)。此外,通过操作部82设置每个光源的输出的大小。
图13示出了激发线1中的光谱检测设置区域307的屏幕配置的示例,并且图14示出了激发线2中的光谱检测设置区域308的屏幕配置的示例。在每个图中,纵轴代表亮度,并且横轴代表波长。这些检测设置区域307和308各自被配置为用于以图像传感器121的像素为预定单位接受曝光时间和增益的输入的操作区域。
在图13和图14中,指示器83指示激发光源(L1、L2和L4)是亮的,并且指示器83的长度越长指示光源的功率越大。荧光光谱85的检测波长范围由操作条84设置。荧光光谱85的显示方法没有特别限制,例如在激发线1和2处以总像素平均光谱(波长×强度)被显示。
如图13和图14所示,荧光光谱85可以通过热图方法显示,其中值的频率信息用阴影表示。在这种情况下,也可以通过平均值可视化不清楚的信号分布。
注意,用于显示荧光光谱85的图表的纵轴不限于线性轴,并且可以是对数轴或混合轴(双指数轴)。
可以根据激发光源的波长和功率来设置荧光光谱85。荧光光谱85的波长范围可以通过使用例如鼠标等输入设备在操作条84上的光标移动操作而被任意改变。荧光光谱85由电流平均值或考虑到设置变化从最后捕获的波形计算出的波形表示。
控制单元2基于输入到检测设置区域307和308的波长带(设定值)来设置图像传感器121的读取区域。基于由检测设置区域307和308设置的波长带和预先获得的预定转换公式(到与波长对应的像素的转换公式),传感器坐标被指定,并且曝光时间和增益被设置。可以分别地提供能够单独地设置曝光时间和增益的显示区域。基于曝光时间和增益输入设置以及经由操作条84进行设置之后,检测设置区域307和308显示荧光光谱85。
图15示出了光谱自动设置控制区域309的屏幕配置的示例。在光谱自动设置控制区域309中,布置有自动设置键86、直方图窗口87等。自动设置开始键86自动执行预采样成像和上述光谱检测设置。直方图窗口87计算并显示与在检测设置区域307和308中设置的光谱的波长范围相对应的直方图。直方图的纵轴是频率,横轴是波长。
参照直方图窗口87,当在检测设置区域307和308中设置的光谱的检测条件下捕获时,可以明确地确认饱和的发生和信号不足(强度不足)的存在或不存在。此外,可以在检查直方图的同时改变曝光时间和增益。
图16是用于说明在控制单元2中执行的处理的荧光观察装置100的框图。
控制单元2将在显示部3的各个设置区域306至308中设置的参数存储在存储部21中(见图4),并且基于该参数对图像传感器121设置读取区域(波长带)、曝光时间和增益(S401)。
控制单元2将由图像传感器121获得的样本S的发射光谱输出到显示部3(S402),并且光谱的波形显示在检测设置区域307和308中(见图13和图14)。
在自动设置控制模式中,控制单元2基于图像传感器121的捕获数据执行曝光时间和增益的优化处理(步骤403),并且重复获取改变后的参数的捕获数据的处理。
另一方面,当执行捕获的光谱的成分分离计算时,基于图像传感器121的捕获数据执行上述成分分离计算,并且在显示部3(例如,主屏幕301)上显示结果(S404)。
如上所述,根据本实施例,基于设置的波长带、曝光时间和增益,实时地捕获并显示设置后的光谱和直方图,并且从所获得的光谱显示新的设定值下的光谱和直方图。因此,可以全面地显示和设置设置参数与捕获范围之间的关系、设置参数与传感器输出之间的关系等。
<修改>
接着,对上述荧光观察装置100的配置的修改进行描述。
图17是根据修改例1的荧光观察装置200的示意性框图,并且图18是根据修改例2的荧光观察装置300的示意性框图。荧光观察装置200和300分别包括装置主体1、控制单元2、显示部3和控制程序81。
控制程序81是用于使荧光观察装置200和300执行与由上述荧光观察装置100的控制部80执行的控制功能相同的功能的程序。在图17示出的荧光观察装置200中,控制程序81以存储在记录介质,例如磁盘、光盘、磁光盘或闪存中的状态被设置,并且被下载到与荧光观察装置200连接的电子计算机C等并由其使用。
另一方面,在图18所示的荧光观察装置300中,将经由因特网等网络从外部发布的控制程序81下载到电子计算机C等并被使用。在这种情况下,荧光观察装置300和用于获得控制程序81的代码被打包以被提供。
下载了控制程序81的电子计算机C获得用于控制激发光源101、光谱成像部102、扫描机构104、聚焦机构105、非荧光观察部106等的各种数据,并且下载控制程序81的控制算法被执行,以及荧光观察装置200和300的控制条件被计算。电子计算机C基于计算出的条件向荧光观察装置200和300发出命令,从而荧光观察装置200和300的条件被自动控制。
尽管以上描述了本技术的实施例,不言而喻,本技术不限于上述实施例,并且可以进行各种修改。
本技术还可以具有以下结构。
(1)一种光谱成像装置,包括:
光谱部,针对每个波长分散入射光;
图像传感器,被配置为能够以像素为单位设置曝光时间或增益,图像传感器检测分散在光谱部中的每个波长的光;和
控制单元,被配置为能够以预定像素区域为单位设置图像传感器的曝光时间或增益。
(2)根据(1)所述的光谱成像装置,其中
光谱部被配置为对每个波长在一个轴向上分散入射光,并且
控制单元被配置为以垂直于这一个轴向的线为单位设置图像传感器的曝光时间或增益。
(3)根据(1)或(2)所述的光谱成像装置,其中
图像传感器包括像素部和计算部,计算部根据从像素部输出的图像数据计算像素值,以及
控制单元被配置为以预定像素区域为单位设置用于计算像素值的增益。
(4)根据(1)至(3)中任一项所述的光谱成像装置,其中
控制单元包括评估部,基于图像传感器的输出获得入射光的发射光谱;存储部,存储多个参考成分光谱和自体荧光光谱,并且
评估部被配置为计算发射光谱的成分比,使得获得多个参考成分光谱和自发光光谱的线性和被获得。
(5)根据(4)所述的光谱成像装置,其中
评估部被配置为基于对每个预定像素区域设置的曝光时间或增益来校准发射光谱或成分光谱中的至少一个。
(6)根据(5)所述的光谱成像装置,其中
评估部被配置为从捕获的光谱确定是否存在像素值达到饱和的像素,并且将达到饱和的像素从捕获的光谱的成分比的计算排除。
(7)一种荧光观察装置,包括:
载物台,能够支撑荧光染色的病理标本;
激发部,用线照明照射载物台上的病理标本;
光谱部,针对每个波长分散由线照明激发的荧光;
图像传感器,被配置为能够以像素为单位设置曝光时间或增益,图像传感器检测分散在光谱部中的每个波长的光;和
控制单元,被配置为以预定像素区域为单位设置图像传感器的曝光时间或增益。
(8)根据(7)所述的荧光观察装置,还包括:
显示部,用于基于图像传感器的输出显示荧光光谱。
(9)根据(8)所述的荧光观察装置,其中
显示部具有用于接收以预定像素区域为单位的曝光时间或增益的输入的操作区域。
(10)根据(8)或(9)所述的荧光观察装置,其中
显示部具有显示区域,用于显示基于所设置的曝光时间或增益设置后的光谱和直方图。
参考标记列表
2 控制单元
3 显示部
10 光谱成像装置
11 光谱部
12 检测部
13 荧光激发部
20 载物台
21 存储部
22 评估部
30 像素部
31 计算部
100、200、300 荧光观察装置
121 图像传感器

Claims (10)

1.一种光谱成像装置,包括:
光谱部,针对每个波长分散入射光;
图像传感器,被配置为能够以像素为单位设置曝光时间或增益,所述图像传感器检测分散在所述光谱部中的每个波长的光;和
控制单元,被配置为能够以预定像素区域为单位设置所述图像传感器的所述曝光时间或所述增益。
2.根据权利要求1所述的光谱成像装置,其中
所述光谱部被配置为对每个波长在一个轴向上分散所述入射光,并且
所述控制单元被配置为以垂直于所述一个轴向的线为单位设置所述图像传感器的所述曝光时间或所述增益。
3.根据权利要求1所述的光谱成像装置,其中
所述图像传感器包括像素部和计算部,所述计算部根据从所述像素部输出的图像数据计算像素值,以及
所述控制单元被配置为以所述预定像素区域为单位设置用于计算所述像素值的所述增益。
4.根据权利要求1所述的光谱成像装置,其中
所述控制单元包括评估部和存储部,所述评估部基于所述图像传感器的输出获得所述入射光的发射光谱,所述存储部存储多个参考成分光谱和自体荧光光谱,并且
所述评估部被配置为计算所述发射光谱的成分比,使得获得多个所述参考成分光谱和自发光光谱的线性和。
5.根据权利要求4所述的光谱成像装置,其中
所述评估部被配置为基于对每个预定像素区域设置的所述曝光时间或所述增益来校准所述发射光谱或所述成分光谱中的至少一个。
6.根据权利要求5所述的光谱成像装置,其中
所述评估部被配置为从捕获的光谱确定是否存在像素值达到饱和的像素,并且将达到饱和的所述像素从捕获的光谱的成分比的计算排除。
7.一种荧光观察装置,包括:
载物台,能够支撑荧光染色的病理标本;
激发部,用线照明照射所述载物台上的所述病理标本;
光谱部,针对每个波长分散由所述线照明激发的荧光;
图像传感器,被配置为能够以像素为单位设置曝光时间或增益,所述图像传感器检测分散在所述光谱部中的每个波长的光;和
控制单元,被配置为以预定像素区域为单位设置所述图像传感器的所述曝光时间或所述增益。
8.根据权利要求7所述的荧光观察装置,还包括:
显示部,用于基于所述图像传感器的输出显示荧光光谱。
9.根据权利要求8所述的荧光观察装置,其中
所述显示部具有用于接收以所述预定像素区域为单位的曝光时间或增益的输入的操作区域。
10.根据权利要求8所述的荧光观察装置,其中
所述显示部具有显示区域,用于显示基于所设置的所述曝光时间或所述增益设置后的光谱和直方图。
CN201980054384.6A 2018-08-28 2019-07-22 光谱成像装置和荧光观察装置 Pending CN112585450A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-159011 2018-08-28
JP2018159011 2018-08-28
PCT/JP2019/028658 WO2020044860A1 (ja) 2018-08-28 2019-07-22 分光イメージング装置および蛍光観察装置

Publications (1)

Publication Number Publication Date
CN112585450A true CN112585450A (zh) 2021-03-30

Family

ID=69645250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054384.6A Pending CN112585450A (zh) 2018-08-28 2019-07-22 光谱成像装置和荧光观察装置

Country Status (5)

Country Link
US (1) US11994469B2 (zh)
JP (1) JP7501364B2 (zh)
CN (1) CN112585450A (zh)
DE (1) DE112019004373T5 (zh)
WO (1) WO2020044860A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267612A1 (zh) * 2021-06-26 2022-12-29 荣耀终端有限公司 一种动态调节光谱传感器曝光参数的方法及电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7228860B1 (ja) 2022-02-07 2023-02-27 国立大学法人北海道大学 分光計測器

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105017A1 (en) * 2002-12-02 2004-06-03 Yasuo Aotsuka Solid-state imaging apparatus and digital camera
JP2009194604A (ja) * 2008-02-14 2009-08-27 Seiko Epson Corp 撮像装置及び撮像装置の駆動方法
CN101577287A (zh) * 2008-05-09 2009-11-11 三星电子株式会社 多层图像传感器
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
JP2011100058A (ja) * 2009-11-09 2011-05-19 Olympus Corp レーザ走査型顕微鏡
JP2012003198A (ja) * 2010-06-21 2012-01-05 Olympus Corp 顕微鏡
CN103454204A (zh) * 2012-05-29 2013-12-18 索尼公司 信息处理设备、信息处理方法和程序
CN104251850A (zh) * 2013-06-27 2014-12-31 中国医药大学 利用超频谱图像分析组织细胞的系统及方法
CN105388115A (zh) * 2014-08-20 2016-03-09 精工爱普生株式会社 测色方法及装置、分光测定方法及装置、以及电子设备
JP2016192707A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 撮像素子、撮像方法、並びにプログラム
WO2017223206A1 (en) * 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5470534B2 (ja) * 2009-04-28 2014-04-16 イマジニアリング株式会社 分光器
JP6750621B2 (ja) * 2015-06-26 2020-09-02 ソニー株式会社 検査装置、センシング装置、感度制御装置、検査方法、並びにプログラム
JP7408265B2 (ja) * 2017-06-13 2024-01-05 株式会社キーエンス 共焦点変位計
JP6971646B2 (ja) * 2017-06-13 2021-11-24 株式会社キーエンス 共焦点変位計

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040105017A1 (en) * 2002-12-02 2004-06-03 Yasuo Aotsuka Solid-state imaging apparatus and digital camera
JP2009194604A (ja) * 2008-02-14 2009-08-27 Seiko Epson Corp 撮像装置及び撮像装置の駆動方法
CN101577287A (zh) * 2008-05-09 2009-11-11 三星电子株式会社 多层图像传感器
US20110064296A1 (en) * 2008-05-16 2011-03-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
WO2010019515A2 (en) * 2008-08-10 2010-02-18 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
US20100056928A1 (en) * 2008-08-10 2010-03-04 Karel Zuzak Digital light processing hyperspectral imaging apparatus
JP2011100058A (ja) * 2009-11-09 2011-05-19 Olympus Corp レーザ走査型顕微鏡
JP2012003198A (ja) * 2010-06-21 2012-01-05 Olympus Corp 顕微鏡
CN103454204A (zh) * 2012-05-29 2013-12-18 索尼公司 信息处理设备、信息处理方法和程序
CN104251850A (zh) * 2013-06-27 2014-12-31 中国医药大学 利用超频谱图像分析组织细胞的系统及方法
CN105388115A (zh) * 2014-08-20 2016-03-09 精工爱普生株式会社 测色方法及装置、分光测定方法及装置、以及电子设备
JP2016192707A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 撮像素子、撮像方法、並びにプログラム
WO2017223206A1 (en) * 2016-06-21 2017-12-28 Sri International Hyperspectral imaging methods and apparatuses
US20190204577A1 (en) * 2016-06-21 2019-07-04 Sri International Hyperspectral imaging methods and apparatuses

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘羽: "《高清电视摄影技术》", 31 May 2015, 中国传媒大学出版社 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022267612A1 (zh) * 2021-06-26 2022-12-29 荣耀终端有限公司 一种动态调节光谱传感器曝光参数的方法及电子设备

Also Published As

Publication number Publication date
JP7501364B2 (ja) 2024-06-18
JPWO2020044860A1 (ja) 2021-08-26
WO2020044860A1 (ja) 2020-03-05
DE112019004373T5 (de) 2021-05-20
US20210318244A1 (en) 2021-10-14
US11994469B2 (en) 2024-05-28

Similar Documents

Publication Publication Date Title
JP7424286B2 (ja) 蛍光観察装置及び蛍光観察方法
US10605661B2 (en) Image capturing with filters of overlapping passbands
US10964001B2 (en) Multispectral imaging systems and methods
US11269171B2 (en) Spectrally-resolved scanning microscope
JP7501532B2 (ja) 光学測定装置及び光学測定システム
CA3067870A1 (en) Msia scanning instrument with increased dynamic range
US11994469B2 (en) Spectroscopic imaging apparatus and fluorescence observation apparatus
US11143855B2 (en) Scanning microscope using pulsed illumination and MSIA
JP2013003386A (ja) 撮像装置およびバーチャルスライド装置
JP3453595B2 (ja) 多波長蛍光計測装置
JP7284457B2 (ja) 量子効率分布の取得方法、量子効率分布の表示方法、量子効率分布の取得プログラム、量子効率分布の表示プログラム、分光蛍光光度計及び表示装置
WO2018128146A1 (ja) 分光測定方法および分光測定装置
US20210278648A1 (en) Scanning microscope using a mosaic scan filter
JP6564166B2 (ja) 測定装置および蛍光測定方法
JP6599018B2 (ja) 画像取得システム及び画像取得方法
WO2022249598A1 (ja) 情報処理方法、情報処理装置、及びプログラム
EP3669743B1 (en) System and method, in particular for microscopes and endoscopes, for creating an hdr image of a fluorescing fluorophore
US20220245794A1 (en) Apparatus, system, and method for fluorescence imaging with stray light reduction
WO2017006756A1 (ja) 色素測定装置および色素測定方法
Rana Integration of hyperspectral imaging system for optimized data acquisition and control to revolutionize pathology applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination