CN117321408A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN117321408A
CN117321408A CN202280031044.3A CN202280031044A CN117321408A CN 117321408 A CN117321408 A CN 117321408A CN 202280031044 A CN202280031044 A CN 202280031044A CN 117321408 A CN117321408 A CN 117321408A
Authority
CN
China
Prior art keywords
light
excitation light
spectrum
filter
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280031044.3A
Other languages
English (en)
Inventor
能泽克弥
八子基树
清原孝行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN117321408A publication Critical patent/CN117321408A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/30—Measuring the intensity of spectral lines directly on the spectrum itself
    • G01J3/36—Investigating two or more bands of a spectrum by separate detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/443—Emission spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

摄像装置具备：至少1个光源(20)，出射用于对包含至少1个发光体的物体进行照射的激励光；编码滤光器阵列(40)，包括透射谱相互不同的多个滤光器；图像传感器(50)，经由所述编码滤光器阵列对由于所述激励光的照射而产生的物体光进行摄像，并生成压缩图像数据；以及处理电路(60)，基于所述压缩图像数据生成高光谱图像数据，所述物体光包括所述至少1个发光体吸收所述激励光而产生的发出光、以及被所述物体反射的所述激励光的反射光，所述多个滤光器包括透射谱相互不同的2个滤光器，所述激励光的谱与所述2个滤光器各自的透射谱中的透射域重叠。

Description

摄像装置
技术领域
本公开涉及摄像装置。
背景技术
通过用激励光照射被赋予了荧光色素的物体，从该荧光色素发出荧光。以生物领域及医学领域为中心而广泛地使用取得该荧光像的荧光摄像。在荧光摄像中，通过使荧光色素附着于具有特定的分子、组织或者构造的观察对象，能够使该观察对象可视化(例如非专利文献1)。
通过在荧光摄像中由高光谱相机对物体进行摄像，能够更详细地调查该物体所包括的观察对象。专利文献1公开了使用压缩感知的技术得到物体的高光谱图像的摄像装置。
在先技术文献
专利文献
专利文献1：美国专利第9599511号说明书
非专利文献
非专利文献1：J.W.Lichtman and J.A.Conchello，Fluorescence microscopy，Nat.Methods 2，910-919(2005).
发明内容
本公开提供在荧光摄像中使用压缩感知的技术更准确地得到荧光的高光谱图像的摄像装置。
本公开的一个方式所涉及的摄像装置具备：至少1个光源，出射用于对包含至少1个发光体的物体进行照射的激励光；编码滤光器阵列，包括透射谱相互不同的多个滤光器；图像传感器，经由所述编码滤光器阵列对由于所述激励光的照射而产生的物体光进行摄像，并生成压缩图像数据；以及处理电路，基于所述压缩图像数据生成高光谱图像数据，所述物体光包括所述至少1个发光体吸收所述激励光而产生的发出光、以及被所述物体反射的所述激励光的反射光，所述多个滤光器包括透射谱相互不同的2个滤光器，所述激励光的谱与所述2个滤光器各自的透射谱中的透射域重叠。
本公开的概括或者具体的方式也可以由系统、装置、方法、集成电路、计算机程序或者计算机可读取的记录介质实现，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意组合来实现。计算机可读取的记录介质例如包括CD-ROM(紧凑盘只读存储器(Compact Disc-Read Only Memory))等非易失性的记录介质。装置也可以由1个以上的装置构成。在装置由2个以上的装置构成的情况下，该2个以上的装置既可以配置在1个设备内，也可以分开配置在分离的2个以上的设备内。在本说明书及权利要求书中，“装置”不仅可以指1个装置，也可以指由多个装置构成的系统。在“系统”所包括的多个装置之中，也可以包括被设置在相对于其他装置为远程的地点且经由通信网络连接的装置。
根据本公开的技术，能够实现在荧光摄像中使用压缩感知的技术更准确地得到荧光的高光谱图像的摄像装置。
附图说明
图1A是示意性地表示滤光器阵列的例子的图。
图1B是表示图1A的滤光器阵列所包括的多个滤光器之中的第1滤光器的透射谱的例子的图。
图1C是表示图1A的滤光器阵列所包括的多个滤光器之中的第2滤光器的透射谱的例子的图。
图1D是示意性地表示对象波段与其所包含的多个波带之间的关系的图。
图1E是表示图1D所示的多个波带各自的光的透射率的空间分布的例子的图。
图2是表示滤光器阵列所包括的16个种类的滤光器之中的4个种类的滤光器的透射谱的例子的曲线图。
图3中，(a)是示意性地表示以往的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器的透射谱的图，(c)是示意性地表示透射该滤光器后的激励光的反射光及荧光的谱的图。
图4是示意性地表示本公开的例示性的实施方式1所涉及的摄像装置的构成的图。
图5是表示向滤光器照射了具有矩形形状的谱的激励光的情况下的平均透射率的中心波长依赖性的曲线图。
图6中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器的透射谱的图，(c)是示意性地表示透射该滤光器后的激励光的反射光及荧光的谱的图。
图7是表示9个种类的一般性的荧光色素的吸收谱的例子的曲线图。
图8A中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器1的透射谱的图，(c)是示意性地表示滤光器2的透射谱的图，(d)是示意性地表示滤光器3的透射谱的图。
图8B中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器4的透射谱的图，(c)是示意性地表示滤光器5的透射谱的图。
图9A是表示Cy3的吸收谱的曲线图。
图9B是表示Cy3的荧光谱的曲线图。
图10A是表示Cy5的吸收谱的曲线图。
图10B是表示Cy5的荧光谱的曲线图。
图11是示意性地表示本公开的例示性的实施方式2所涉及的摄像装置的构成的图。
图12A是表示Cy5.5的吸收谱的曲线图。
图12B是表示Cy5.5的荧光谱的曲线图。
图13中，(a)是示意性地表示第1LED的激励光的谱的图，(b)是示意性地表示第2LED的激励光的谱的图，(c)是示意性地表示物体被照射的激励光的谱的图。
具体实施方式
在本公开中，电路、单元、装置、部件或者部的全部或者一部分、或者框图中的功能模块的全部或者一部分，例如能够由半导体装置、半导体集成电路(IC)或者包含LSI(largescale integration：大规模集成电路)的1个或者多个电子电路执行。LSI或者IC既可以被集成于1个芯片，也可以组合多个芯片而构成。例如，存储元件以外的功能模块也可以被集成于1个芯片。在此称为LSI或者IC，但根据集成的程度而叫法改变，也可以是被称为系统LSI、VLSI(very large scale integration：超大规模集成电路)或ULSI(ultra largescale integration：特大规模集成电路)的电路。在LSI的制造后被编程的现场可编程逻辑门阵列(FPGA、Field Programmable Gate Array)或者能够重构LSI内部的接合关系或者设置LSI内部的电路划分的可重构逻辑器件(reconfigurable logic device)也能够以相同的目的使用。
进而，电路、单元、装置、部件或者部的全部或者一部分的功能或者操作，也能够通过软件处理来执行。在该情况下，软件被记录于1个或者多个ROM、光盘、硬盘驱动器等非易失性记录介质，在软件由处理装置(processor)执行时，由该软件确定的功能由处理装置(processor)及周边装置执行。系统或者装置也可以具备记录了软件的1个或者多个非易失性记录介质、处理装置(processor)、以及所需的硬件设备例如接口。
以下，说明本公开的例示性的实施方式。此外，以下说明的实施方式均表示概括性或者具体性的例子。以下的实施方式中表示的数值、形状、构成要素、构成要素的配置位置及连接方式、步骤、步骤的顺序等为一例，其意图不在于限定本公开。以下的实施方式中的构成要素之中的未记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。各图是示意图，不一定是严密的图示。进而，在各图中，对于在实质上相同的构成要素赋予同一标记，有时省略或者简化重复的说明。
在说明本公开的实施方式之前，说明成为本公开的基础的见识。
在用激励光照射包含荧光色素的物体的情况下，产生由荧光色素吸收激励光的一部分而发出的荧光、以及被物体反射的激励光的反射光。在用于荧光摄像的以往的摄像装置中，能够得到荧光图像的波带的数量是如RBG那样的3个左右。在该情况下，荧光的谱与激励光的谱大多存在于相同的波带内，根据荧光与激励光的反射光重叠而成的光的像，不容易对荧光的像与激励光的反射光的像进行区别。因此，以往的摄像装置具备如二向色镜或者长波通滤光器那样截断激励光的光学元件。
在物体包含多个种类的荧光色素的情况下，这样的光学元件按荧光色素的每个种类而变更。根据用途，有时也从荧光摄像切换为通常的透射像摄影或者反射像摄影。在通常的透射像摄影或者反射像摄影中，取得荧光与激励光的反射光重叠而成的光的像。在该情况下，为了进行通常的透射像摄影或者反射像摄影，需要将截断激励光的光学元件拆下，或者将该光学元件变更为半反射镜。
也能够将得到高光谱图像的高光谱摄像装置用于荧光摄像。高光谱图像是比一般性的RGB图像具有更多的波长的信息的图像数据。高光谱图像表示关于对象波段所包含的4个以上的波带中的各个波带的图像。
在荧光摄像中，在荧光的谱具有与激励光的反射光的谱不重叠的波段的情况下，在该波段所包含的波带中，不用将激励光的反射光去除，就能够得到荧光像。因此，无需使用将激励光截断的光学元件，也无需按荧光色素的每个种类变更该光学元件。
作为用于荧光摄像的高光谱摄像装置，存在线扫描型的高光谱相机及带液晶可调谐滤光器的相机。
在线扫描型的高光谱相机中，通过用线形状的光照射物体，得到线形状的反射光的像，该反射光的像通过如格栅或者棱镜那样的分光元件，被分离为每个波带的线形状的像。通过针对用线形状的光照射物体的照射位置进行扫描并顺次摄像，得到物体的高光谱图像。由于扫描需要时间，因此不容易由线扫描型的高光谱相机对动态图像进行摄像。
在带液晶可调谐滤光器的相机中，能够根据向该滤光器施加的电压的值使透射滤光器的光的波带变化。通过向该滤光器施加值不同的电压，并对物体多次进行摄像，得到物体的高光谱图像。在观察物体的整体时使用白色光的透射像及反射像。在液晶可调谐滤光器中，不容易实现白色透射的状态。
高光谱图像也能够利用专利文献1所公开的压缩感知的技术来取得。在专利文献1所公开的压缩感知的技术中，被物体反射的光经由被称为编码元件的编码滤光器阵列而由图像传感器检测。滤光器阵列包括以2维排列的多个滤光器。这些滤光器分别具有固有的透射谱。通过使用这样的滤光器阵列进行摄像，能够得到将多个带的图像信息压缩为1个2维图像的压缩图像。在该压缩图像中，对象物的谱信息按每个像素被压缩为1个像素值并记录。
图1A是示意性地表示滤光器阵列40的例子的图。滤光器阵列40包括以2维排列的多个滤光器。各滤光器具有个别设定的透射谱。将入射光的波长设为λ，透射谱由函数T(λ)表现。透射谱T(λ)可以取0以上且1以下的值。在图1A所示的例子中，滤光器阵列40具有以6行8列排列的48个矩形的滤光器。这不过是例示，在实际的用途中，可以设置比这更多的滤光器。滤光器阵列40所包括的滤光器的个数也可以与图像传感器的像素数是相同程度。
图1B及图1C分别是表示图1A的滤光器阵列40所包括的多个滤光器之中的第1滤光器A1及第2滤光器A2的透射谱的例子的图。第1滤光器A1的透射谱与第2滤光器A2的透射谱相互不同。像这样，滤光器阵列40的透射谱根据滤光器而不同。但是，不一定需要全部滤光器的透射谱都不同。在滤光器阵列40中，多个滤光器之中的至少2个以上的滤光器的透射谱相互不同。即，滤光器阵列40包括透射谱相互不同的2个以上的滤光器。在某例中，滤光器阵列40所包括的多个滤光器的透射谱的模式的数量可以与对象波段所包含的波带的数量i相同，或者为对象波段所包含的波带的数量i以上。滤光器阵列40也可以被设计为半数以上的滤光器的透射谱不同。
图1D是示意性地表示对象波段W与其所包含的多个波带W1、W 2、···、W i之间的关系的图。对象波段W可以根据用途而设定为各种范围。对象波段W例如可以是大致400nm至大致700nm的可见光的波段、大致700nm至大致2500nm的近红外线的波段、或者大致10nm至大致400nm的近紫外线的波段。或者，对象波段W也可以是中红外或者远红外的波段。像这样，使用的波段不限于可见光域。在本说明书中，为了方便，不限于可见光而将紫外线及近红外线等未被包含在可见光的波段中的波长的电磁波也称为“光”。
在图1D所示的例中，将i设为4以上的任意的整数，将对象波段W被i等分而成的各个波段设为带W1、W 2、···、W i。但是不限定于这样的例子。对象波段W所包含的多个带也可以任意地设定。例如，也可以使带的宽度根据带而不均。也可以在相邻的带之间具有间隙。如果带的数量为4个以上，则能够根据高光谱图像得到比RGB图像更多的信息。
图1E是表示图1D所示的多个波带W1、W 2、···、W i各自的光的透射率的空间分布的例子的图。在图1E所示的例中，各滤光器的浓淡的差异表现了光透射率的差异。越淡的滤光器的透射率越高，而越浓的滤光器的透射率越低。如图1E所示，光透射率的空间分布根据波带而不同。
在实际上使用的滤光器阵列40例如包括100万个滤光器。该100万个滤光器例如包括随机或者准随机地以2维配置的16个种类的滤光器。随机及准随机的定义被记载于专利文献1。图2是表示滤光器阵列40所包括的16个种类的滤光器之中的4个种类的滤光器的透射谱的例子的曲线图。如图2所示，各滤光器的透射谱在450nm以上且550nm以下的对象波段内具有多个透射峰。关于相邻的2个透射峰，峰波长的间隔为大致50nm。各透射峰的最大透射率为90％以上，半值宽度为大致10nm。16个种类的滤光器的透射谱具有沿着波长轴相互偏移的关系。在本说明书中，“透射峰”意味着透射谱中的包括极大值的凸形状，“峰波长”意味着谱中的与凸型形状所包括的极大值对应的波长。
如图2所示的透射谱例如能够由包括2个介电体多层膜以及位于其间的透明层的滤光器实现。介电体多层膜具有被称为阻带的反射率高的波段。在该滤光器中，在位于2个介电体多层膜之间的透明层中形成驻波，结果在阻带的波段中出现多个透射峰。通过改变透明层的厚度以及/或者折射率，能够使多个透射峰沿着波长轴偏移。
使用表示滤光器阵列40中的每个波带的光透射率的空间分布的数据，能够根据压缩图像复原高光谱图像。在复原(reconstruction)中使用压缩感知的技术。将在复原处理中使用的表示滤光器阵列中的每个波带的光透射率的空间分布的数据称为“复原表”。换言之，复原表基于滤光器阵列40所包括的多个种类的滤光器的透射谱的空间分布而决定。在压缩感知的技术中，无需使用如棱镜或者格栅那样的分光元件，因此能够使摄像装置小型化。进而，在压缩感知的技术中，通过压缩图像，能够减少要处理的数据量。
接下来，说明使用复原表根据压缩图像复原高光谱图像的方法。由图像传感器取得的压缩图像数据g、复原表H及高光谱图像数据f满足下式(1)。
[数1]
g＝Hf (1)
在此，压缩图像数据g及高光谱图像数据f是矢量的数据，复原表H是矩阵的数据。如果将压缩图像数据g的像素数设为Ng，压缩图像数据g表现为具有Ng个元素的1维排列即矢量。如果将高光谱图像数据f的像素数设为Nf，并将波带数设为M，则高光谱图像数据f表现为具有Nf×M个元素的1维排列即矢量。复原表H表现为具有Ng行(Nf×M)列的元素的矩阵。Ng及Nf可以被设计为相同的值。
如果给出了矢量g和矩阵H，则通过对式(1)的反演问题求解，应该能够计算f。但是，要求出的数据f的元素数Nf×M比取得数据g的元素数Ng多，因此该问题是不适定问题，无法直接求解。于是，利用数据f所包含的图像的冗余性，利用压缩感知的方法求解。具体而言，通过对下式(2)进行求解，估计要求出的数据f。
[数2]
在此，f’表现估计出的f的数据。上式的括号内的第1项表现估计结果Hf与取得数据g的偏差量、即所谓残差项。在此将平方和设为残差项，但也可以将绝对值或者平方和平方根等设为残差项。括号内的第2项是后述的正则化项或者稳定化项。式(2)意味着求出使第1项与第2项之和最小化的f。运算处理电路通过回归的迭代运算使解收敛，能够计算最终的解f。
式(2)的括号内的第1项意味着求出取得数据g与通过矩阵H对估计过程的f进行系统变换而得到的Hf之间的差量的平方和的运算。第2项的Φ(f)是f的正则化中的制约条件，是反映了估计数据的稀疏信息的函数。作为其作用，具有使估计数据平滑或者稳定的效果。正则化项例如可以通过f的离散余弦变换(DCT)、小波变换、傅立叶变换或者总变分(TV)等表现。例如，在使用总变分的情况下，能够取得抑制了观测数据g的噪声影响的稳定的推测数据。各个正则化项的空间中的对象物的稀疏性根据对象物的纹理而不同。也可以选择使得对象物的纹理在正则化项的空间中变得更稀疏的正则化项。或者，也可以在运算中包含多个正则化项。τ是权重系数。权重系数τ越大，则冗余的数据的削减量越多，压缩的比例越高。权重系数τ越小，则向解的收敛性越弱。权重系数τ被设定为使得f以某种程度收敛而且不过度压缩的适度的值。
通过压缩感知的技术得到高光谱图像的更详细的方法在专利文献1中公开。将专利文献1的公开内容整体引用至本说明书中。
本发明人发现，在将利用压缩感知的技术的高光谱摄像装置用于荧光摄像的情况下，会产生以下的课题。
为了激励荧光而大多使用激光源。从激光源出射的激光的谱宽度为数nm左右。在荧光显微镜摄像中，经常不使用激光源而使用水银灯。从水银灯出射的光的谱宽度也与激光的谱宽度为相同程度或者比其窄。相对于此，如图2所示，在实际上使用的滤光器阵列40中，各滤光器的透射峰的半值宽度为10nm左右，各滤光器的透射峰的透射率为90％以上。在使用谱宽度如上述那样窄的激励光的情况下，如果该激励光的峰波长与透射峰的峰波长一致，则在荧光摄像中产生的激励光的反射光高效地透射滤光器。
图3中，(a)是示意性地表示以往的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器(被称为滤光器P)的透射谱的图，以及(c)是示意性地表示透射该滤光器(即滤光器P)后的激励光的反射光及荧光的谱的图。激励光的反射光的谱除了强度的差异之外，具有与激励光的谱相同的形状。如图3的(a)所示，激励光的反射光具有相对高的强度，荧光具有相对低的强度。激励光的反射光的谱宽度相对较窄，荧光的谱宽度相对较宽。如图3的(b)所示，滤光器P的透射谱具有2个透射峰。位于低波长侧的透射峰的峰波长与激励光的反射光的峰波长一致。位于高波长侧的透射峰的峰波长与荧光的最高强度的波长一致。如图3的(c)所示，激励光的反射光的谱宽度在透射滤光器P前后几乎不变化，荧光的谱宽度在透射滤光器P后变窄。图3的(c)所示的虚线表现图3的(a)所示的荧光的谱。
滤光器阵列40包括透射谱相互不同的多个种类的滤光器，以便能够复原各种谱。如果改变激励光的峰波长，则激励光的反射光透射滤光器的透射率对于某滤光器变低，而对于其他滤光器变高。即，即使改变激励光的峰波长，激励光的反射光也高效地透射某一个滤光器。
如图3的(a)所示，荧光强度比激励光强度低。为了在高光谱摄像中得到充分高的荧光强度，考虑提高激励光强度。但是，如果将激励光强度提高到能够得到充分高的荧光强度的程度，则激励光的反射光高效地透射滤光器，在与该滤光器对应的像素中发生亮度饱和的情况较多。如果亮度饱和，则上述的复原运算所需的信息缺失，有可能无法准确地得到高光谱图像。也考虑将激励光强度降低到亮度不饱和的程度。但是，在该情况下，有可能无法得到充分高的荧光强度，导致荧光像的信噪比降低。
本发明人通过上述的探讨，想到了在荧光摄像中利用压缩感知的技术能够更准确地生成高光谱图像的摄像装置。在本公开的实施方式所涉及的摄像装置中，滤光器阵列包括透射谱相互不同的至少2个滤光器，激励光的谱与至少该2个滤光器的透射谱中的透射域重叠。激励光的反射光透射滤光器阵列的透射成分被分配至至少该2个滤光器。结果，能够在与各滤光器对应的像素中抑制亮度的饱和，能够更准确地生成高光谱图像。以下简单地说明本公开的实施方式所涉及的摄像装置。
第1项目所涉及的摄像装置具备：至少1个光源，出射用于对包含至少1个发光体的物体进行照射的激励光；编码滤光器阵列，包括透射谱相互不同的多个滤光器；图像传感器，经由所述编码滤光器阵列对由于所述激励光的照射而产生的物体光进行摄像，并生成压缩图像数据；以及处理电路，基于所述压缩图像数据生成高光谱图像数据。所述物体光包括：所述至少1个发光体吸收所述激励光而产生的发出光、以及被所述物体反射的所述激励光的反射光。所述多个滤光器包括透射谱相互不同的2个滤光器。所述激励光的谱与所述2个滤光器各自的透射谱中的透射域重叠。
在该摄像装置中，能够在与各滤光器对应的像素中抑制亮度的饱和，能够更准确地生成高光谱图像。
第2项目所涉及的摄像装置为，在第1项目所涉及的摄像装置中，所述2个滤光器包括第1滤光器。在所述激励光的谱中具有最高强度的一半以上的强度的波段包括：在所述第1滤光器的透射谱中的第1透射峰中具有最高强度的一半以上的强度的波段。
在该摄像装置中，能够使激励光的谱与2个滤光器的透射谱中的透射域重叠。
第3项目所涉及的摄像装置为，在第1项目所涉及的摄像装置中，所述2个滤光器包括第1滤光器，所述激励光的谱的半值宽度比所述第1滤光器的透射谱中的第1透射峰的半值宽度宽。
在该摄像装置中，能够使激励光的谱与2个滤光器的透射谱中的透射域重叠。
第4项目所涉及的摄像装置为，在第1项目所涉及的摄像装置中，所述2个滤光器是第1滤光器、第2滤光器，所述激励光的谱与所述第1滤光器的透射谱中的第1透射峰及所述第2滤光器的透射谱中的第2透射峰重叠。
在该摄像装置中，能够使激励光的谱与2个滤光器的透射谱中的透射域重叠。
第5项目所涉及的摄像装置为，在第1至第4项目的任一项所涉及的摄像装置中，所述激励光的谱具有与所述至少1个发光体的吸收谱重叠的波段，所述至少1个发光体的发光谱具有与所述激励光的所述反射光的谱不重叠的波段。
在该摄像装置中，能够通过激励光激励发光体，而且，在发光体的发光谱与激励光的反射光的谱不重叠的波段中，能够得到包括发出光而不包括激励光的反射光的物体光。
第6项目所涉及的摄像装置为，在第1至第5项目的任一项所涉及的摄像装置中，所述光源包括LED或者超辐射发光二极管。
在该摄像装置中，能够从光源出射其谱为宽带(broad)的激励光。
第7项目所涉及的摄像装置为，在第1至第6项目的任一项所涉及的摄像装置中，所述至少1个光源包括出射第1激励光的第1光源以及出射第2激励光的第2光源。所述第1激励光的谱与所述第2激励光的谱相互不同。所述处理电路切换使所述第1光源出射所述第1激励光的动作与使所述第2光源出射所述第2激励光的动作。
在该摄像装置中，能够根据用途由第1激励光或者第2激励光照射物体。
第8项目所涉及的摄像装置为，在第7项目所涉及的摄像装置中，所述至少1个发光体包括第1发光体及第2发光体。所述第1发光体的第1吸收谱与所述第2发光体的第2吸收谱相互不同。所述第1激励光是能够激励所述第1发光体的光。所述第2激励光是能够激励所述第2发光体的光。
在该摄像装置中，能够出射分别适于物体所包含的第1发光体及第2发光体的激励光。
第9项目所涉及的摄像装置为，在第7项目所涉及的摄像装置中，所述第1激励光是白色光，所述第2激励光是能够激励所述至少1个发光体的光。
在该摄像装置中，能够将第1激励光用于观察透射像以及/或者反射像，能够将第2激励光用于观察荧光像。
(实施方式1)
以下参照图4，说明本公开的实施方式1所涉及的摄像装置的构成例。图4是示意性地表示本公开的例示性的实施方式1所涉及的摄像装置100的构成的图。在图4中表示了包含相互不同的多个种类的荧光色素的物体10。荧光色素的种类的数量也可以是1。在本说明书中，将吸收激励光并产生发出光的物质称为“发光体”。在发光体是荧光色素的情况下，发出光是荧光。发光体也可以不是荧光色素而是磷光色素或者量子点。图4所示的摄像装置100具备光源20、光学系统30、滤光器阵列40、图像传感器50以及对光源20及图像传感器50进行控制的处理电路60。
光源20出射用于照射物体10的激励光20L 1。通过用激励光20L 1照射物体10，产生物体光20L 2。物体光20L 2包括：荧光色素吸收激励光20L 1的一部分而发出的荧光、以及被物体10反射的激励光20L 1的反射光。
在激励光20L 1的谱具有与荧光色素的吸收谱重叠的波段的情况下，能够由激励光20L 1激励荧光色素。“X的谱具有与Y的谱重叠的波段”，意味着X的谱的波段包括Y的谱的波段的至少一部分。在本说明书中，“谱的波段”意味着在谱中具有最高强度的1/10以上的强度的波段。“谱宽度”意味着该波段的宽度。但是，在以下的说明中，根据情况，有时不使用该谱宽度而使用谱的半值宽度。
“激励光的谱与滤光器的透射谱中的透射域重叠”，也可以意味着“激励光的谱中的示出最高强度的1/10以上的强度的波段，与滤光器的透射谱中的具有最高透射率的1/10以上的透射率的波段重叠”。
在荧光谱具有与激励光20L 1的反射光的谱不重叠的波段的情况下，在该波段中，不用从物体光20L 2中去除激励光20L 1的反射光就能够得到荧光像。“X的谱具有与Y的谱不重叠的波段”，意味着X的谱的波段具有不被包含在Y的谱的波段中的部分。
光学系统30包括至少1个透镜。在图4中表示为1个透镜，但光学系统30也可以由多个透镜的组合构成。光学系统30经由滤光器阵列40，在图像传感器50的摄像面上形成物体光20L 2的像。
滤光器阵列40如参照图1A至图2说明的那样。滤光器阵列40可以被配置在图像传感器50的附近或者紧上方(正上)。在此，“附近”意味着：以来自光学系统30的光的像在某种程度上以鲜明的状态形成在滤光器阵列40的面上的程度接近。“紧上方(正上)”意味着两者以几乎没有间隙的程度接近。滤光器阵列40及图像传感器50也可以一体化。
图像传感器50包括以2维排列的多个像素即像素阵列，生成与向像素阵列入射的光的强度相应的压缩图像数据并输出。滤光器阵列40所包括的多个滤光器也可以分别对应于图像传感器50所包括的多个像素。即，多个滤光器各自对应于多个像素中的1个。但是，多个滤光器不需要一定与多个像素1对1地对应。
处理电路60使光源20出射激励光20L 1。处理电路60基于由图像传感器50生成并输出的压缩图像数据以及复原表，生成表示关于多个波带中的各个波带的图像的高光谱图像数据并输出。高光谱图像数据的生成方法如上所述。由处理电路60执行的计算机程序被存放于ROM或者RAM(随机存取存储器(Random Access Memory))等未图示的存储器。像这样，摄像装置100具备包括处理电路60及存储器的处理装置。处理电路60及存储器既可以被集成于1个电路基板，也可以被设置于个别的电路基板。处理电路60的功能也可以分散于多个电路。复原表也可以被存放于上述的存储器。
接下来，参照图5，说明激励光20L 1的谱与透射滤光器的激励光20L 1的平均透射率之间的关系。平均透射率T满足下式。
[数3]
T＝(fI(λ)×t(λ)dλ)/∫I(λ)dλ
在此，λ是波长，I(λ)是照射激励光的谱，t(λ)是滤光器的分光透射谱。∫表示整个波长范围即在实质上滤光器不为0的波长范围中的积分。
实际的激励光20L1大多具有高斯函数形状的谱，但在矩形形状的谱与高斯函数形状的谱中，平均透射率的半值宽度依赖性相似。因此，在此使用矩形形状的谱进行说明。
矩形形状的激励光谱能够由中心波长和半值宽度表现。图5是表示向滤光器照射具有矩形形状的谱的激励光的情况下的平均透射率的中心波长依赖性的曲线图。例如，在半值宽度为5.2nm的情况下的横轴为510纳米时的值，是照射了在波长507.4nm至512.6nm的范围内具有强度分布的光的情况下的透射率，同样在半值宽度为5.2nm的情况下的横轴为515纳米时的值，是照射了在波长512.4nm至517.6nm的范围内具有强度分布的光的情况下的透射率。在图5中，RAW表示向滤光器照射了具有半值宽度大致为0的谱的激励光的情况下的平均透射率，5.2nm表示向滤光器照射了具有半值宽度为5.2nm的谱的激励光的情况下的平均透射率，9.6nm表示向滤光器照射了具有半值宽度为9.6nm的谱的激励光的情况下的平均透射率，18.4nm表示向滤光器照射了具有半值宽度为18.4nm的谱的激励光的情况下的平均透射率，27.3nm表示向滤光器照射了具有半值宽度为27.3nm的谱的激励光的情况下的平均透射率，36.1nm表示向滤光器照射了具有半值宽度为36.1nm的谱的激励光的情况下的平均透射率。
如图5所示，在激励光20L1的谱的半值宽度为RAW(大致0nm)的情况下，表示激励光20L1的中心波长与平均透射率之间的关系的峰与滤光器的透射峰一致。在激励光20L1的半值宽度增加的情况下，图5所示的峰成为宽带，最高的平均透射率降低。在激励光20L1的谱的半值宽度比滤光器的透射峰的半值宽度窄或者为相同程度，即为RAW(大致0nm)、5.2nm及9.6nm的情况下，最高的平均透射率为80％以上。相对于此，在激励光20L1的谱的半值宽度比滤光器的透射峰的半值宽度宽，即为18.4nm、27.3nm及36.1nm的情况下，最大的平均透射率小于80％，有意义地降低。例如，如果激励光20L 1的谱的半值宽度为滤光器的透射峰的半值宽度的2倍左右即18.4nm，则最高的平均透射率成为60％以下。如果激励光20L 1的谱的半值宽度为滤光器的透射峰的半值宽度的3倍左右即27.3nm，则最高的平均透射率成为50％以下。
根据上述情况，在实施方式1中，激励光20L 1的谱可以如下选择。即，在激励光20L1的谱中具有最高强度的一半以上的强度的波段(称为“第1波段”)包括：在滤光器的透射峰中具有最高强度的一半以上的强度的波段(称为“第2波段”)。第1波段所包括的最小的波长值比第2波段所包括的最小的波长值小，第1波段所包括的最大的波长值比第2波段所包括的最大的波长值大。在该情况下，激励光20L 1的谱的半值宽度比滤光器的透射峰的半值宽度宽。结果，如图5所示，最高的平均透射率降低，能够抑制像素中的亮度的饱和。在本说明书中，“激励光20L 1的谱为宽带”，意味着激励光20L 1的谱的半值宽度比滤光器的透射峰的半值宽度宽。
图6中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光20L 1的反射光及荧光的谱的图，(b)是示意性地表示滤光器(称为滤光器Q)的透射谱的图，以及(c)是示意性地表示透射该滤光器(即滤光器Q)后的激励光的反射光20L 1及荧光的谱的图。图6的(a)所示的激励光20L 1的反射光的谱与图3的(a)所示的激励光的反射光的谱相比，谱宽度变得更宽，谱的最高强度变得更低。相对于此，图6的(a)所示的荧光的谱与图3的(a)所示的荧光的谱相比，谱宽度及谱的最高强度大致相同。图6的(b)所示的滤光器Q的透射谱等于图3的(b)所示的滤光器P的透射谱。图6的(c)所示的激励光20L 1的反射光的谱与图3的(c)所示的激励光的反射光的谱相比，谱宽度变得更宽，谱的最高强度变得更低。相对于此，图6的(c)所示的荧光的谱与图3的(c)所示的荧光的谱大致相同。图6的(c)所示的虚线表现图6的(a)所示的激励光的反射光20L 1及荧光的谱。
图7是表示9个种类的一般性的荧光色素的吸收谱的例子的曲线图。如图7所示，各荧光色素的吸收谱的半值宽度为30nm以上且50nm以下。如果激励光20L 1的谱的半值宽度比荧光色素的吸收谱的半值宽度宽，则能够由激励光20L 1高效地激励荧光色素。各荧光色素的吸收谱的半值宽度比滤光器的透射峰的半值宽度宽。因此，如果将激励光20L 1的谱的半值宽度选择为比荧光色素的吸收谱的半值宽度宽，则激励光20L 1的谱的半值宽度必然比滤光器的透射峰的半值宽度宽。结果，能够高效地激励荧光色素，而且能够降低透射滤光器后的激励光的反射光的平均透射率。通过高效地激励荧光色素，能够得到高荧光强度。通过降低激励光的反射光的平均透射率，能够抑制像素中的亮度的饱和。由此，能够更准确地生成高光谱图像。
荧光强度较强地依赖于在荧光色素内被激励的光子的数量，而不太依赖于被激励的光子的波长。因此，即使扩大激励光20L 1的谱的半值宽度而降低每个单位波长的激励光20L 1的强度，也能够得到高荧光强度。该性质对于降低透射滤光器的激励光20L 1的平均透射率也是有效的。
上述的说明基于将滤光器阵列40所包括的1个滤光器的透射峰的谱与激励光20L1的谱进行比较的观点。基于其他观点，也能够说明实施方式1所涉及的摄像装置100。为了实现高光谱摄像，滤光器阵列40包括透射谱相互不同的多个种类的滤光器。为了得到关于多个波带中的各个波带的图像，在任何波带中都有某个种类的滤光器具有一定以上的透射率。
如果激励光20L 1的谱的半值宽度比滤光器阵列40所包括的1个滤光器的透射峰的半值宽度宽，则激励光20L 1的反射光透射滤光器阵列40的透射成分必然不会仅集中于滤光器阵列40所包括的1个滤光器，而也被分配至滤光器阵列40所包括的其他滤光器。结果，激励光20L 1的反射光的透射成分被分配至多个滤光器，能够在与滤光器阵列40所包括的1个滤光器对应的像素中抑制亮度饱和。
参照图8A及图8B，说明激励光20L 1的反射光被分配至多个滤光器的例子。在图8A中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器1的透射谱的图，(c)是示意性地表示滤光器2的透射谱的图，(d)是示意性地表示滤光器3的透射谱的图。图8A所示的被纵向的2条虚线夹着的区域，表现激励光20L 1的反射光的谱的波段。各滤光器的透射谱示出多个透射峰。滤光器2的某透射峰与滤光器1的某透射峰的一部分及滤光器3的某透射峰的一部分重叠。透射峰的重叠能够由透射峰的波段定义。“某透射峰与其他透射峰的一部分重叠”，意味着某透射峰的波段包括其他透射峰的波段的一部分。“透射峰的波段”意味着在透射峰中具有最高透射率的1/10以上的透射率的波段。
在图8A所示的例中，激励光20L 1的反射光被分配至滤光器1、滤光器2及滤光器3。激励光20L 1的反射光的谱与滤光器1的某透射峰的一部分、滤光器2的某透射峰的全部及滤光器3的某透射峰的一部分重叠。“X的谱与滤光器的透射峰的一部分重叠”，意味着X的谱波段包括滤光器的透射峰的波段的一部分。“X的谱与滤光器的透射峰的全部重叠”，意味着X的谱波段包括滤光器的透射峰的波段的全部。“X的谱与滤光器的透射峰重叠”，意味着X的谱与滤光器的透射峰的一部分或者全部重叠。
在图8B中，(a)是示意性地表示实施方式1中的荧光摄像中产生的激励光的反射光及荧光的谱的图，(b)是示意性地表示滤光器4的透射谱的图，(c)是示意性地表示滤光器5的透射谱的图。滤光器4的某透射峰及滤光器5的某透射峰在一部分中相互重叠。在图8B所示的例中，激励光20L 1的反射光被分配至滤光器4及滤光器5。激励光20L 1的反射光的谱与滤光器4的某透射峰的一部分及滤光器5的某透射峰的一部分重叠。像这样，激励光20L 1的反射光的谱不需要与滤光器阵列40所包括的1个滤光器的1个透射峰的全部重叠。
如图8A及图8B所示，激励光20L 1的反射光的谱与至少2个滤光器的透射峰重叠。
如上，在实施方式1所涉及的摄像装置100中，滤光器阵列40中的多个种类的滤光器包括透射谱相互不同的至少2个滤光器，激励光20L 1的谱与至少该2个滤光器的透射谱中的透射域重叠。“透射谱中的透射域”意味着透射谱的某透射峰的波段。激励光20L 1的反射光透射滤光器阵列40的透射成分被分配至至少该2个滤光器。激励光20L 1的反射光之中的透射各滤光器的部分的平均透射率例如可以为5％以上且60％以下。
在物体10包括多个种类的荧光色素，且激励光20L 1的反射光的谱与各种类的荧光色素的荧光谱的全部重叠的情况下，不容易通过观察荧光来识别荧光色素。在实施方式1中，也可以恰当地选择激励光20L 1的谱以使荧光谱具有与激励光20L 1的反射光的谱不重叠的波段。
以下参照图9A至图10B，说明物体10包含Cy3及Cy5作为荧光色素的例子。图9A及图9B分别是表示Cy3的吸收谱及荧光谱的曲线图。图10A及图10B分别是表示Cy5的吸收谱及荧光谱的曲线图。如图9A及图10A所示，Cy3及Cy5的吸收谱在500nm以上且600nm以下的波段中具有有效的吸光度。因此，在激励光20L 1的谱的波段为500nm以上且600nm以下的情况下，激励光20L 1能够同时激励两者。在此，激励光20L 1的谱的波段设为500nm以上且600nm以下。
如图9B所示，Cy3的荧光谱在550nm以上且650nm以下的波段中具有有效的荧光强度。如图9A及图9B所示，在600nm以上且650nm以下的波段中，荧光谱与吸收谱不重叠。因此，通过用上述的激励光20L 1照射物体10，能够得到在600nm以上且650nm以下的波段中包括荧光而不包括激励光20L 1的反射光的物体光20L 2。
同样，如图10B所示，Cy5的荧光谱在625nm以上且750nm以下的波段中具有有效的荧光强度。如图10A及图10B所示，在700nm以上且750nm以下的波段中，荧光谱与吸收谱不重叠。因此，通过用上述的激励光20L 1照射物体10，能够得到在700nm以上且750nm以下的波段中包括荧光而不包括激励光20L 1的反射光的物体光20L 2。
在使用上述的激励光20L 1的情况下，在600nm以上且625nm以下的波段所包含的波带中，能够得到Cy3的荧光像，在625nm以上且750nm以下的波段所包含的波带中，能够得到Cy5的荧光像。
荧光谱的波段按荧光色素的每个种类而不同。因此，也可以按荧光色素的每个种类变更光源20。
接下来，说明实施方式1中使用的光源20的构成。如上述那样，激励光20L 1的谱在特定的波段中具有高强度，其半值宽度例如可以为20nm以上且50nm以下。出射这样的激励光20L 1的光源20例如可以包括LED或者超辐射发光二极管。或者，光源20也可以包括出射白色光的白色光源以及将该白色光的谱的一部分截断的光学元件。该白色光源例如是卤素灯，该光学元件例如可以是带通滤光器或者二向色镜。该光学元件将白色光的谱之中的与荧光的谱重叠的波段的成分的至少一部分截断。
如上，在实施方式1所涉及的摄像装置100中，能够得到高荧光强度，而且，能够抑制像素中的亮度的饱和，结果，能够在荧光摄像中更准确地生成高光谱图像。
(实施方式2)
以下参照图11，以与实施方式1所涉及的摄像装置100的不同点为中心，说明本公开的实施方式2所涉及的摄像装置200的构成例。图11是示意性地表示本公开的例示性的实施方式2所涉及的摄像装置200的构成的图。在图11中表示了包含多个种类的荧光色素的物体10。图11所示的摄像装置200具备第1光源20a、第2光源20b、光学元件21、照射光学系统22、光学系统30、滤光器阵列40、图像传感器50、以及对第1光源20a、第2光源20b及图像传感器50进行控制的处理电路60。图11所示的摄像装置200与图4所示的摄像装置100的不同点在于，摄像装置200不具备图4所示的光源20，而具备图11所示的第1光源20a、第2光源20b、光学元件21及照射光学系统22。图11所示的光源的数量为2个，但根据目的及用途也可以为3个以上。
第1光源20a出射第1激励光20L 1a。第2光源20b出射第2激励光20L 1b。第1激励光20L 1a的谱与第2激励光20L 1b的谱相互不同。与实施方式1同样，两者的谱为宽带。宽带的含义如实施方式1中说明的那样。第1激励光20L 1a是能够激励作为物体10所包含的某个种类的荧光色素的第1荧光色素的光。第2激励光20L 1b是能够激励作为物体10所包含的其他种类的荧光色素的第2荧光色素的光。第1荧光色素的吸收谱与第2荧光色素的吸收谱相互不同。同样，第1荧光色素的荧光谱与第2荧光色素的荧光谱相互不同。
通过用第1激励光20L 1a照射物体10，产生第1物体光20L 2a。第1物体光20L 2a包括：物体10所包含的第1荧光色素吸收第1激励光20L 1a而发出的第1荧光、以及被物体10反射的第1激励光20L 1a的反射光。同样，通过用第2激励光20L 1b照射物体10，产生第2物体光20L 2b。第2物体光20L 2b包括：物体10所包含的第2荧光色素吸收第2激励光20L 1b而发出的第2荧光、以及被物体10反射的第2激励光20L 1b的反射光。
光学元件21使第1激励光20L 1a朝向照射光学系统22穿过，使第2激励光20L 1b朝向照射光学系统22反射。光学元件21例如可以是二向色镜或者半反射镜。
照射光学系统22用第1激励光20L 1a或者第2激励光20L 1b照射物体10。照射光学系统22例如可以包括透镜、曲面反射镜或者光漫射板中的至少1个。
处理电路60切换使第1光源20a出射第1激励光20L 1a的第1动作与使第2光源20b出射第2激励光20L 1b的第2动作。第1动作与第2动作的切换不需要机械的驱动部。在实施方式2所涉及的摄像装置200中，通过切换第1动作与第2动作，能够出射适于物体10所包含的多个种类的荧光色素的激励光。
在此，说明物体10不仅包含上述的Cy3及Cy5而且包含Cy5.5的例子。Cy3、Cy5及Cy5.5的荧光色素的组合例如在用于基因检查的m-FISH法中是一般性的组合。在该例中，上述的第1荧光色素是Cy3或者Cy5，上述的第2荧光色素是Cy5.5。
图12A及图12B分别是表示Cy5.5的吸收谱及荧光谱的曲线图。如图12A所示，Cy5.5的吸收谱与Cy3及Cy5的吸收谱不同，在500nm以上且600nm以下的波段中不具有有效的吸光度。因此，在谱的波段为500nm以上且600nm以下的激励光中，无法有效地激励Cy5.5，无法观察Cy5.5的荧光像。
如图12A所示，Cy5.5的吸收谱在600nm以上且700nm以下的波段中具有有效的吸光度。如图12B所示，Cy5.5的荧光谱在比675nm靠短波长侧不具有有效的荧光强度。如果是谱的波段为600nm以上且675nm以下的激励光，则能够有效地激励Cy5.5，能够观察Cy5.5的荧光像。但是，在该波段中具有高强度的激励光无法有效地激励Cy3。
设为第1激励光20L 1a的谱的波段为500nm以上且600nm以下，而第2激励光20L 1b的谱的波段为600nm以上且675nm以下。在观察Cy3及Cy5的荧光像的情况下，处理电路60执行第1动作。在观察Cy5.5的荧光像的情况下，处理电路60执行第2动作。通过处理电路60切换第1动作与第2动作，能够观察Cy3、Cy5及Cy5.5的荧光像，能够知晓物体10中的这3个种类的荧光色素的分布。
在以往的荧光摄像中，按要观察的荧光色素的每个种类，以物理方式更换如二向色镜或者长波通滤光器那样的将激励光截断的光学元件。相对于此，在实施方式2所涉及的摄像装置200中，通过处理电路60的电气控制来切换第1动作与第2动作，因此能够更高速地观察多个种类的荧光元件，而且能够减小如磨损那样的物理损坏的风险。进而，实施方式2所涉及的摄像装置200能够容易地安装于如内窥镜那样物理上的大小受限的摄像系统。
与上述的例子不同，也可以将第1激励光20L 1a用于观察透射像以及/或者反射像，而将第2激励光20L 1b用于观察荧光像。在该情况下，第1激励光20L 1a是白色光，第2激励光20L 1b是能够激励物体10所包含的荧光色素的光。在实施方式2所涉及的摄像装置200中，通过以第1动作观察物体10的透射像以及/或者反射像，能够观察物体10的整体。进而，通过以第2动作观察荧光像，能够对物体10内的特定的区域进行强调。
例如，在内窥镜检查中，基于白色光的反射像对于观察胃壁或者/或者肠道整体而言是有效的，使荧光色素积蓄于肿瘤部位并激励该荧光色素而得到的荧光像对于强调并确定肿瘤部位而言是有效的。在实施方式2所涉及的摄像装置200中，能够高速地切换第1动作与第2动作，因此即使是例如由于蠕动运动而变形的物体10，也能够抑制其影响，并且得到基于白色光的反射像及荧光像。
(光源的构成例)
参照图13说明上述的实施方式中的光源的构成例。在图13中，(a)是示意性地表示第1LED的激励光的谱的图，(b)是示意性地表示第2LED的激励光的谱的图，(c)是示意性地表示物体被照射的激励光的谱的图。
出射其谱为宽带的激励光的光源能够通过组合多个光源而构成。例如，通过用谱不同的多个光源的激励光同时照射物体，能够作为宽带光源发挥功能。
例如，通过用具有如图13(a)所示的第1谱1301的第1LED的激励光以及具有如图13(b)所示的第2谱1302的第2LED的激励光同时照射物体，能够得到与用具有图13(c)所示的宽带的谱1303的激励光照射物体相同的效果。
2个LED的激励光也可以各自经由个别的光学系统向物体照射。或者，2个LED的激励光也可以使用半反射镜或者二向色镜等，在使各自的光束汇合之后向物体照射。
在此，第1LED的第1谱与第2LED的第2谱既可以具有重叠，也可以不具有重叠。例如，也可以具备谱相互不同的3个以上的光源，并根据物体的种类变更同时点亮的光源的组合。
通过切换如上所述的多个光源并点亮，也能够在实质上构成出射其谱为宽带的激励光的光源。上述的实施方式中的图像传感器50通常输出在被称为曝光时间的期间中积蓄的电荷作为受光信号。因此，在该曝光时间内产生的入射光的亮度的变化在受光信号内被平均化。由此，通过在曝光时间内切换谱不同的多个光源的激励光并且向物体照射，在实质上能够得到与照射具有这些谱的平均谱的激励光同样的效果。
也可以替代上述的多个光源，而使用如波长可变激光那样的在时间上能够对谱进行变更的波长可变光源。通过在曝光时间内使波长可变激光的谱变化，能够得到与切换多个光源同等的效果。
(其他1)
本公开的一个方式所涉及的摄像方法也可以如下所述。
摄像装置100包括保存多个命令的存储器。处理电路60包括将该多个命令读出并处理的1个或者多个计算机。
该多个命令包括使光源20出射激励光。
通过出射该激励光，所述激励光照射物体10，来自被所述激励光照射的物体10的第1光向滤光器阵列40入射，来自所述第1光所入射的滤光器阵列40的第2光向图像传感器50入射。所述第1光包括：所述物体吸收所述激励光的一部分并输出的第3光、以及由于所述激励光的一部分被所述物体10反射而产生的第4光。
该多个命令包括：使处理电路60基于入射至所述图像传感器50的第2光生成与多个波段对应的多个图像。
所述滤光器阵列40包括第1滤光器、第2滤光器。
所述第1滤光器的透射谱中的与第1透射率以上的透射率对应的全部波长被包含在第1范围中，所述第2滤光器的透射谱中的与第2透射率以上的透射率对应的全部波长被包含在第2范围中，所述第1范围与所述第2范围不同。
所述激励光的第1谱为矩形形状，所述第1谱中的与第1强度以上的强度对应的全部波长被包含在第3范围中。
作为所述第3范围的一部分的第4范围与所述第1区域的一部分或者全部重叠，作为所述第3范围的一部分的第5范围与所述第2区域的一部分或者全部重叠，所述第4范围与所述第5范围不同。
也可以是，所述第1透射率是所述第1滤光器的透射谱中的最大透射率的1/10的值，所述第2透射率是所述第2滤光器的透射谱中的最大透射率的1/10的值，所述第1强度是所述第1谱中的最大强度的1/10的值。
(其他2)
本公开不限定于实施方式1、2及变形例。只要不脱离本公开的主旨，对上述各实施方式及变形例施以本领域技术人员所想到的各种变形而成的方式、将不同的实施方式以及/或者不同的变形例中的构成要素组合而构筑的方式，也可以被包含在本公开的范围内。
工业实用性
本公开的技术例如能够利用于生物技术的研究领域、或者用于诊断癌或者疑难病症的医疗领域。
附图标记说明：
10物体
20光源
20L 1激励光
20L 1a第1激励光
20L 1b第2激励光
20L 2物体光
20L 2a第1物体光
20L 2b第2物体光
20a第1光源
20b第2光源
21光学元件
22照射光学系统
30光学系统
40滤光器阵列
50图像传感器
60处理电路
100、200摄像装置

Claims (14)

1.一种摄像装置，具备：
至少1个光源，出射用于对包含至少1个发光体的物体进行照射的激励光；
编码滤光器阵列，包括透射谱相互不同的多个滤光器；
图像传感器，经由所述编码滤光器阵列对由于所述激励光的照射而产生的物体光进行摄像，并生成压缩图像数据；以及
处理电路，基于所述压缩图像数据生成高光谱图像数据，
所述物体光包括：所述至少1个发光体吸收所述激励光而产生的发出光、以及被所述物体反射的所述激励光的反射光，
所述多个滤光器包括透射谱相互不同的2个滤光器，
所述激励光的谱与所述2个滤光器各自的透射谱中的透射域重叠。
2.如权利要求1所述的摄像装置，
所述2个滤光器包括第1滤光器，
在所述激励光的谱中具有最高强度的一半以上的强度的波段包括：在所述第1滤光器的透射谱中的第1透射峰中具有最高强度的一半以上的强度的波段。
3.如权利要求1所述的摄像装置，
所述2个滤光器包括第1滤光器，
所述激励光的谱的半值宽度比所述第1滤光器的透射谱中的第1透射峰的半值宽度宽。
4.如权利要求1所述的摄像装置，
所述2个滤光器是第1滤光器、第2滤光器，
所述激励光的谱与所述第1滤光器的透射谱中的第1透射峰及所述第2滤光器的透射谱中的第2透射峰重叠。
5.如权利要求1至4中任一项所述的摄像装置，
所述激励光的谱具有与所述至少1个发光体的吸收谱重叠的波段，
所述至少1个发光体的发光谱具有与所述激励光的所述反射光的谱不重叠的波段。
6.如权利要求1至5中任一项所述的摄像装置，
所述光源包括LED或者超辐射发光二极管。
7.如权利要求1至6中任一项所述的摄像装置，
所述至少1个光源包括出射第1激励光的第1光源以及出射第2激励光的第2光源，所述第1激励光的谱与所述第2激励光的谱相互不同，
所述处理电路切换使所述第1光源出射所述第1激励光的动作与使所述第2光源出射所述第2激励光的动作。
8.如权利要求7所述的摄像装置，
所述至少1个发光体包括第1发光体及第2发光体，所述第1发光体的第1吸收谱与所述第2发光体的第2吸收谱相互不同，
所述第1激励光是能够激励所述第1发光体的光，
所述第2激励光是能够激励所述第2发光体的光。
9.如权利要求7所述的摄像装置，
所述第1激励光是白色光，
所述第2激励光是能够激励所述至少1个发光体的光。
10.如权利要求1所述的摄像装置，
所述至少1个光源包括出射第1激励光的第1光源以及出射第2激励光的第2光源，所述第1激励光的谱与所述第2激励光的谱相互不同，
所述处理电路使所述第1光源的所述第1激励光及所述第2光源的所述第2激励光同时出射。
11.如权利要求1所述的摄像装置，
所述至少1个光源包括出射第1激励光的第1光源以及出射第2激励光的第2光源，所述第1激励光的谱与所述第2激励光的谱相互不同，
所述处理电路在所述图像传感器的曝光时间内，切换使所述第1光源出射所述第1激励光的动作与使所述第2光源出射所述第2激励光的动作。
12.如权利要求1所述的摄像装置，
所述至少1个光源是波长可变光源，
所述处理电路在所述图像传感器的曝光时间内，使从所述波长可变光源出射的所述激励光的谱变化。
13.一种摄像方法，
光源出射激励光，由此，所述激励光照射物体，来自被所述激励光照射的物体的第1光向滤光器阵列入射，来自所述第1光所入射的滤光器阵列的第2光向图像传感器入射，所述第1光包括：所述物体吸收所述激励光的一部分并输出的第3光、以及由于所述激励光的一部分被所述物体反射而产生的第4光，
处理电路基于入射至所述图像传感器的第2光，生成与多个波段对应的多个图像，
所述滤光器阵列包括第1滤光器、第2滤光器，
所述第1滤光器的透射谱中的与第1透射率以上的透射率对应的全部波长被包含在第1范围中，
所述第2滤光器的透射谱中的与第2透射率以上的透射率对应的全部波长被包含在第2范围中，
所述第1范围与所述第2范围不同，
所述激励光的第1谱为矩形形状，
所述第1谱中的与第1强度以上的强度对应的全部波长被包含在第3范围中，
作为所述第3范围的一部分的第4范围与所述第1区域的一部分或者全部重叠，
作为所述第3范围的一部分的第5范围与所述第2区域的一部分或者全部重叠，
所述第4范围与所述第5范围不同。
14.如权利要求13所述的摄像方法，
所述第1透射率是所述第1滤光器的透射谱中的最大透射率的1/10的值，
所述第2透射率是所述第2滤光器的透射谱中的最大透射率的1/10的值，
所述第1强度是所述第1谱中的最大强度的1/10的值。
CN202280031044.3A 2021-05-20 2022-05-10 摄像装置 Pending CN117321408A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-085319 2021-05-20
JP2021085319 2021-05-20
PCT/JP2022/019754 WO2022244645A1 (ja) 2021-05-20 2022-05-10 撮像装置

Publications (1)

Publication Number Publication Date
CN117321408A true CN117321408A (zh) 2023-12-29

Family

ID=84140587

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280031044.3A Pending CN117321408A (zh) 2021-05-20 2022-05-10 摄像装置

Country Status (4)

Country Link
US (1) US20240073495A1 (zh)
JP (1) JPWO2022244645A1 (zh)
CN (1) CN117321408A (zh)
WO (1) WO2022244645A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097859A (ja) * 1998-09-24 2000-04-07 Olympus Optical Co Ltd 蛍光観察方法及び装置
JP6002232B2 (ja) * 2011-10-25 2016-10-05 センター フォー スペース サイエンス アンド アプライド リサーチ、 チャイニーズ アカデミー オブ サイエンスズＣｅｎｔｅｒ Ｆｏｒ Ｓｐａｃｅ Ｓｃｉｅｎｃｅ Ａｎｄ Ａｐｐｌｉｅｄ Ｒｅｓｅａｒｃｈ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ Ｏｆ Ｓｃｉｅｎｃｅｓ 時間分解単一光子計数イメージングスペクトルシステム
DE102013111368A1 (de) * 2013-10-15 2015-04-16 Karl Storz Gmbh & Co. Kg Endoskopische, exoskopische oder mikroskopische Vorrichtung zur Fluoreszenzdiagnose
CN105611117B (zh) * 2014-11-19 2018-12-07 松下知识产权经营株式会社 摄像装置以及分光系统
DE102018111958A1 (de) * 2018-05-17 2019-11-21 Carl Zeiss Meditec Ag Filtersatz, System und Verfahren zur Beobachtung von Protoporphyrin IX

Also Published As

Publication number Publication date
US20240073495A1 (en) 2024-02-29
WO2022244645A1 (ja) 2022-11-24
JPWO2022244645A1 (zh) 2022-11-24

Similar Documents

Publication Publication Date Title
JP6617915B2 (ja) 撮像装置および分光システム
JP6939000B2 (ja) 撮像装置及び撮像方法
RU2616653C2 (ru) Способы и устройство для соосного формирования изображения с множеством длин волн
JP7457952B2 (ja) 光検出装置、光検出システム、およびフィルタアレイ
JP6945195B2 (ja) 光学フィルタ、光検出装置、および光検出システム
WO2021085014A1 (ja) フィルタアレイおよび光検出システム
US11686618B2 (en) Hyperspectral imaging method and device
CN113167649A (zh) 光检测装置、光检测系统及滤光器阵列
US20240119645A1 (en) Signal processing apparatus and signal processing method
JP7142251B2 (ja) フィルタアレイおよび光検出システム
CN117321408A (zh) 摄像装置
JP2022175008A (ja) 撮像システム
CN115103625A (zh) 用于组织目标的辨别的系统和方法
WO2021235151A1 (ja) フィルタアレイおよび光検出システム
WO2021241122A1 (ja) フィルタアレイおよび光検出システム
WO2023286613A1 (ja) フィルタアレイ、光検出装置、および光検出システム
JPWO2022244645A5 (zh)
JP2021110869A (ja) 光学フィルタ、および光検出装置
KR102282644B1 (ko) 파장 가변 광원 시스템
JP2024020922A (ja) 復元画像の評価方法および撮像システム、
WO2022176621A1 (ja) 撮像システム、および撮像システムによって実行される方法
US20180209777A1 (en) Lighting unit and optical coherence tomography system using the same
CN114830172A (zh) 针对改进的组织检测的组合成像模态的系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination