CN105026916A - 荧光受光装置以及荧光受光方法 - Google Patents

Abstract

荧光受光装置(1)具备激发光源(10)、对激发光(L1)进行相位调制并获得相位调制光(L2)的相位调制型的空间光调制器(20)、被设置于空间光调制器(20)的后段并将相位调制光(L2)聚光于试样(90)的聚光光学系统(30)、载置试样(90)的试样平台(92)、对通过相位调制光(L2)被聚光于试样(90)从而发生的荧光(L3)进行受光的荧光受光器(40)、将第1CGH显示于空间光调制器(20)的控制部(21)、修正第1CGH的修正部(22)。修正部(22)具备预先取得并容纳荧光受光器(40)固有的每个受光位置的灵敏度信息的受光器固有灵敏度信息容纳部(222)、根据荧光(L3)的强度以及灵敏度信息修正第1CGH并且生成第2CGH的第2全息图生成部(223)。控制部(21)将第2CGH显示于空间光调制器(20)。

Description

荧光受光装置以及荧光受光方法

技术领域

本发明涉及荧光受光装置以及荧光受光方法。

背景技术

一直以来，已知有使用作为空间光调制器(Spatial Light Modulator，以下称为“SLM”)之一的声光调制元件来将多个点光(spot light)生成于试样上的荧光扫描显微镜(例如参照专利文献1以及非专利文献1)。根据例如专利文献1的公开内容，能够取得该荧光扫描显微镜能够没有光量损失地自由地变更同时进行扫描的扫描点数、位置或者间隔等，并且不仅能够缩短图像取得时间而且能够灵活地进行对应于用途的观察等的效果。

现有技术文献

专利文献

专利文献1：日本专利申请公开2009-103958号公报

非专利文献

非专利文献1：Yonghong Shao等,“Ultrafast,large-field multiphotonmicrocscopy based on an acousto-optic deflector and aspatial lightmodulator”,OPTICS LETTERS,Vol.37,No.13,July 2012

发明内容

发明所要解决的问题

如果将SLM导入到荧光扫描显微镜的光学系统并且将称为CGH(Computer Generated Hologram(计算机生成全息图))的表示相位分布或强度分布的图案出示于SLM的话，则能够使多点生成于物镜的聚光点上。因此，从试样激发的荧光也成为多点。通过由多阳极(multianode)的光电倍增管等对其进行受光，从而多点测量成为可能。但是，聚光位置上的多点的光的强度的控制成为大的问题。这是由于，对于由SLM生成的多点来说会有偏差以及对于观测侧的多阳极的光电倍增管等来说也会有灵敏度偏差。另一方面，在上述的专利文献1以及非专利文献1的任一文献中，均没有公开或者暗示控制聚光位置上的多点的光的强度。

因此，本发明是有鉴于上述情况而完成的发明，其目的在于，提供一种能够控制聚光位置上的多点的光的强度的荧光受光装置以及荧光受光方法。

解决问题的技术手段

为了解决上述问题，本发明的一个方面所涉及的荧光受光装置(荧光检测装置)，是检测由被空间光调制器调制后的激发光发生的荧光的装置，具备：激发光源，输出激发光；空间光调制器，输入激发光，通过表现(出示)第1全息图从而调制激发光的相位以及振幅中的至少任意一方并输出调制光；聚光光学系统，被设置于空间光调制器的后段并将调制光聚光于试样；试样平台，载置试样；荧光检测器，经由聚光光学系统而检测通过将调制光聚光于试样从而发生的荧光；控制部，通过使第1全息图表现(出示)于空间光调制器从而在二维排列的多个像素中分别调制激发光的相位以及振幅中的至少任意一方并且由聚光光学系统使调制光聚光于试样的聚光位置；修正部，修正第1全息图；修正部通过根据荧光检测器固有的每个受光位置的灵敏度信息以及聚光位置上的荧光的强度来修正第1全息图从而生成第2全息图，控制部以表现(出示)第2全息图的方式控制空间光调制器。

另外，本发明的一个方面所涉及的荧光受光方法(荧光检测方法)，是对由被空间光调制器调制后的激发光产生的荧光进行受光(检测)的方法，通过将从激发光源输出的激发光输入到空间光调制器并使第1全息图表现(出示)于空间光调制器，从而输出通过调制激发光的相位以及振幅中的至少任意一方而获得的调制光，由设置于空间光调制器的后段的聚光光学系统，将调制光聚光于试样，由荧光检测器，经由聚光光学系统而检测通过将调制光聚光于试样从而发生的荧光，通过根据荧光检测器固有的每个受光位置的灵敏度信息和聚光位置上的荧光的强度来修正第1全息图从而生成第2全息图，通过使第2全息图表现(出示)于空间光调制器从而输出通过调制激发光的相位以及振幅中的至少任意一方而获得的调制光。

根据这样的本发明的一个方面所涉及的荧光受光装置以及荧光受光方法，由控制部而最初出示于空间光调制器的第1全息图被修正部修正，由该修正而新生成的第2全息图由控制部而再次被出示于空间光调制器。即，通过由修正部以及控制部反馈全息图从而进行该全息图的修正。第2全息图通过根据聚光位置上的荧光的强度以及荧光受光器固有的每个受光位置的灵敏度信息来修正第1全息图从而被获得，由该第2全息图，由空间光调制器生成的多点上的强度偏差在考虑了荧光受光器中的灵敏度偏差之后例如被均匀地控制。在此，通过全息图被反馈修正，从而被照射于试样的相位调制光和从试样照射的荧光分别例如被均匀地控制。特别是因为由修正部进行的修正根据荧光受光器固有的每个受光位置的灵敏度信息来进行，所以即使承认荧光受光器固有的每个受光位置的依赖于场所的灵敏度偏差，也能够减少由该灵敏度偏差造成的影响。

另外，在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，由修正部进行的修正也可以在多个聚光位置中的每个聚光位置上进行。

根据该本发明的一个方面所涉及的荧光受光装置以及荧光受光方法，因为由修正部进行的修正在多个聚光位置中的每个聚光位置上进行，所以能够将该修正分别应用于由空间光调制器以及全息图生成的多点。

在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，激发光源也可以是能够进行多光子激发的短脉冲激光。

本发明的一个方面所涉及的荧光受光装置以及荧光受光方法相对于在使用能够进行多光子激发的短脉冲激光的情况下明显发生的多个聚光位置的强度偏差来说特别有用。

另外，在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，荧光检测器也可以是多阳极型的光电倍增管。

根据本发明的一个方面所涉及的荧光受光装置以及荧光受光方法，对于多阳极型的光电倍增管那样的存在依赖于场所的灵敏度偏差的荧光受光器来说特别有用。

另外，在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，试样也可以由聚光于试样的调制光与从试样发生的荧光的强度的比率没有依赖于场所的偏差的均质的荧光材料构成。

在例如均匀地强度控制向试样的调制光以及来自试样的荧光的双方的时候，通过将没有依赖于场所的偏差的均质的荧光材料作为试样来使用，从而能够减少计算量并且能够简易而且适当地进行该控制。

另外，在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，由修正部进行的修正也可以在沿着包含于聚光光学系统的物镜的光轴方向的规定的间隔的每个扫描层上进行。

据此，即使相对于具有一定程度的深度的试样也能够适用本发明的一个方面所涉及的荧光受光装置以及荧光受光方法。

另外，在本发明的一个方面所涉及的荧光受光装置以及荧光受光方法中，每个扫描层的扫描也可以通过由空间光调制器控制物镜的光轴方向上的聚光位置来进行。

据此，能够适当地进行每个扫描层的扫描。

发明的效果

根据本发明，能够提供一种能够控制聚光位置上的多点的光的强度的荧光受光装置以及荧光受光方法。

附图说明

图1是表示荧光受光装置1的整体的结构的图。

图2是控制部21以及修正部22的硬件结构图。

图3是例示本实施方式中的多点扫描的图。

图4是修正部22的功能结构图。

图5是用于说明荧光受光器40固有的每个受光位置的灵敏度偏差的图。

图6是表示反馈修正的顺序的流程图。

图7是用于说明在本实施方式中即使承认荧光受光器40固有的每个受光位置的依赖于场所的灵敏度偏差，通过修正部22根据荧光受光器40固有的每个受光位置的灵敏度信息来进行反馈修正，从而也能够减少由该灵敏度偏差造成的影响并且使相位调制光L2以及荧光L3的强度均匀的图。

图8是用于说明由本实施方式得到的效果的图。

图9是表示由本实施方式进行的反馈修正的实施次数(横轴)与荧光强度的偏差(纵轴)之间的关系的图。

符号的说明

1…荧光受光装置、10…激发光源、11…空间滤波器(spatial filter)、12…准直透镜(collimating lens)、13…镜、20…空间光调制器、21…控制部、22…修正部、221…第1全息图输入部、222…受光器固有灵敏度信息容纳部、223…第2全息图生成部、30…聚光光学系统、31…两侧远心透镜(telecentric lens)系统、32…分色镜(dichroic mirror)、33…物镜、34…透镜、90…试样、91…聚光位置、92…试样平台、L1…激发光、L2…相位调制光、L3…荧光。

具体实施方式

以下，参照附图，对本发明所涉及的荧光受光装置以及荧光受光方法的一个实施方式进行详细的说明。还有，在附图的说明中，将相同的符号标注于相同的要素，省略重复的说明。

(荧光受光装置1的结构)

首先，对本实施方式所涉及的荧光受光装置(荧光检测装置)1的整体结构进行说明。图1是表示荧光受光装置1的整体结构的图。该图所表示的荧光受光装置1是对通过激发光L1被调制并且调制光L2被聚光从而从试样90发生的荧光L3进行受光的装置，并且通过具备激发光源10、空间滤波器(spatial filter)11、准直透镜(collimatinglens)12、镜13、空间光调制器20、控制部21、修正部22、聚光光学系统30、以及荧光受光器(荧光检测器)40来构成，例如是荧光扫描显微镜装置或STED显微镜装置、PALM、STORM等。

激发光源10是输出应该被照射于试样90的聚光位置91的激发光L1的光源。激发光源10也可以输出作为激发光L1的激光，例如也可以是飞秒激光光源、Nd∶YAG激光光源等的脉冲激光光源。并不限于此，也可以使用作为激发光源10的LD(Laser Diode(激光二极管))、SLD(Super Luminescent Diode(超发光二极管))、卤素灯、氙气灯等。从激发光源10输出的激发光L1在经过了空间滤波器11之后被准直透镜12准直并被镜13反射，从而被输入到空间光调制器20。还有，并不限于该结构，也可以替代空间滤波器11与准直透镜12的组合而具备扩束透镜(没有图示)。在此情况下，来自激发光源10的激发光L1被扩束透镜扩束并被镜13反射，从而被输入到空间光调制器20。

空间光调制器20是相位调制型的空间光调制器，并且是输入激发光L1并输出通过对该激发光L1进行相位调制从而获得的相位调制光L2的空间光调制器。即，空间光调制器20输入从激发光源10输出的激发光L1，在二维排列的多个像素中分别使用调制激发光L1的相位的全息图来对激发光L1进行相位调制，并输出该相位调制后的相位调制光L2。在该空间光调制器20中被使用的全息图也可以是由数值计算求得的全息图(Computer Generated Hologram，以下称为“CGH”)。

该空间光调制器20可以是反射型的空间光调制器也可以是透过型的空间光调制器。作为反射型的空间光调制器20，可以使用LCOS(Liquid Crystal on Silicon)型的空间光调制器、MEMS(Micro ElectroMechanical Systems)型的空间光调制器以及光址型的空间光调制器中的任意一种。另外，作为透过型的空间光调制器20，可以使用LCD(Liquid Crystal Display)型的空间光调制器等。再有，并不限于此，也可以使用Segment Mirror型的空间光调制器、Continuous DeformableMirror型的空间光调制器。

另外，空间光调制器20也可以是振幅(强度)调制型的空间光调制器，输入激发光L1，输出通过对该激发光L1进行振幅调制从而获得的调制光L2。即，空间光调制器20输入从激发光源10输出的激发光L1并在二维排列的多个像素中分别使用调制激发光L1的振幅的全息图来对激发光L1进行振幅调制，输出该振幅调制后的振幅调制光L2。振幅(强度)调制型的空间光调制器20可以是反射型也可以是透过型，可以列举包括Texas Instruments Incorporated制的DLP的MEMS(MicroElectro Mechanical Systems)型以及LCD(Liquid CrystalDisplay)型等的空间光调制器。在该空间光调制器20中所使用的全息图也可以是由数值计算求得的全息图(Computer Generated Hologram，以下称为“CGH”)。还有，在图1中，作为空间光调制器20例示了反射型且相位调制型的空间光调制器，以下，在使用相位调制型的空间光调制器的情况下进行说明。

控制部21是通过使CGH表现于空间光调制器20从而在二维排列的多个像素中分别调制激发光L1并且由聚光光学系统30使调制光L2聚光于试样90的多个聚光位置91的控制部。例如，在空间光调制器20为相位调制型的空间光调制器的情况下，控制部21是通过使CGH出示于空间光调制器20从而在二维排列的多个像素中分别调制激发光L1的相位并且由聚光光学系统30使相位调制光L2聚光于试样90的多个聚光位置91的控制部。特别是在LCOS型等使用液晶的空间光调制器中，通过将CGH显示于空间光调制器20，从而空间光调制器20表现CGH。还有，所谓空间光调制器20表现CGH，包括空间光调制器20出示CGH或显示CGH。为了进行实际的动作，也可以另外具备驱动部(没有图示)，通过控制部21操作驱动部从而进行上述相位调制以及聚光。在此情况下的驱动部基于控制部21的使用了CGH的控制，设定空间光调制器20的二维排列的多个像素的各个中的相位调制量，将表示每个像素的相位调制量的信号提供给空间光调制器20。

CGH的制作，也可以由傅立叶变换型以及菲涅耳带片(Fresnel zoneplate)型中的任一方法进行。控制部21可以进行CGH的制作，也可以具备另外的CGH制作部(没有图示)。傅立叶变换型能够由GS法等的算法来制作全息图，菲涅耳带片型能够由ORA(optimal-rotation-angle)法等的算法来制作全息图。还有，关于GS法，被记载于下述的参考文献1，关于ORA法，被记载于下述的参考文献2。

〈参考文献1〉R.W.Gerchberg and W.O.Saxton,“Apractical algorithmfor the determination of phase from image and diffraction planepictures”,Optik,Vol,35,pp.237-246(1972).

〈参考文献2〉Jorgen Bengtsson,“Kinoform designwithanoptimal-rotation-angle method”,AppliedOptics,Vol.33,No.29,pp.6879-6884(1994).

图2是控制部21的硬件结构图。如图2所示，控制部21在物理意义上作为包含CPU201、ROM202以及RAM203等的主存储装置、键盘以及鼠标等的输入设备204、显示器等的输出设备205、用于在与空间光调制器20等之间进行数据的收发的网络卡等的通信模块206、硬盘等的辅助存储装置207等的通常的计算机系统来构成。控制部21的各个功能通过将规定的计算机软件读入到CPU201、ROM202、RAM203等的硬件上从而以CPU201的控制为基础使输入设备204、输出设备205、通信模块206动作，并且通过进行主存储装置202,203或辅助存储装置207中的数据的读出以及写入来实现。

返回到图1，聚光光学系统30是被设置于空间光调制器20的后段并且将在每个像素上进行相位调制后的相位调制光L2聚光于试样90的聚光光学系统。在图1的例子中聚光光学系统30具备两侧远心透镜(telecentric lens)系统31、分色镜(dichroic mirror)32、物镜33、透镜34来进行构成。来自空间光调制器20的相位调制光L2被两侧远心透镜系统31以及分色镜32转送到物镜33，以多点照射被载置于试样平台92上的试样90。从被染色的试样90，由光照射而发生荧光L3，该荧光L3的一部分经由物镜33、分色镜32、透镜34而入射到荧光受光器40。

对试样90的光照射可以使用电流计扫描器(Galvano scanner)或共振镜、多棱镜等的扫描器和在光轴方向上活动的平台或者物镜来进行扫描，也可以使用平台相对于光轴垂直的面和在光轴方向上活动的3轴平台来进行扫描。另外，图1的物镜33为了扫描而可以活动。再有，照射到试样90的透镜并不限于物镜，也可以是一般的透镜或Fθ透镜。由以上所述的结构，能够进行图3所例示的那样的多点扫描，并且能够高速地取得图像。图3是例示本实施方式中的多点扫描的图。图3(a)例示以一维排列多点的情况，图3(b)例示以二维排列多点的情况。在各个例子中使用多点来进行扫描，首先，扫描横向，接着在纵向上移动一行并进行扫描(光栅扫描)。还有，并不限于光栅扫描，也可以运用使用了多点的各种各样的扫描方法。

返回到图1，荧光受光器40是经由聚光光学系统30而对通过相位调制光L2被聚光于试样90从而发生的荧光L3进行受光的荧光受光器，例如能够由多阳极型的光电倍增管(PMT)构成。还有，并不限于此，作为荧光受光器40，也可以使用光电倍增管、CCD或CMOS图像传感器等的二维摄像装置、雪崩光电二极管阵列、光电二极管阵列等的二维检测器。荧光受光器40也可以是存在受光器固有的依赖于场所的灵敏度偏差的荧光受光器。另外，也可以在荧光受光部40之前配置针孔(没有图示)并且具有共焦效应。

修正部22是修正由控制部21而已经出示于空间光调制器20的CGH的构件。修正部22具有与控制部21相同的硬件结构(参照图2)。控制部21和修正部22可以存在于相同的计算机系统内。图4是修正部22的功能结构图。如图4所示，修正部22具备第1全息图输入部221、受光器固有灵敏度信息容纳部222、第2全息图生成部223来构成。

第1全息图输入部221输入由控制部21而已经出示于空间光调制器20的CGH、即修正前的CGH。第1全息图输入部221所输入的CGH为第1全息图。第1全息图输入部221将所输入的第1CGH输出至第2全息图生成部223。

受光器固有灵敏度信息容纳部222是预先取得并容纳荧光受光器固有的每个受光位置的灵敏度信息(以下称为“受光器固有灵敏度信息”)的信息容纳部。图5是用于说明双光子激发荧光显微镜中的受光器固有灵敏度信息的图。在图5的例子中，对于荧光受光器40来说存在受光器固有的依赖于场所的灵敏度偏差。即，荧光受光器40例如如果是多阳极型的PMT的话则在多个阳极之间存在灵敏度偏差。在不管图5(a)所表示的那样的受光面的地方如何而均将均匀的光入射的时候，如果在阳极的均匀性上有灵敏度偏差的话则在荧光受光器40中被检测出的荧光的强度信息变成如图5(b)所表示的那样。即，即使入射强度100的均匀的荧光L3，也能够检测出作为由于荧光受光器40的地方而成为例如强度82、95、97、100的不同的强度的该荧光L3。

另外，如图5(d)所示，在荧光受光器40中被检测出的荧光L3的强度即使是均匀的也会有实际上被入射的荧光L3如图5(c)所示为不均匀的荧光的情况。即，在荧光受光器40中被检测出的荧光L3的强度例如为100而均匀的情况下，空间光调制器20实际上变成照射例如强度100、86、84、82的不均匀的光。换言之，在荧光受光器40中被检测出的荧光L3的强度为均匀的情况下，在不考虑荧光受光器40的固有的依赖于场所的灵敏度偏差的情况下往往认为乍一看被入射的荧光L3为均匀的荧光。但是，如果考虑荧光受光器40的固有的依赖于场所的灵敏度偏差的话则被入射的荧光L3实质上是不均匀的荧光。

受光器固有灵敏度信息容纳部222预先取得并容纳在入射规定的均匀的强度的荧光的情况下的荧光受光器40固有的每个受光位置的灵敏度信息。具体来说，由扩束透镜等扩大从激发光源10射出的光，使强度大致均匀的平行光入射到二维图像传感器即荧光受光器40，并预先调查荧光受光器40的灵敏度不均匀。由该调查，在入射均匀的光(荧光)的时候，将由荧光受光器40获得的多点的各自的强度作为“受光器固有灵敏度信息”来记录。还有，为了观察灵敏度偏差，可以通过经多次变更光的强度从而制作受光器固有灵敏度信息束即“受光器固有灵敏度地图”。

第2全息图生成部223是通过根据激发状态、聚光位置上的荧光L3的强度、以及容纳于受光器固有灵敏度信息容纳部222的受光器固有灵敏度信息来反馈修正第1CGH从而生成第2CGH的全息图生成部。第2全息图生成部223将所生成的第2CGH输出至控制部21。由第2全息图生成部223生成并且被输出至控制部21的CGH为第2全息图。控制部21输入第2CGH并出示于空间光调制器20。即，控制部21出示于空间光调制器20的全息图由修正部22而被反馈修正，修正后的全息图再次被控制部21出示于空间光调制器20。其直至照射于试样90的多点的强度偏差成为规定的阈值以下为止被反复。

(反馈修正的顺序)

接着，对第1全息图被反馈修正并且第2全息图被生成的时候的顺序进行详细的说明。图6是表示该顺序的流程图。

首先，受光器固有灵敏度信息容纳部222预先取得并容纳入射规定的均匀的强度的光的情况下的受光器固有灵敏度信息(步骤S1)。

接着，在控制部21的控制的基础上设计第1CGH(步骤S2)。

接着，在控制部21的控制的基础上通过第1CGH被出示于空间光调制器20，从而空间光调制器20表现第1CGH。由此，激发光L1成为具有对应于第1CGH的相位分布的相位调制光L2。该被生成的相位调制光L2被多点照射于试样90(步骤S3)。

接着，荧光受光器40对由步骤S3的照射而产生的荧光L3进行摄像并取得该荧光的强度信息(步骤S4)。

接着，修正部22(第2全息图生成部223)计算出步骤S4中取得的荧光L3的强度信息中的偏差。对于强度偏差的计算来说，使用Peak-to-valley(PV)法或RMS(Root Mean Square error)法。此时，考虑步骤S1中预先取得并容纳的受光器固有灵敏度信息而计算出步骤S4中取得的荧光L3的强度的偏差。例如，如果步骤S4中取得的荧光L3的强度信息和步骤S1中取得的受光器固有灵敏度信息是同等的话则可以说强度偏差为零。还有，在考虑由步骤S1取得的受光器固有灵敏度信息的时候，Peak-to-valley(PV)法或RMS(Root Mean Squareerror)法的评价可以进一步判别是否处于某一定的范围内(步骤S5)。

接着，在由步骤S5计算出的强度偏差为规定的阈值以下的情况下(步骤S6：是)，结束处理。另一方面，在由步骤S5计算出的强度偏差不是规定的阈值以下的情况下(步骤S6：否)，处理的流程向步骤S7移动，为了控制荧光强度，第2全息图生成部223再设计第1CGH并生成第2CGH。还有，在本实施方式中，作为控制荧光强度的一个方式，对荧光强度进行均匀化。于是，处理的流程向步骤S3移动，并且步骤S3～步骤S6被重复。还有，在步骤S6的判断中，也可以替代判断由步骤S5计算出的强度偏差是否是规定的阈值以下而判断反馈修正的实施次数是否是规定的阈值以上。

(CGH再设计的顺序，其一)

在此，对再设计第1CGH来生成第2CGH的方法(步骤S7)进行说明。

首先，第2全息图生成部223根据由步骤S4取得的荧光L3的强度偏差，从下述式(1)导出用于反馈到CGH设计的修正系数Vk。

[数1]

$v^{\left(k\right)}\left(m\right)=v^{(k-1)}\left(m\right)*\sqrt[2*n]{\frac{q^{(k-1)}\left(m\right)}{q^{\left(k\right)}\left(m\right)}}...\left(1\right)$

其中，m为多点的位置，k为反馈次数，q为由步骤S4取得的荧光L3的强度，n为光子数。由修正部22进行的修正如根据上述式(1)可知的那样在多个聚光位置中的每个聚光位置上进行(步骤S71)。另外，在上述式(1)中，修正系数Vk根据n光子吸收过程而发生变化。

接着，第2全息图生成部223使用由步骤S71导出的修正系数Vk，再设计第1CGH来生成第2CGH。例如，在迭代傅立叶变换法的一种即Over Compensation(OC)法中，因为每个迭代使用权重来变更目标图案(target pattern)(表示多点的位置或强度的图案)，所以OC法中的第2CGH中的目标图案成为如下述式(2)那样。

[数2]

$T_l^{\left(k\right)}\left(m\right)=s\left(m\right)v^{\left(k\right)}\left(m\right)w_l^{\left(k\right)}\left(m\right)T_{goal}\left(m\right)...\left(2\right)$

其中，l为OC法的迭代次数，

[数3]

是OC法中所使用的权重，Tgoal(m)是目标图案，s(m)是考虑了受光器固有灵敏度信息的系数(步骤S72)。

(CGH再设计的顺序，其二)

接着，对再设计第1CGH来生成第2CGH的其他的方法(步骤S7)进行说明。

在上述的CGH再设计的顺序其一中对于修正系数Vk来说不考虑系数s(m)，在反馈时适用系数s(m)。另一方面，在CGH再设计的顺序其二中，系数s(m)对于修正系数Vk来说从最初就被考虑而不同。

即，首先，第2全息图生成部223根据由步骤S4所取得的荧光L3的强度偏差，由下述式(3)导出用于反馈到CGH设计的修正系数Vk。

[数4]

$v^{\left(k\right)}\left(m\right)=s\left(m\right)*v^{(k-1)}\left(m\right)*\sqrt[2*n]{\frac{q^{(k-1)}\left(m\right)}{q^{\left(k\right)}\left(m\right)}}...\left(3\right)$

与式(1)的情况相同，即使是在使用式(3)的情况下，由修正部22进行的修正也在多个聚光位置中的每个聚光位置上进行(步骤S73)。

接着，第2全息图生成部223使用由步骤S73导出的修正系数Vk来再设计第1CGH并生成第2CGH。例如，在迭代傅立叶变换法的一种即Over Compensation(OC)法中，因为每个迭代使用权重来变更目标图案(target pattern)(表示多点的位置或强度的图案)，所以OC法中的第2CGH中的目标图案成为如下述式(4)那样(步骤S74)。

[数5]

$T_l^{\left(k\right)}\left(m\right)=v^{\left(k\right)}\left(m\right)w_l^{\left(k\right)}\left(m\right)T_{goal}\left(m\right)...\left(4\right)$

(系数s(m)的计算方法)

以下，对步骤S72以及步骤S73中的双光子激发荧光显微镜中的系数s(m)的计算方法进行详细的说明。在以下的说明中，由步骤S1取得的受光器固有灵敏度信息例如成为图5(b)的信息。

首先，求取由步骤S1取得的受光器固有灵敏度信息的四次根。该运算起因于在双光子激发荧光显微镜中相位调制光L2的强度为振幅的二次方并且荧光L3的强度为相位调制光L2的强度的二次方。将所求得的四次根表示于下述式(5)(步骤S731)。

[数6]

$\left[\begin{array}{cc}3.009& 3.132\\ 3.138& 3.162\end{array}\right]...\left(5\right)$

接着，由式(5)中的最小的要素来除各个要素。将该运算结果表示于下述式(6)(步骤S732)。

[数7]

$\left[\begin{array}{cc}1.000& 1.037\\ 1.043& 1.051\end{array}\right]...\left(6\right)$

接着，计算式(6)中的各个要素的倒数。将该计算结果表示于下述式(7)(步骤S733)。

[数8]

$\left[\begin{array}{cc}1.000& 0.964\\ 0.959& 0.952\end{array}\right]...\left(7\right)$

接着，通过对式(7)进行标准化从而最终计算出步骤S72以及步骤S73中的系数s(m)。将计算出的系数s(m)表示于下述式(8)。

[数9]

$\left[\begin{array}{cc}100& 96\\ 96& 95\end{array}\right]...\left(8\right)$

通过在步骤S72以及步骤S73中使用以上所计算出的系数s(m)从而能够执行CGH再设计的顺序其一以及其二。

还有，在n光子激发荧光显微镜的情况下，利用相位调制光L2的强度为振幅的二次方以及荧光L3的强度为相位调制光L2的强度的n次方。例如，在单光子激发荧光显微镜的情况下，相位调制光L2的强度为振幅的二次方，荧光L3的强度为相位调制光L2的强度的一次方，即，荧光L3的强度与相位调制光L2的强度相同。另外，例如在三光子激发荧光显微镜的情况下，相位调制光L2的强度为振幅的二次方，荧光L3的强度为相位调制光L2的强度的三次方。

还有，关于荧光L3的强度即q的导出方法，能够通过替代受光器固有灵敏度信息(例如图5(b))而使用由荧光受光器40在步骤S4中取得的荧光L3的强度信息并进行与上述的步骤S731～步骤S734相同的运算来进行计算。

通过执行以上说明的步骤S1～步骤S7，从而能够例如均匀地控制被照射于试样90的相位调制光L2以及从试样90射出的荧光L3的双方。在此，为了分别使被照射于试样90的相位调制光L2和从试样90照射的荧光L3均匀，如果激发光强度即使被照射于哪个位置也相同的话，则也可以将获得相同强度的荧光那样的均质的荧光材料作为试样90来使用。即，可以将由被聚光于试样90的相位调制光L2与从试样90发生的荧光L3的强度的比率没有依赖于场所的偏差的均质的荧光材料构成的试样作为本实施方式中的试样90来使用。

还有，为了使荧光受光器40固有的每个受光位置的依赖于场所的灵敏度偏差均匀，也可以进一步实施由图像处理等进行的荫影校正(shading correction)。由此，能够减少反馈修正的实施次数。

到此为止的设计方法按照OC法进行了说明，但是，CGH设计方法并不限于OC法。包含OC法的迭代傅立叶变换法、或模拟退火算法(Simulated Annealing)、Optimal rotation angle method(ORA法)或遗传算法(Genetic Algorithm)等的着眼于一个像素的变化的方法、以复振幅的方式拼凑起来的重叠方法等也能够作为CGH设计方法来进行采用。即使是以上所列举的任一方法，在反馈时也能够使用上述式(1)或者式(3)。

(z-stack)

以上所说明的由修正部22进行的修正也可以在沿着包含于聚光光学系统30的物镜33的光轴方向的规定的间隔的每个扫描层上进行。以下，对用于实现每个扫描层的修正的z-stack进行说明。所谓z-stack，是指通过错开试样90的纵深方向来对图像进行摄像从而获得三维图像。z-stack由(a)将菲涅耳透镜图案出示于空间光调制器20的方法、(b)使包含荧光受光装置1的荧光扫描显微镜装置的Z平台移动的方法、(c)使物镜33其本身移动的方法、(d)这些方法的组合，通过以沿着物镜33的光轴方向的规定的间隔使扫描层移动来实现。

以下，对进行z-stack的时候的处理顺序进行说明。还有，在以下的说明中，对通过将菲涅尔透镜加到用于生成出示于空间光调制器20的多点的CGH，即，通过上述方法(a)，进行物镜33的光轴方向上的深度方向的控制并且以3个深度D1、D2、D3使扫描层移动来进行扫描的例子进行说明。

首先，设计用于生成多点的CGH(步骤S101)。

接着，将用于观察深度D1的菲涅尔透镜加到由步骤S101设计的CGH(步骤S102)。

接着，对应于必要，进一步将像差修正图案加到由步骤S102合成的CGH(步骤S103)。

接着，通过将由步骤S103合成的CGH出示于空间光调制器20，从而空间光调制器20表现由步骤S103合成的CGH并将所生成的多点照射于均质的试料90(步骤S104)。

接着，由多阳极型的PMT、照相机等对从试样90发生的荧光图像进行摄像(步骤S105)。

接着，调查检测出的荧光强度的偏差。对于偏差的计算来说，使用Peak-to-valley(PV)法或RMS(Root Mean Square error)法。此时，也可以设计将聚光点的中心作为中心的观察区域，并调查其中的强度的总计中的偏差。另外，在为了进行考虑了生物体的像差修正而加上有意大的像差来进行观察的情况下，也可以以网罗由像差扩大的点全体的方式设置观察区域。在此，所谓“有意大的像差”，是指在将介质的折射率设为n，将从介质的入射面到透镜的焦点为止的深度设为d，将由介质发生的像差设为Δs的情况下，例如“n×d-Δs”以上并且“n×d+Δs”以下的范围中的像差。还有，并不限于此，也可以使用预先模拟或者夏克-哈特曼传感器(Shack-Hartmann sensor)等来测定由观察对象和浸液等的折射率的不匹配发生的球面像差、由对象物的形状发生的非点像差等，将进一步考虑了其的范围中的像差作为上述“有意大的像差”(步骤S106)。

由步骤S106计算出的偏差如果在容许的范围内的话则结束处理(步骤S107)。

由步骤S106计算出的偏差如果在容许的范围外的话则将由步骤S101设计的CGH作为初始相位来进行CGH的再设计。即，将由步骤S101设计的CGH设为第1CGH，使用上述的CGH再设计的顺序其一、其二以及系数s(m)的计算方法来生成第2CGH(步骤S108)。

接着，重复步骤S104～步骤S108，继续重复直至由步骤S106计算出的偏差成为容许的范围内，并设计相对于深度D1的最适合的CGH。在该重复中，步骤S102以及步骤S103被除外。即，步骤S102以及步骤S103的顺序针对每个深度仅进行一次(步骤S109)。

接着，将深度变化成D2并进行步骤S101～步骤S109的处理。另外，将深度变化成D3并进行步骤S101～步骤S109的处理。

最后，以各个深度出示针对每个深度被最适合化的CGH并进行z-stack中的扫描。

在以上的说明中，作为用于进行z-stack的方法，说明了上述的方法(a)的情况。即，说明了通过由空间光调制器20控制物镜33的光轴方向上的聚光位置，从而进行每个扫描层的扫描的情况。并不限于此，在上述的方法(b)以及(c)的情况下也能够适用与以上相同的顺序。还有，在方法(a)中通过改变菲涅尔透镜图案从而变更深度，但是，在方法(b)的情况下使Z平台移动，并且在方法(c)的情况下通过使物镜33移动从而变更深度。

因为荧光强度由于空间光调制器20的特性或聚光光学系统30的调整错误等而不会变得均匀，所以在本实施方式中，通过进行反馈修正从而设计这些问题被修正了的CGH并将其再次出示于空间光调制器20。但是，在为了进行z-stack而移动Z轴的情况下，为了通过处于聚光过程的介质的状态进行光学性的变化从而使光学系统发生变化，存在好不容易由反馈修正控制的荧光强度的均匀性发生崩溃的担忧。再有，在使用菲涅尔透镜图案来实现z-stack的情况下，通过加上菲涅尔透镜图案从而存在好不容易求得的最适合的CGH成为不是其以上更好的最适合的CGH的情况。另外，在以高NA的物镜等观察对象物的情况下，在从物镜到对象物之间存在折射率不同的介质，由此发生像差。为了修正像差，考虑将像差修正图案出示于空间光调制器20，但是，其结果，用于成为最适合的CGH的条件另外会发生变化。

为了应对以上的问题，在本实施方式中，使菲涅尔透镜图案或像差修正图案拼凑到最初设计的CGH，再有，菲涅尔透镜图案或像差修正图案不用于反馈修正。由此，由像差修正图案修正像差并且在菲涅尔透镜图案或像差修正图案被固定之后进行反馈修正。因此，即使是在由加上菲涅尔透镜图案等而Z轴进行移动并且发生介质的光学状态以及光学系统的变化的情况、或由在高NA的物镜等的光学系统或者存在于传播过程中的介质上的折射率的差异等而发生像差的情况下，也能够修正该像差并且能够维持由反馈修正获得的荧光强度的均匀性。

另外，根据本实施方式的荧光受光装置1，最初由空间光调制器20表现的第1CGH被修正部22修正，由该修正而被新生成的第2CGH被空间光调制器20重新表现。即，通过全息图由修正部22以及控制部21而被反馈，从而进行该全息图的修正。第2CGH通过根据激发状态、聚光位置上的荧光L3的强度以及受光器固有灵敏度信息来修正第1CGH从而被获得，由空间光调制器20生成的多点上的强度偏差在考虑了荧光受光器40中的灵敏度偏差之后根据该第2CGH例如被均匀地控制。在此，通过全息图被反馈修正从而被照射于试样90的相位调制光L2和从试样90照射的荧光L3分别例如被均匀地控制。特别是由修正部22进行的修正因为根据受光器固有灵敏度信息进行，所以即使承认荧光受光器40固有的每个受光位置的依赖于场所的灵敏度偏差，也能够减少由该灵敏度偏差造成的影响。

图7是用于在其他的方面说明本实施方式中的思想的图。图7(a)对如使用图5(a)以及(b)进行上述说明的那样虽然乍一看被入射的荧光L3往往被认为是均匀的荧光，但是如果考虑荧光受光器40的固有的依赖于场所的灵敏度偏差的话，则被入射的荧光L3实质上为不均匀的荧光的情况进行成像。在图7(a)中，以试样90的聚光位置91以及荧光受光器40的受光位置41上的圆的大小来表示强度的程度。即，圆的大小在试样90的聚光位置91上不同，这表示聚光位置91上的光的强度不均匀。另一方面，圆的大小在荧光受光器40的受光位置41上相同，这表示光的强度在受光位置41上乍一看可以看到是均匀的。

另一方面，图7(b)对如使用图5(c)以及(d)进行上述说明的那样虽然由荧光受光器40检测出的荧光的强度不均匀，但是入射到试样90的相位调制光L2以及荧光L3的强度均匀的情况进行成像。这是指通过本实施方式的修正部22根据受光器固有灵敏度信息进行反馈修正从而即使承认荧光受光器40固有的每个受光位置的依赖于场所的灵敏度偏差，也能够减少由该灵敏度偏差造成的影响并且能够使相位调制光L2以及荧光L3的强度均匀的情况。

以下，对由本实施方式得到的效果，表示实施例来进行说明。即，在该实施例中作为试样使用rAcGFP1溶液，由荧光受光装置1进行多点照射。图8表示其结果。图8(a)表示进行反馈修正之前的荧光图像。在图8(a)中右上部的荧光强度与中心部相比较变低，另外，虽然由目视难以确认，但是依赖于场所的强度偏差也存在于中央附近。还有，在图8中，以亮度表示荧光的强度。图8(b)表示进行本实施方式所涉及的反馈修正的荧光图像。与图8(a)不同，可知减少了依赖于场所的强度偏差。还有，图8表示在考虑了受光器固有灵敏度信息之后在各个受光位置上进行检测的荧光的强度。

图9是表示由本实施方式进行的反馈修正的实施次数(横轴)与荧光强度的偏差(纵轴)之间的关系的图。作为偏差的评价函数，如上所述使用Peak-to-valley(PV)法或RMS(Root Mean Square error)法。还有，PV法和RMS法中的算出偏差能够分别由下述式(9)、(10)进行表示。

[数10]

$PV=\frac{(q_{max}-q_{\min })}{2*q_{desired}}...\left(9\right)$

[数11]

$RMS=\underset{m=1}{\overset{M}{\Σ}}\sqrt{\frac{{\[q\left(m\right)-q_{desired}\]}^2}{M}}...\left(10\right)$

其中，q(m)为第m编号的荧光的观察区域中的荧光的总和，qmax、qmin、qdesired分别为最大、最小、所期望的荧光强度。如图9所示，在修正前(反馈修正的实施次数＝0)PV＝26％、RMS＝10％，但是，在6次的反馈修正之后能够确认大幅改善到PV＝3％、RMS＝1％。

另外，在本实施方式中，放置试样90来检测荧光L3。在此，放置试样90来检测荧光L3的优点如以下所述。即，第一个优点在于，将rACGFP溶液或香豆素乙醇(coumarin ethanol)等的荧光强度被均匀地获得的介质作为试样90来使用，如果进行一次修正的话则之后即使在将细胞等作为试样来使用的情况下也能够获得均匀的数据。作为第二个优点，可以列举因为通过使用试样从而能够使用实际进行测量的光学系统，所以光学系统整体的修正是可能的。作为第三个优点，可以列举通过准备具有接近于进行观察的条件的折射率的均质介质从而在应用了球面像差修正或透镜图案的状态下进行均匀化是可能的。还有，试样90和观察介质的折射率如果极端不同的话则因为聚光像糊涂呆板并且SN下降，所以恐怕均匀化的精度会降低。因此，也可以将试样90的折射率以一定程度对合到观察介质的折射率。再有，OC法为最适合化法，为了防止陷入局部解，对于初始相位而言多使用随机相位。其结果，在每个第1全息图上，被生成的多点的偏差的分布不同。或者，即使使用相同的初始相位，如果目标图案中的多点的位置或强度发生变化的话则由第1全息图生成的多点的偏差的分布也不同。第四个优点在于，通过将荧光强度被均匀地获得的介质作为试样90来使用，从而能够明确地把握起因于全息图的偏差。

另外，根据本实施方式，因为在多个聚光位置中的每个聚光位置上进行由修正部22进行的修正，所以能够将该部正分别应用于由空间光调制器20以及全息图生成的多点。

本发明对于在将能够进行多光子激发的短脉冲激光用于激发光源10的情况下发生的多个聚光位置的强度偏差来说特别有用。作为这样的激发光源10，优选具有纳秒以下的脉冲宽度并且能够射出波长为650nm以上的短脉冲激光的光源。

另外，本实施方式对于多阳极型的光电倍增管那样的存在依赖于场所的灵敏度偏差的荧光受光器40来说特别有用。

另外，根据本实施方式，在例如均匀地对向试样90的相位调制光L2以及来自试样90的荧光L3的双方进行强度控制的时候，通过将没有依赖于场所的偏差的均质的荧光材料作为试样90来使用从而能够减少计算量，并且能够简易而且适当地进行该控制。

另外，根据本实施方式，由修正部22进行的修正因为在沿着包含于聚光光学系统30的物镜33的光轴方向的规定的间隔的每个扫描层上进行，所以相对于具有一定程度的深度的试样90也能够应用本实施方式。

另外，根据本实施方式，因为通过空间光调制器20控制物镜33的光轴方向上的聚光位置从而进行每个扫描层的扫描，所以能够适当地进行每个扫描层的扫描。

还有，作为试样，也可以使用具有接近于实际的测定试样的折射率的折射率并且荧光物质等的溶质的浓度均匀的校正试样。如果使用这样的校正试样的话，则能够保持荧光强度的均匀性。

产业上的可利用性

本发明能够提供一种能够控制聚光位置上的多点的荧光强度的荧光受光装置以及荧光受光方法。

Claims (8)

1.一种荧光受光装置，其特征在于：

是对通过相位调制后的激发光被聚光从而从试样发生的荧光进行受光的荧光受光装置，

具备：

激发光源，输出所述激发光；

相位调制型的空间光调制器，输入所述激发光并输出通过对所述激发光进行相位调制从而获得的相位调制光；

聚光光学系统，被设置于所述空间光调制器的后段并将所述相位调制光聚光于所述试样；

试样平台，载置所述试样；

荧光受光器，经由所述聚光光学系统而对通过将所述相位调制光聚光于所述试样从而发生的荧光进行受光；

控制部，通过将第1全息图显示于所述空间光调制器从而在二维排列的多个像素中分别调制所述激发光的相位并且由所述聚光光学系统使所述相位调制光聚光于所述试样的多个聚光位置；以及

修正部，修正所述第1全息图，

所述修正部具备：

第1全息图输入部，输入所述第1全息图；

受光器固有灵敏度信息容纳部，预先取得并容纳所述荧光受光器固有的每个受光位置的灵敏度信息；以及

第2全息图生成部，通过根据所述聚光位置上的所述荧光的强度以及容纳于所述受光器固有灵敏度信息容纳部的所述灵敏度信息来修正所述第1全息图，从而生成第2全息图，

所述控制部将所述第2全息图显示于所述空间光调制器。

2.如权利要求1所述的荧光受光装置，其特征在于：

由所述修正部进行的所述修正在所述多个聚光位置的每个聚光位置上进行。

3.如权利要求1或者2所述的荧光受光装置，其特征在于：

所述激发光源是能够进行多光子激发的短脉冲激光。

4.如权利要求1～3中的任意一项所述的荧光受光装置，其特征在于：

所述荧光受光器是多阳极型的光电倍增管。

5.如权利要求1～4中的任意一项所述的荧光受光装置，其特征在于：

所述试样由聚光于所述试样的所述相位调制光与从所述试样发生的所述荧光的强度的比率没有依赖于场所的偏差的均质的荧光材料构成。

6.如权利要求1～5中的任意一项所述的荧光受光装置，其特征在于：

由所述修正部进行的所述修正在沿着包含于所述聚光光学系统的物镜的光轴方向的规定的间隔的每个扫描层上进行。

7.如权利要求6所述的荧光受光装置，其特征在于：

每个所述扫描层的扫描通过由所述空间光调制器控制所述物镜的所述光轴方向上的聚光位置而进行。

8.一种荧光受光方法，其特征在于：

是对通过相位调制后的激发光被聚光从而从载置于试样平台的试样发生的荧光进行受光的荧光受光装置中的荧光受光方法，

具备：

激发光源输出所述激发光的步骤；

相位调制型的空间光调制器输入所述激发光并输出通过对所述激发光进行相位调制而获得的相位调制光的步骤；

被设置于所述空间光调制器的后段的聚光光学系统将所述相位调制光聚光于所述试样的步骤；

荧光受光器经由所述聚光光学系统而对通过将所述相位调制光聚光于所述试样从而发生的荧光进行受光的步骤；

控制部通过将第1全息图显示于所述空间光调制器从而在二维排列的多个像素中分别调制所述激发光的相位并且由所述聚光光学系统使所述相位调制光聚光于所述试样的多个聚光位置的步骤；以及

修正部修正所述第1全息图的步骤，

所述修正部修正所述第1全息图的步骤具备：

第1全息图输入部输入所述第1全息图的步骤；

受光器固有灵敏度信息容纳部预先取得并容纳所述荧光受光器固有的每个受光位置的灵敏度信息的步骤；以及

第2全息图生成部通过根据所述聚光位置上的所述荧光的强度以及容纳于所述受光器固有灵敏度信息容纳部的所述灵敏度信息来修正所述第1全息图从而生成第2全息图的步骤，

还具备所述控制部将所述第2全息图显示于所述空间光调制器的步骤。