CN102216827A - 显微镜装置以及使用该显微镜装置的荧光观察方法 - Google Patents

Abstract

提供一种控制细胞等被观察物的位置和控制荧光记录的显微镜装置以及荧光观察方法。显微镜装置(1)具备：载物台(3)，其载置被观察物(2)；被观察物(2)的照明用光源(4)；激励用光源(5)，其对被观察物(2)激发荧光F；图像信息检测部(16)，其检测基于在被观察物(2)处产生的光T的图像信息；荧光图像信息检测部(17)，其检测基于荧光F的荧光图像信息；以及控制部(20)，其根据被观察物(2)的运动模型和从图像信息检测部(16)输入的被观察物(2)的图像信息来决定被观察物(2)的荧光观察区域，在荧光观察区域内每隔规定的间隔获取从图像信息检测部(16)输入的被观察物(2)的图像信息和从荧光图像信息检测部(17)输入的荧光图像信息。

Description

显微镜装置以及使用该显微镜装置的荧光观察方法

技术领域

本发明涉及一种在生物体组织等的荧光观察等中使用的显微镜装置以及使用了该显微镜装置的被观察物的荧光观察方法。

背景技术

在分子生物学领域等中，对生物体组织和细胞内离子、分子等的观察是必须的技术。光学显微镜主要用于观察生物体组织。另外，激光共聚焦显微镜用于用光照射生物体细胞的一部分并使其照射位置移动来观察细胞的一部分。

作为光学显微镜的主要观察技术之一，有如下一种荧光观察法：对生物体组织的细胞内的离子、分子附加荧光色素，对该荧光色素照射激励光，观察被激励的荧光色素所发出的荧光。

荧光和激励光的波长是不同的。因而，能够通过对荧光进行分析来检测细胞内分子、测量浓度。因此，荧光观察具有以下优点。

(i)离子、分子的大小也能够观察。

(ii)能够仅观察特定的离子、分子。

(iii)荧光的亮度与离子、分子浓度相应地发生变化，因此能够测量它们的浓度。

然而，一般来说荧光观察也具有以下缺点。

(i)在激励光的波长处于紫外波段的情况下，激励光对于细胞来说是有毒的。

(ii)当持续射出激励光时荧光色素会褪色。褪色是指荧光的强度变弱。

当使用能够进行荧光观察的荧光显微镜来观察移动的细胞时，细胞有时会跑出显微镜的视野外而使观察中断。

作为这种问题的解决方法，(1)降低物镜的倍率来扩展视野，(2)以机械或化学的方式抑制细胞的移动，(3)移动载物台来使细胞的位置处于视野的中心。但是，(1)的方法使空间分辨率降低，(2)的方法有可能对细胞产生不良影响。

针对上述(3)的解决方法，在专利文献1和专利文献2中公开了一种为了对微小的观察物进行观察而具备对被观察物进行追踪的机构的光学显微镜。这些光学显微镜能够使用透射光来控制细胞位置和观察区域并进行透射光记录。

在专利文献3～5中，公开了一种能够使用荧光来控制细胞位置和观察区域并进行荧光记录的荧光显微镜。

在非专利文献1～5中，报告了一种将移动的草履虫作为比较大的被观察物固定在视野内来进行观察的方法。

作为能够在培养液中自由移动的细胞中的在医学和生物学领域受重视的细胞，可以举出具有能够保护人体免受细菌、病毒伤害的功能的免疫细胞(参照非专利文献6)。

与免疫功能有关的细胞内分子大量存在，而为了检测这些分子、测量分子浓度的时间变化，必须使用荧光观察。

在免疫细胞中，不怎么附着于载玻片表面而进行浮游的细胞被分类为浮游细胞。皿中的浮游细胞的位置是根据培养液的对流、重力、皿的壁部和底部、水面以及细胞之间的相互作用等而始终改变的。为了观察浮游细胞，也考虑了例如使用非专利文献1中报告的奥先生等人的手法来追踪一个细胞的方法。

专利文献1：日本特开平5-80255号公报

专利文献2：日本特开平7-2535487号公报

专利文献3：日本特开平7-261097号公报

专利文献4：日本特开2005-214924号公报

专利文献5：日本特开2006-292420号公报

专利文献6：WO2003/102636号公报

非专利文献1：H.Oku，N.Ogawa，Ishikawa，K.Hashimoto，“Two-dimensional tracking of a motile micro-organism allowing high-resolution observation with various imaging techniques”，Review of Scientific Instruments，Vol.76，No.3，2005

非专利文献2：H.Oku，M.Ishikawa，Theodorus，and K.Hashimoto，“High-speed autofocusing of a cell using diffraction patterns”，Optics Express，Vol.14，No.9，pp.3952-3960，2006

非专利文献3：奥寛雅，石井抱，石川正俊：マイクロビジユアルフイ一ドバツクシステム，電子情報通信学会誌D-II，Vol.J84-D-II，No.6，pp.994-1002，2001

非专利文献4：奥寛雅，石川正俊：キロヘルツオ一ダ一で応答可能な高速ビジヨンチツプ用可変焦点レンズの構造，光学，Vol.31，No.10，pp.758-764，2002

非专利文献5：橋本浩一：微生物を用いたアクテイブセンシング，SORSTジヨイントシンポジウム(6)講演要旨集，pp.23-26，2007年1月30日

非专利文献6：D.M.デイビス：会話する免疫細胞，日経サイエンス，pp.52-60，2006年5月号

非专利文献7：谷村保明：白血球分類の自動化，MEDICAL IMAGING TECHNOLOGY，Vol.14，No.1，pp.14-22，1996

发明内容

发明要解决的问题

现在，荧光观察参数都是由观察者根据主观经验而决定的。即，并非按照客观的评价来决定该荧光观察参数，而这就是现状。在这种情况下，即使细胞的位置、分布、种类等发生变化，观察者也很难随机应变地调整荧光观察参数。

在观察者想要观察大量的细胞而过度扩大激励光的照射范围、照射时间的情况下，会对细胞和荧光色素造成不必要的不良影响。另外，获取到的荧光图像数据的量较大，分析会花费较多时间。

在以往的荧光显微镜中，也通过自动控制激励光的种类、强度来连续地观察细胞内的多个离子、分子的活化状态，并将一次实验中发生的细胞内的多个离子、分子的相互作用汇总来进行可视化。然而，该自动控制是按照预先决定的时序表而进行的，或者是与从荧光图像中得到的细胞信息相结合地进行的。

在仅将荧光图像使用于控制的情况下，由于荧光的光强度较弱，因此用于得到控制用的图像的曝光时间变长。即，控制所耗费的时间变长。因此，当细胞移动的最大速度较快时，控制未能有效地起作用的情况变多。这种控制法的主要目的在于对长时间观察原本不移动的细胞时所产生的偏差进行校正。

本发明鉴于上述问题，目的在于提供一种显微镜装置以及使用了该显微镜装置的被观察物的荧光观察方法，能够通过将来自被观察物的透射光等使用于控制中，从而在荧光观察时自动控制被观察物的位置、观察区域等。

为了达到上述目的，本发明的显微镜装置的特征在于，具备：载物台，其载置被观察物；第一光源，其对上述被观察物照射照明光；第二光源，其对上述被观察物照射用于激励荧光的激励光；图像信息检测部，其检测通过上述照明光而得到的被观察物的图像信息；荧光图像信息检测部，其通过被观察物因激励光而产生的荧光来检测荧光图像信息；以及控制部，其根据上述被观察物的运动模型和从上述图像信息检测部输入的上述被观察物的图像信息来决定上述被观察物的荧光观察区域，在上述荧光观察区域内每隔规定的间隔获取从上述图像信息检测部输入的上述被观察物的图像信息和从上述荧光图像信息检测部输入的荧光图像信息。

运动模型是指着眼于被观察物所具有的物理特性或化学特性中的特定维度或特定维度的组合、或者特定维度的权重组合、以预测被观察物在该维度上的时间空间变化为目的的模型。例如，是指表示被观察物的位置、速度、分布、种类、形状、离子浓度、分子浓度中的任一个或它们的组合的时间空间变化的数理模型。

在上述结构中，控制部优选按照PID控制等古典控制、最优控制、准最优控制等现代控制、H∞控制、采样值控制、有限时间整定控制、适应控制等主现代控制理论、神经网络控制、模糊控制、遗传算法控制等智能控制来决定荧光观察区域。

PID控制是指按照一种根据与偏差成比例的项、偏差的积分项、以及偏差的微分项中的任一个或它们的组合进行表达的控制规则来进行目标值与输出值的偏差的最小化的控制方法。

最优控制是指制作表示荧光观察的效率的评价函数、通过将该评价函数局部最小化或最大化来导出局部最优的控制规则的控制方法。

控制部优选按照被观察物的运动模型来决定荧光观察区域的中心位置。控制部优选具备用于控制第一光源的第一光源控制部和用于控制第二光源的第二光源控制部。

载物台优选使被观察物的位置移动的三维载物台。

荧光图像信息检测部优选具备波长选择单元，该波长选择单元分离出至少一个以上的波长的荧光。

优选具备第一针孔和第二针孔，该第一针孔配置于第二光源与被观察物之间，该第二针孔配置于荧光与荧光图像信息检测部之间。优选具备针孔驱动部，该针孔驱动部使第一针孔或第二针孔移动和/或旋转。

优选具备配置于第一光源与被观察物之间的物镜以及物镜的驱动部。优选具备配置于在被观察物处产生的光与图像信息检测部之间的成像透镜以及成像透镜的驱动部。优选具备配置于荧光与荧光图像信息检测部之间的成像透镜以及成像透镜的驱动部。

优选具备环境控制部，该环境控制部容纳被观察物且充满环境气体。环境控制部控制环境气体的种类、环境气体的温度。作为环境气体，能够利用氮气(单体)、氧气(单体)、二氧化碳(单体)、空气(混合物)、以及它们的混合气体。环境控制部优选具备能够容纳多个被观察物的容纳部。

优选具备被观察物刺激单元，其刺激被观察物。作为施加给被观察物的刺激，例如能够利用电刺激、磁刺激、力学刺激、超声波刺激、温度刺激、化学刺激、光刺激等。作为被观察物刺激单元，例如为了对被观察物施加电刺激和磁刺激，能够利用包括电极、电流、电池、电阻、电容器、磁体、线圈、超导体、理想导体、电导体、半导体、绝缘体、电解质、压电体、焦电体、强电解质、离子传导体等的电刺激控制装置。例如为了对被观察物施加力学刺激，能够利用包括短针、探针、致动器、压电体、离心机、配重、弹簧等的力学刺激控制装置。或者，为了对被观察物施加超声波刺激，能够利用电致伸缩振动器、磁致伸缩振动器等超声波刺激控制装置。或者，例如为了对被观察物施加温度刺激，能够利用包括加热器、制冷器、热导体、温度计、热像仪等的温度刺激控制装置。并且，例如为了对被观察物施加化学刺激，能够利用包括使化学物质的浓度或状态发生时间空间变化的吸移管、泵、注射器、推进器(Propeller)、螺杆、微流体设备的化学刺激控制装置。例如为了对被观察物施加光刺激，能够利用反射镜、棱镜、滤光器、灯、激光、微波激射器等光刺激控制装置。

当然，这些刺激控制装置以及其部件是互补的。例如，光刺激控制装置能够通过对笼状化合物(Caged Compounds)照射光以将其分解，来使细胞内外的化学物质的浓度或状态发生时间空间变化，从而也能够成为化学刺激控制装置。另外，光刺激控制装置能够利用光来加热测量液，从而也能够成为温度刺激控制装置。

为了达到上述目的，本发明的荧光观察方法包括以下步骤：第一步骤，根据被观察物的图像信息和被观察物的运动模型来决定被观察物的荧光观察区域；以及第二步骤，在荧光观察区域内的规定位置获取荧光图像信息。

在上述结构中，优选按照PID控制等古典控制、最优控制、准最优控制等现代控制、H∞控制、采样值控制、有限时间整定控制、适应控制等主现代控制理论、神经网络控制、模糊控制、遗传算法控制等智能控制来决定第一步骤的荧光观察区域。

在第一步骤与第二步骤之间，优选根据被观察物的图像信息和被观察物的运动模型中的至少一个来决定荧光观察区域的中心位置。在第二步骤中，优选获取被观察物的图像信息。优选在荧光观察区域内的每个规定位置重复进行规定次数的各步骤。

运动模型的参数优选包括被观察物的位置、速度、分布、种类、形状、离子浓度、分子浓度中的任一个或它们的组合。

发明的效果

根据本发明的显微镜装置，根据来自被观察物的图像信息和被观察物的运动模型来决定荧光观察区域，因此能够自动进行荧光观察。

根据使用了本发明的显微镜装置的荧光观察方法，为了根据被观察物的运动模型导出评价函数和自动控制规则而使用被观察物的位置、分布、种类、状态、离子浓度、分子浓度等作为反馈信息，由此针对被观察物的动态变化也能够随机应变且自动地调整荧光观察参数。

附图说明

图1是表示本发明的第一实施方式所涉及的显微镜装置的结构的示意图。

图2是表示荧光观察区域的模型的图。

图3是表示使用了上述第一实施方式所涉及的显微镜装置的荧光观察过程的流程图。

图4是表示第二实施方式所涉及的显微镜装置的结构的示意图。

图5是表示第三实施方式所涉及的显微镜装置的结构的示意图。

图6是表示第四实施方式所涉及的显微镜装置的结构的示意图。

图7是表示第五实施方式所涉及的显微镜装置的结构的示意图。

图8是表示第六实施方式所涉及的显微镜装置的结构的示意图。

图9是表示第七实施方式所涉及的显微镜装置的结构的示意图。

图10是表示第八实施方式所涉及的显微镜装置的结构的示意图。

图11是表示环境控制部的结构的示意图，(A)是平面图，(B)是沿(A)的X-X的截面图。

图12是表示能够观察多个被观察物的环境控制部的另外的结构的示意图，(A)是平面图，(B)是沿(A)的X-X的截面图。

图13是表示观察开始之后的细胞分布的一例的图。

图14是对荧光观察过程中使用了控制量U(k)的实施例的评价函数J和将荧光观察区域宽度固定的情况下的比较例的评价函数J进行比较的示意图。

附图标记说明

1、30、35、40、45、50、55、60：显微镜装置；2：被观察物；3：XY或XYZ载物台；4：照明用光源；5：激励用光源；5A：激励光；6：物镜；7：成像透镜(透射光用)；8、9：滤波器；10、10A：光学系统；12：成像透镜(荧光用)；15：镜筒部；16：图像信息检测部；17：荧光图像信息检测部；18、19：第一以及第二分束器(分色镜)；20：控制部；21：个人计算机；22：显示装置；23：激励用光源控制部；25：荧光波长选择部；26：第三分色镜；27：反射镜；28：棱镜；29：透镜；32：物镜用驱动部；37：透射光的成像透镜用驱动部；52：荧光用成像透镜用驱动部；53：第一针孔；54：第二针孔；56、58：针孔驱动部；60、80：环境控制部；62：主体部；64、84：容纳部；65：树脂板；66：载玻片；67：树脂膜；67A：细孔；68：气体配管；68A：输入侧；68B：输出侧；69：环境气体；70：保持部件；71、72：玻璃盖片；74：培养液；85：障壁部；86：容纳分区；F：荧光；T：透射光。

具体实施方式

下面，参照附图来详细说明本发明的实施方式。在各图中，对同一或对应的部件使用同一附图标记。

(第一实施方式)

图1是表示本发明的第一实施方式所涉及的显微镜装置1的结构的示意图。第一实施方式所涉及的显微镜装置1具备：载物台3，其载置被观察物2，能够使被观察物2的位置自由移动；光学系统10；以及控制部20，其控制载物台3的位置等。

光学系统10具有：照明用光源4，其对被观察物2照射照明光以检测被观察物2的像、位置；激励用光源5，其照射用于激发出从被观察物2产生的荧光的激励光；镜筒部15，其配置有用于形成以下光路的光学部件，该光路为：照射照明用光源4的光而从被观察物2得到透过光T的光路、将激励光5A导向被观察物2的光路以及由被观察物2产生的荧光F的光路；图像信息检测部16，其检测从镜筒部15射出的来自被观察物2的透射光所形成的图像信息；以及荧光图像信息检测部17，其检测从镜筒部15射出的被观察物2的荧光图像信息。被观察物2例如可以是作为生物试样的细胞等。

载物台3上载置被观察物2，通过后述的控制部20来控制被观察物2的位置。该载物台3是所谓的电动载物台，可以是在载置被观察物2的二维平面(X-Y平面)上进行驱动控制的XY载物台，或者也可以是在三维上进行驱动控制的XYZ载物台。三维的驱动也可以由机械手(Manipulator)来进行(参照非专利文献3)。

在此，也可以通过控制照明用光源4、激励用光源5的照射位置、后述的针孔所配置的位置来进行观察区域的XY轴方向上位置控制。也可以通过控制后述的物镜、成像透镜、针孔所配置的位置来进行观察区域的Z轴方向上的位置控制(参照专利文献6、非专利文献2、4)。

在照明用光源4是透射光用的光源的情况下，照明用光源4只要是发出包含可由被观察物2吸收的波长或反射的波长的光的光源即可。作为这种照明用光源4，能够使用卤素灯等各种灯、发光二极管、各种激光。为了避免透射光T与激励光5A、荧光F相干扰，优选利用光学滤波器8等从照明用光源输出的光中滤除与激励光5A、荧光F相同的波长频带。从照明用光源4照射到被观察物2的照明光成为来自被观察物2的透射光T或反射光而被图像信息检测部16所检测。来自被观察物2的图像是所谓的明场像、暗场像等的图像信息。

激励用光源5只要是能够激励被观察物2本身或被观察物2所含有的荧光体的光源即可。作为这种激励用光源5，能够将氙气灯、汞灯等灯、氩激光等各种激光作为激励光5A。为了使激励光5A不与透射光T、荧光F相干扰，优选通过光学滤波器9等滤除不需要的波长频带。也可以通过未图示的光投射管将激励用光源5导入到被观察物2。

镜筒部15构成为包括由第一以及第二分束器18、19、物镜6以及成像透镜7构成的光学部件，以形成使因照明用光源4的光而在被观察物2处产生的光、激励光5A以及荧光F通过的光路。在图示的情况下，示出了倒立型的显微镜装置的一例。在此，因照明用光源4的光而在被观察物2处产生的光也可以不是透射光T而是反射光。

第一以及第二分束器18、19也可以配置在镜筒部15中设置的未图示的端口上。分束器18、19能够使用可使照明用光源4的波长与从被观察物2产生的荧光F的波长相分离的分色镜等。在下面的说明中，将分束器18、19作为分色镜来进行说明。

第一分色镜18具有反射短波长的光且透射长波长的光的作用，因此激励光5A反射而入射到纸面上方的被观察物2。另一方面，通过利用波长比激励光5A的波长长的光，来自被观察物2的透射光T透过第一分色镜18。

第二分色镜19配置于第一分色镜18的下方。透过第一分色镜18的来自被观察物2的透射光T通过第二分色镜19和成像透镜7，从而从镜筒部15射出到图像信息检测部16。也可以通过事先在成像透镜7与图像信息检测部16之间配置未图示的滤波器，来使透射光T不与激励光5A、荧光F相干扰地入射到图像信息检测部16。

透过第一分色镜18的来自被观察物2的荧光F被第二分色镜19反射并通过成像透镜12，之后射出到荧光图像信息检测部17。也可以通过事先在成像透镜12与荧光图像信息检测部17之间配置未图示的滤波器，来使荧光F不与激励光5A、透射光T相干扰地入射到荧光图像信息检测部17。

图像信息检测部16具备能够获取基于照明用光源4的光经过被观察物2的透射光T、反射光而得到的图像信息的检测器。在透射光T的光轴上并且在紧挨着检测透射光T的图像信息检测部16之前设置成像透镜7。检测器中能够使用摄像元件，例如CCD型摄像元件、CMOS型摄像元件。并且，也可以通过例如使用了液氮、珀耳帖元件的冷却装置来对这些摄像元件进行冷却，以提高S/N比(信噪比)并减少噪声。检测器也可以具备进行图像处理的计算机。另外，也可以具备目镜以用于目视观察。

荧光图像信息检测部17具备能够获取来自被观察物2的荧光图像的检测器。该检测器能够根据目的而使用银盐相机、摄像元件。作为摄像元件，与图像信息检测部16同样地，能够使用CCD型摄像元件、CMOS型摄像元件。并且，也可以通过使用了液氮、珀耳帖元件的冷却装置来对这些摄像元件进行冷却，以提高S/N比(信噪比)并减少噪声。也可以在荧光F的光路上并且紧挨着检测荧光F的荧光图像信息检测部17之前设置成像透镜12。另外，也可以具备目镜以用于目视观察。

图像信息检测部16用的成像透镜7与荧光图像信息检测部17用的成像透镜12也可以是不同的透镜。例如，也可以降低图像信息检测部16用的成像透镜7的倍率，同时提高荧光图像信息检测部17用的成像透镜12的倍率。在这种情况下，能够扩大图像信息检测部16所获取的透射光T的图像的视野，并且在荧光图像信息检测部17中能够得到被观察物2的更加扩大的荧光图像。

在图1中，为了说明而将透射光T的光路、激励光5A以及荧光F的光路示为不重合，但是这些光路也可以是一致的。在图像信息检测部16与荧光图像信息检测部17之间，有时会产生视野中心位置以及焦点位置的偏差。在这种情况下，也可以预先测量这些偏差，将其用作被观察物2的位置控制以及观察区域控制中的偏移。通过施加偏移，能够对视野中心位置、焦点位置的偏差进行校正。

通过图像信息检测部16将基于被观察物2的透射光T、反射光而得到的图像信息输入到控制部20。控制部20进行图像信息的处理以及基于图像信息的处理结果的载物台3的控制。控制部20由电子计算机构成。作为这种电子计算机，能够使用个人计算机21。个人计算机21具备显示被观察物2的图像等的显示器装置22。个人计算机21对图像信息检测部16以及荧光图像信息检测部17中的摄影的开始和结束、摄影速度、摄影像素数、面元(binning)数、增益、位数等进行控制。

通过光学系统10将透过被观察物2的透射光T的图像信息输入到控制部20中，控制部20利用该图像信息来控制载物台3上的被观察物2的位置。

在显微镜装置1中，根据从图像信息检测部16输入的被观察物2的图像信息和被观察物2的运动模型来决定被观察物2的荧光观察区域，移动载物台3来在荧光观察区域内的每隔规定间隔的位置上获取从图像信息检测部16输入的被观察物2的图像信息和从荧光图像信息检测部17输入的荧光图像信息。

在此，运动模型的参数包括被观察物2的位置、速度、分布、种类、形状、离子浓度、分子浓度中的任一个或它们的组合。

具体地说，为了进行荧光观察，控制部20进行包括如下三个步骤的控制，从而能够控制被观察物2的荧光信息的获取，该三个步骤为：在第一步骤中，根据从图像信息检测部16输入的被观察物2的透射光的图像信息来决定被观察物2的荧光观察区域，在第二步骤中，按照被观察物2的运动模型来决定荧光观察区域的中心位置，在第三步骤中，以规定的间隔进行荧光观察区域内的荧光观察和明场观察。在此，能够按照后述的最优控制规则等智能控制来决定荧光观察区域。

(位置控制算法)

首先，根据第一步骤中的被观察物2的透射光的图像信息来对控制被观察物2的细胞位置的方法、即细胞位置控制算法进行说明。

在图像信息检测部16中，获取被观察物2的透射光的图像，接着从图像信息中提取图像特征量。通过图像信息的二值化来在存在观察对象的区域中提取图像特征量，此时，通过使用仅在观察对象刚才存在的区域附近进行提取的自窗口法，能够不被障碍物扰乱地仅提取观察对象(参照非专利文献1)。

具体地说，基于上述的二值数据来计算0次、1次、2次矩(moments)作为透射光图像特征量。由控制部20的个人计算机21读出该图像特征量，求出被观察物2的重心和方向。也可以利用卡尔曼滤波器、粒子滤波器等来预测被观察物2的运动。

接着，确定载物台3的马达旋转角的目标值，对该马达进行反馈控制，以使被观察物2的重心移动到视野中心。例如，能够使用XYZ载物台作为载物台3。在该反馈控制中，能够使用利用比例、积分、微分中的任一个或它们的组合的控制手法。

另外，为了观察被观察物2的特定部位、或者获取被观察物2的立体图像，也可以有意地确定载物台3的马达旋转角的目标值来对该马达进行反馈控制，以使偏离被观察物2的重心的特定位置移动到视野中心。

也可以使用上述自窗口法以外的方法，例如也可以从被观察物2的衍射像中提取出透射光图像特征量(参照非专利文献2)。

为了重构、即再现被观察物2的轨迹，将上述XYZ载物台3的位移信息事先记录在个人计算机21中。由此能够得到被观察物2的轨迹。

使用透射光T是为了以高亮度稳定地拍摄成为追踪对象的被观察物2的全部像。除了透射光T以外，也能够使用来自应用了反射照明(epi-illumination)的被观察物2的反射光。能够使用与照明用光源4同样的光源作为反射光的光源。在这种情况下，来自被观察物2的图像是反射光图像。

此外，当对被观察物2过度照射来自照明用光源4的透射光T时，有可能会提高被观察物2的温度。因此，本实施方式的控制部20能够对来自照明用光源4的光的强度、照射时间等进行调整。

(荧光观察方法)

接着，说明使用了本发明的显微镜装置1的荧光观察方法。

将荧光试剂搭载在被观察物2上或注入被观察物2。在被观察物2是细胞的情况下，只要使用Indo-1(AM体，同仁化学研究所)这样的荧光试剂、以适度的浓度施加规定时间即可。Indo-1(AM体)不发出荧光F，但是可通过微生物的细胞膜。

通过细胞膜的Indo-1(AM体)利用体内的酯酶而变化为脱AM体。即，当Indo-1(AM体)通过细胞膜时，变化为能够发出荧光F但是不能通过细胞膜的Indo-1。Indo-1在与Ca²⁺离子结合时和离解时发出不同波长的荧光F。

处于结合状态和离解状态的Indo-1的量根据Ca²⁺浓度而发生变化。即，随着Ca²⁺浓度上升，基于结合状态的Indo-1的荧光F增加，相反地，基于离解状态的Indo-1的荧光F减少。根据该特性，通过对各个波长的荧光F的强度进行比较，能够求出Ca²⁺浓度。具体地说，在使用后述的显微镜装置40的情况下，能够按波长分出两个波长的荧光观察像，将按每像素计算出的荧光强度比代入预先制作出的标准曲线，则可求出Ca²⁺浓度。

不仅是Ca²⁺离子，通过交换显微镜装置1中的滤波器9以及分色镜18、19、26，也能够利用以其它离子、分子为对象的荧光色素。

(荧光观察区域的控制算法)

说明用于使用显微镜装置1来减少荧光观察张数以及增加能够进行荧光观察的细胞数的控制。

作为该控制，为了进行荧光观察而进行载物台3的Z轴方向、即成像透镜7的位置的时间变化，更具体地说是荧光观察区域宽度的时间变化。

作为荧光观察的顺序，最初决定进行荧光观察的区域。图2是表示荧光观察区域的模型的图。图的斜线所示的位置表示进行荧光观察的区域。对该观察区域进行等分。分割的宽度d(在此，d＞0)是根据所观察的对象而决定的。接着，在观察区域的各点进行荧光观察。然后，在间隔数十秒的时间之后，重新设定观察区域，进行荧光观察。将这种观察重复T次(在此，T＞0)。

一张荧光观察中照射激励光5A的时间e(＞0)与观察点的数量N(k)(在此，k＞0)相乘后得到的值eN(k)为一次荧光观察中照射激励光5A的总时间。e是可变且能够扩大的，但是在此为了简单而将其设为固定。通过下述(1)式来给出第K∈{0，1，…，T-1}次的荧光观察的区域宽度2x(k)。

[数1]

2x(k)＝N(k)d    (1)

当荧光观察时间从第k次的试验转变到第k+1次的荧光F时，将x(k)更新为x(k+1)。

导入通过下述(2)式给出的J(T)来作为荧光观察的评价函数。

[数2]

$J\left(T\right)=\underset{k=0}{\overset{T}{\mathrm{\Σ}}}[\mathrm{qe}{N}^2\left(k\right)-{\mathrm{ry}}^2\left(k\right)]---\left(2\right)$

在此，q(＞0)、r(＞0)分别是与荧光观察所需的时间和所观察的细胞数有关的权重。y(k)是在荧光观察区域宽度2x(k)内进行荧光观察的细胞数。在(2)式中，荧光观察张数N(k)越少，(2)式的右边部分越小，进行荧光观察的细胞数y(k)越多，(2)式的右边部分越小。另一方面，当N(k)变少时，y(k)也变少。

因而问题被转换为找出使评价函数J(t)最小化的荧光观察参数N(k)的问题。根据(1)式，N(k)与x(k)存在(1)式的关系，因此下面求出x(k)的最优控制规则。

利用下述(3)式来更新时刻k下的x(k)。

[数3]

x(k+1)＝x(k)+u(k)  (3)

在此，x(k)是正的值。控制量u(k)是对细胞数的观测值y(k)进行反馈后得到的。(3)式意味着下一个时刻的x(k+1)是当前时刻的x(k)加上控制量u(k)后得到的。

根据以上的内容，求出x(k)的问题能够回到求出下述(4)式所定义的最优控制量U^*(T-1)＝[u^*(0)，u^*(1)，…，u^*(t-1)]。这在控制理论上是求出最优的输出反馈规则的问题。因而，求出满足下述(5)式的最优控制规则U^*(T-1)的最优控制规则U^*(T-1)＝[u^*(0)，u^*(1)，…，u^*(t-1)]。

[数4]

$U^{*}(T-1)=\arg \underset{U(T-1)}{\min }J\left(T\right)---\left(4\right)$

现在，在要求出控制量u(k)时成为问题的是沿显微镜装置1的光轴方向的细胞2的运动。这是由于以下的情况会成为问题：通过在显微镜装置1的光轴方向上的运动，细胞2变得不存在于荧光观察区域内。因而，使用用于预测细胞2在显微镜1的光轴上的运动的模型。然后，求出荧光观察区域宽度2x(k)与存在于该区域内的细胞数y(k)的关系。

将全部细胞数设为M。将用于识别细胞2的编号设为i。i处于i∈{1，2，…，M}的范围内。将细胞2在显微镜装置1的光轴方向上的位置z_i(k)(＞0)设为下述(5)式。

[数5]

z_i(k+1)＝z_i(k)+v₀+ω_i(k)    (5)

在此，v₀是表示细胞2的移动速度的群体平均值的常数。

ω_i(k)是进入细胞2的运动的项的白噪声。其特性为平均E[ω_i(k)]＝0，通过下述(6)式给出方差(variance)。

[数6]

$E\left[{\mathrm{\ω}}_i\left(k\right){\mathrm{\ω}}_j^T\left(\mathrm{\τ}\right)\right]=W_i{\mathrm{\δ}}_{\mathrm{k\τ}}{\mathrm{\δ}}_{\mathrm{ij}}---\left(6\right)$

在此，δ_kτ和δ_ij是克罗内克符号。T表示转置。

初始位置z_i(0)为一个随机变量，在该随机变量中，通过下述(7)式给出的平均值和通过下述(8)式给出的方差已知。v₀与ω_i(k)是相独立的。在此，

[数7]

$E\left[z_i\left(0\right)\right]={\stackrel{\‾}{z}}_i\left(0\right)---\left(7\right)$

[数8]

$E\left[{(z_i\left(0\right)-{\stackrel{\‾}{z}}_i\left(0\right))}^2\right]=P_i\left(0\right)---\left(8\right)$

基于上述的(5)式，通过下述(9)式给出z_i(k)的方差P_i(k)的时间更新式。

[数9]

P_i(k+1)＝P_i(k)+W_i    (9)

通过给出细胞2的分布作为细胞2的运动模型，能够求出各时刻下的细胞位置的平均值和方差。通过下述(10)式给出细胞位置的群体平均值

通过下述(11)式给出细胞位置的方差的群体平均值P(k)。

[数10]

$\stackrel{\‾}{z}\left(k\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{z}_i\left(k\right)---\left(10\right)$

[数11]

$P\left(k\right)=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{P}_i\left(k\right)---\left(11\right)$

当细胞数足够多时，根据中心极限定理，能够将细胞2的分布视作正态分布。因而，可通过下述(12)式的概率密度函数h(z(k))给出k时刻下的细胞2在显微镜装置1的光轴方向上的位置的分布。

[数12]

$h\left(z\left(k\right)\right)=\frac{1}{\sqrt{2\mathrm{\πP}\left(k\right)}}\exp [-\frac{{(z\left(k\right)-\stackrel{\‾}{z}\left(k\right))}^2}{2P\left(k\right)}]---\left(12\right)$

在这种情况下，基于上述(9)～(12)式，分别利用下述(13)式和(14)式来给出P(k)和

的时间更新。进行控制使得荧光观察区域的中心与(14)式的

一致。

[数13]

$P(k+1)=P\left(k\right)+\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{W}_i---\left(13\right)$

[数14]

$\stackrel{\‾}{z}(k+1)=\stackrel{\‾}{z}\left(k\right)+v_0---\left(14\right)$

如下述的(15)式，将k时刻下的显微镜装置1的光轴方向的细胞数分布f(k，n(k))设为概率密度函数h(n(k))的M倍。这是由于，虽然当在-∞到+∞的区间内对n(k)对进行积分时作为正态分布的h(n(k))为1，但是f(k，n(k))的同区间内的积分值根据其定义而为M。

[数15]

f(k，n(k))＝Mh(n(k))    (15)

显微镜装置1的光轴方向的观测区域宽度2x(k)内所存在的细胞数y(k)由下述(16)式给出。

[数16]

$y\left(k\right)=g(k,x\left(k\right))$

$={\∫}_{\stackrel{\‾}{z}\left(k\right)-x\left(k\right)}^{\stackrel{\‾}{z}\left(k\right)+x\left(k\right)}f(k,n\left(k\right))\mathrm{dn}\left(k\right)---\left(16\right)$

$=M\sqrt{1-\exp [-\frac{x^2\left(k\right)}{2P\left(k\right)}]}$

当在涉及y(k)的上述(16)式中对x(k)作线性近似时，为下述(17)式。

[数17]

y(k)＝c(k)x(k)+s(k)    (17)

在此，c(k)是与x(k)相乘的系数，通过下述(18)式给出。

[数18]

$c\left(k\right)=\frac{\∂g}{\∂x}{|}_{x=x(k-1)}$

$=\frac{1}{2}M\frac{x(k-1)\exp [-\frac{x^2(k-1)}{2P\left(k\right)}]}{P\left(k\right)\sqrt{1-\exp [-\frac{x^2(k-1)}{2P\left(k\right)}]}}---\left(18\right)$

根据(18)式，可知当x(k-1)＞0时c(k)＞0。这意味着相对于观测宽度，观测区域内所存在的细胞数是递增的，其在物理上是妥当的。

s(k)是不包含x(k)的项，通过下述(19)式给出。

[数19]

s(k)＝g(k，x(k-1))-c(k)x(k-1)    (19)

接着，对最优控制量的导出进行说明。

当将(1)式和(17)式代入(2)式来整理评价函数J(T)时，J(T)通过下述(20)式给出。

[数20]

$J\left(T\right)=\underset{k=0}{\overset{T}{\mathrm{\Σ}}}[q_2\left(k\right)x^2\left(k\right)+\mathrm{\α}\left(k\right)x\left(k\right)+\mathrm{\β}\left(k\right)]---\left(20\right)$

在此，q₂(k)、α(k)以及β(k)通过下述(21)式给出。

[数21]

q₂(k)＝4qe/d²-rc²(k)，

α(k)＝-2rc(k)s(k)，(21)

β(k)＝-rs²(k)

然后，通过下述(22)式来定义将评价区间设为第l(l是L的小写字体)次到第T次的观察中的评价函数的总和

[数22]

$\stackrel{\‾}{J}\left(l\right)=\underset{k=l}{\overset{T}{\mathrm{\Σ}}}[q_2\left(k\right)x^2\left(k\right)+\mathrm{\α}\left(k\right)x\left(k\right)+\mathrm{\β}\left(k\right)]---\left(22\right)$

在此，l处于l∈{0，1，…，T-1}的范围内。

如果使用数学归纳法，则l＝m时的

为下述(23)式。

[数23]

$\stackrel{\‾}{J}\left(m\right)=\underset{k=m+1}{\overset{T}{\mathrm{\Σ}}}\{q_2\left(k\right){[u(k-1)+x(k-1)+\frac{\mathrm{\α}\left(k\right)}{2q_2\left(k\right)}]}^2\}$

$+q_2\left(m\right)x^2\left(m\right)+\mathrm{\α}\left(m\right)x\left(m\right)+\underset{k=m}{\overset{T}{\mathrm{\Σ}}}\mathrm{\β}\left(k\right)-\underset{k=m+1}{\overset{T}{\mathrm{\Σ}}}\frac{{\mathrm{\α}}^2\left(k\right)}{{4q}_2\left(k\right)}---\left(23\right)$

当对(23)式应用最优性的原理时，最优控制量u^*(k)通过下述(24)式给出。

[数24]

$u^{*}\left(k\right)=-x\left(k\right)-\frac{\mathrm{\α}(k+1)}{{2q}_2(k+1)}---\left(24\right)$

并且，当使用(17)式重写(24)式的最优控制量u^*(k)时，最优控制量u^*(k)通过下述(25)式给出。

[数25]

$u^{*}\left(k\right)=-c^{-1}\left(k\right)y\left(k\right)-\frac{\mathrm{\α}(k+1)}{{2q}_2(k+1)}+c^{-1}\left(k\right)s\left(k\right)---\left(25\right)$

最优控制量u^*(k)是反馈了细胞数的观测值y(k)的控制量。

(图像处理)

对用于测量得到最优控制量所需的细胞数等的图像处理进行说明。

对细胞2的运动模型进行识别(identify)需要细胞2在显微镜装置1的光轴方向上的移动速度的群体平均值v_o和细胞位置的方差的时间变化W_i。此外，在被观察物2是静止物的情况下，能够将移动速度的群体平均值v_o和位置的方差的时间变化W_i作为0来进行处理。

当测量细胞数时，有时也可举出细胞2存在于偏离焦点的位置的情况。在这种情况下，在实际上不存在细胞2的位置处测量为存在细胞2，因此造成测量误差。因而，估计细胞位置的手法是必不可少的，能够应用贝克线法等。

在细胞2的位置与焦点距离相比接近物镜6侧时，在细胞2的内侧产生亮条纹，在外侧产生黑条纹。在细胞2的位置与焦点距离相比远离物镜6侧时，在细胞2的外侧产生亮条纹，在内侧产生黑条纹。它们被称为贝克线。这是由于当观察细胞2时，以焦点面为界，光的衍射变化较大，通过将该贝克线应用于图像处理，能够估计出细胞2的显微镜装置1的光轴方向位置(参照非专利文献2)。

根据上述的图像处理方法，使用贝克线法来估计细胞位置，因此能够减小细胞2存在于偏离焦点的位置上时的细胞数测量误差。

能够通过以下的过程进行透射光图像处理。

(i)使细胞2所浮游的试验溶液的观察区域为显微镜装置1的光轴方向，通过图像信息检测部16中所设置的摄像机等拍摄被观察物2。将其设为观察图像1。在这种情况下，观察图像1是明场像。

(ii)在比(i)中的观察图像接近物镜6规定距离的位置拍摄图像。将其设为观察图像2。作为规定距离，例如能够设为1μm数量级。

(iii)取观察图像1与观察图像2之差。

(iv)进行图像上的差值的二值化。

(v)使用半径为规定大小的像素的圆形掩膜(circular mask)来进行膨胀处理，将同一细胞2的分离像素汇集成一个。

(vi)使用(v)中的上述像素的圆形掩膜来进行缩小处理，去除细胞2以外的小的噪声。

(vii)将附近的八个像素连结并进行标记，测量细胞数。

(viii)根据标记了的细胞2的大小进行过滤。即，如果过大则算为两个，以应对在过程(v)中将另外的细胞2认作同一细胞2的情况。如果过小则认作噪声，以应对未能完全消除细胞2以外的存在的情况。

能够使用显微镜装置1的图像信息检测部16、控制部20以及载物台3，通过以下的(1)～(7)的过程进行上述的图像处理。

(1)由个人计算机21发出指示。

(2)从个人计算机21处接受了指示的D/A板输出电压。

(3)移动载物台3。

(4)利用摄像机取入通过物镜6得到的图像。

(5)将取入的图像发送到个人计算机21。

(6)由个人计算机21进行图像处理。

(7)根据图像处理后的信息，由个人计算机21对D/A板发出指示。

通过图像处理测量各图像的细胞数，该细胞数为观察区域的各观察点的细胞数。由此，求出观察区域内的细胞分布。能够使用各观察点的细胞数来计算

将

相对于时间变化的变化量作为细胞的移动速度的群体平均值v₀来求出。

并且，也能够求出细胞位置的方差的时间变化W_i。

接着，对荧光观察进行说明，该荧光观察将上述荧光观察的最优控制规则、用于测量应用最优控制规则所需的细胞数等的图像处理进行组合。

图3是表示使用了本发明的第一实施方式所涉及的显微镜装置1的荧光观察过程的流程图的一例。

首先，在步骤ST1中，以d(μm)间隔(以下称为d间隔)作为规定的间隔来对被观察物2进行观察区域内的明场观察。被观察物2例如是作为免疫细胞的一种的T细胞。

在步骤ST2中，算出观察区域内的被观察物2的平均位置和方差。

在步骤ST3中，根据想要观察的被观察物2的数量来决定荧光观察区域。

在步骤ST4中，以d间隔进行荧光观察区域的荧光观察和明场观察。为了增加透射光图像的信息，也可以使明场观察与荧光观察相比观察间隔变窄，或者观察区域扩大。

在步骤ST5中，待机规定的时间、例如20秒。为了增加控制中使用的透射光的图像信息，也可以与荧光观察相比缩短明场观察的待机时间。

接着，在步骤ST6中，按照最优控制规则来决定荧光观察区域。

在步骤ST7中，按照被观察物2的运动模型来决定荧光观察区域的中心位置。

接着，在步骤ST8中，以d间隔进行荧光观察区域的荧光观察和明场观察。d间隔例如能够设为300μm。为了增加透射光图像的信息，也可以使明场观察与荧光观察相比观察间隔变窄，或者观察区域扩大。

在步骤ST9中，判断是否结束荧光观察。然后，在步骤ST9中，在判断为尚未重复进行规定次数、例如T次荧光观察的情况下，再次进行步骤ST5到步骤ST8的荧光观察。

在步骤ST9中，在判断为已进行了T次步骤ST5到步骤ST8的被观察物2的测量时，结束荧光观察。这样，能够按照最优控制规则进行被观察物2的荧光观察。

在最初的第k＝0次的试验中，例如在观察区域内以d间隔对整个观察区域进行观察。在第k＝1次以后的试验中，观察宽度2x(k)的荧光观察区域。x(k)是根据最优控制量U^*(k)决定的。

在此，利用基于上述(i)～(viii)的透射光图像处理过程而求出的细胞2的运动模型参数v₀来对荧光观察区域的中心

进行更新。由设置于图像信息检测部16中的摄像机拍摄中心为

宽度为x(k)、规定位数、例如8位灰度的明场观察像，对该灰度图像进行图像处理，决定第k+1次试验的x(k+1)。同时，由设置于荧光图像信息检测部17的荧光观察用摄像机来拍摄荧光观察像。

根据显微镜装置1，能够将以往在荧光观察之前由观察者通过手动进行的荧光观察的参数设置变为自动化设置。因此能够减轻观察者的负担。

利用控制部20，还能够进行荧光观察的控制、荧光图像的记录。如图1所示，控制部20也可以构成为还具备激励用光源控制部23，该激励用光源控制部23作为用于控制激励用光源5的第二光源控制部。激励用光源控制部23具有根据基于被观察物2的透射光T的图像数据来控制激励光5A的点亮/熄灭、点亮时间的功能。另外，也可以具备选择激励光5A的波长和强度来进行照射的功能。

为了进行荧光图像的记录、图像处理，而将来自荧光图像信息检测部17的检测输出输入到控制部20。

并且，根据显微镜装置1，从透射光图像得到的被观察物2的信息与来自被观察物2的荧光F相比光亮较多，且可高速地进行记录。因而，通过将与荧光F同时获取的透射光图像使用于荧光图像的分析处理，可提高分析结果的时间空间精确度。

在显微镜装置1中，能够与从透射光图像得到的位置等细胞信息相结合地记录荧光图像信息检测部17的荧光图像。即，仅记录照射荧光F的时间的荧光图像即可。因而，不需要记录被观察物2未进入显微镜装置1的视野的时间的荧光图像。因此，能够减少用于荧光图像记录的运算时间、存储装置的容量，从而能够有效利用个人计算机21。由于不需要记录无用的荧光图像，因此荧光图像的分析时间也能够大幅缩短。

此外，在本发明中，对于使用了透射光图像的荧光观察的控制来说，能够通用为时序安排问题。因此，在荧光观察的控制中，除了上述最优控制规则以外，也可以使用PID控制等古典控制、准最优控制等现代控制、H∞控制、采样值控制、有限时间整定控制、适应控制等主现代控制理论、神经网络控制、模糊控制、遗传算法控制等智能控制。

并且，显微镜装置1的结构能够形成为以下示出的各种实施方式。

(第二实施方式)

图4是表示第二实施方式所涉及的显微镜装置30的结构的示意图。

显微镜装置30与显微镜装置1的不同点在于，设置了物镜用驱动部32，使得能够在透射光T的光轴、即Z轴方向上移动物镜6。物镜用驱动部32由控制部20进行控制。能够使用压电元件这样的驱动部件来构成物镜用驱动部32。其它结构与显微镜装置1相同，因此省略说明。

(第三实施方式)

图5是表示第三实施方式所涉及的显微镜装置35的结构的示意图。

显微镜装置35与显微镜装置1的不同点在于，设置了透射光用的成像透镜用驱动部37，使得能够在光轴方向(Z轴方向)上移动图像信息检测部16侧的成像透镜7。成像透镜用驱动部37由控制部20进行控制。能够使用压电元件这样的驱动部件来构成成像透镜用驱动部37。其它结构与显微镜装置1相同，因此省略说明。

(第四实施方式)

图6是表示第四实施方式所涉及的显微镜装置40的结构的示意图。

显微镜装置40与显微镜装置1的不同点在于，在荧光图像信息检测部17之前设置了荧光波长选择部25。荧光波长选择部25具有能够分离两个荧光波长来进行检测的功能。荧光波长选择部25包括第三分色镜26、反射镜27以及棱镜28。也可以还设置透镜29。根据该结构，能够分离两个波长的荧光F来进行检测。荧光波长选择部25能够配置在镜筒部15或荧光图像信息检测部17上。其它结构与显微镜装置1相同，因此省略说明。

荧光波长选择部25示出了进行两个波长的荧光F的分离的方式，但是也可以通过使用分光器来检测多个波长的荧光F。即，荧光波长选择部25能够构成为具备包括分离出至少一个以上的波长的荧光F的棱镜、分光器等部件的波长选择单元。

根据显微镜装置40，能够控制激励光5A的种类、强度。即，能够对多个荧光色素进行观测时间的自动分配等。已知一般来说，细胞2根据其运动状态、来自外部的刺激，而活性化或惰性化的细胞2内的离子、分子是不同的。因此，能够与从透射光图像得到的被观察物2的运动信息、细胞2的形状以及刺激的种类、强度等相结合，来进行对被观察物2进行激励的激励光5A的波长、强度的选择控制。由此，能够与从透射光图像得到的被观察物2的信息相结合，来高效获取来自被观察物2的荧光信息。

此外，在同时观察多种细胞2时，也能够使用透射光图像所包含的各细胞2的面积、形状、颜色的浓度、色调、纹理等来在图像处理中自动辨别细胞2的种类(参照非专利文献7)。

(第五实施方式)

图7是表示第五实施方式所涉及的显微镜装置45的结构的示意图。

显微镜装置45与显微镜装置1的不同点在于，设置了成像透镜用驱动部52，使得能够使插入到荧光图像信息检测部17的光轴方向上的成像透镜12在光轴方向上进行移动。其它结构与显微镜装置1相同，因此省略说明。

根据显微镜装置45，能够利用成像透镜用驱动部52对成像透镜12进行驱动，由此改变被观察物2的焦点位置。成像透镜12的驱动能够相对于检测透射光T的图像信息检测部16独立地进行。由此，能够进行来自被观察物2的荧光F的光轴方向的观察。

(第六实施方式)

图8是表示第六实施方式所涉及的显微镜装置50的结构的示意图。

显微镜装置50与显微镜装置1的不同点在于，在光学系统10中，还设置有两个针孔(Pinhole)53、54，从而以共聚焦光学系统构成该光学系统10。第一针孔53配置于激励用光源5与滤波器9之间的光轴上。也可以交换第一针孔53与滤波器9的配置顺序。第二针孔54配置于荧光图像信息检测部17与成像透镜12之间的荧光F的光轴上。也可以交换第二针孔54与成像透镜12的配置顺序。其它结构与显微镜装置1相同，因此省略说明。

根据显微镜50，观察荧光F的光学系统由共聚焦光学系统构成。通过设置第一针孔53，能够控制激励用光源5的照射位置。通过设置第二针孔54，来自焦点以外的光不会入射到荧光图像信息检测部17。因此，可得到明亮的荧光像。并且，在以XY载物台对载置被观察物2的载物台3进行控制的结构的情况下，与XY载物台3的移动相应地进行被观察物2的扫描。

(第七实施方式)

图9是表示第七实施方式的显微镜装置55的结构的示意图。

显微镜装置55与显微镜装置50的不同点在于，还设置了驱动第二针孔54的针孔驱动部56，使得第二针孔54在荧光F的光轴方向上移动和/或旋转。其它结构与显微镜装置1相同，因此省略说明。

在显微镜装置55中，能够通过利用针孔驱动部56对在荧光的光轴方向上插入的第二针孔54进行驱动，来改变来自被观察物2的荧光F的焦点以及观察位置。第二针孔54的驱动能够相对于检测透射光T的图像信息检测部16独立地进行。另外，第二针孔54也可以由多个孔构成。

并且，也可以设置驱动第一针孔53的针孔驱动部58。也能够通过使第一针孔53在光轴上移动和/或旋转来控制激励用光源5的照射位置。另外，第一针孔53也可以由多个孔构成。

(第八实施方式)

图10是表示第八实施方式的显微镜装置60的结构的示意图。

显微镜装置60与显微镜装置1的不同在于，具有从被观察物2的下方照射透射光T的所谓正立型光学系统10A。其它结构与显微镜装置1相同，因此省略说明。

显微镜装置60的光学系统10A能够为第二～第七实施方式所涉及的显微镜装置30、35、40、45、55的光学系统10中的任一个或将它们组合的结构。举例来说，在显微镜装置60中，也可以如显微镜装置30那样设置物镜用驱动部32，使得能够在光轴方向(Z轴方向)上移动物镜6。

并且，在显微镜装置60中，也可以如显微镜装置35那样设置成像透镜用驱动部37，使得能够在光轴(Z轴方向)上移动图像信息检测部16侧的成像透镜7。

在显微镜装置30、35、40、45、50、55、60中的任一个显微镜装置中，能够与显微镜装置1同样地进行透射光图像和荧光图像的观察。

(被观察物的环境控制)

对被观察物2的环境控制进行说明。

图11是表示环境控制部60的结构的示意图。(A)是平面图，(B)是沿(A)的X-X的截面图。环境控制部60构成为包括主体部62、以及配置于主体部62的下部以容纳被观察物2的容纳部64。

主体部62是以载玻片66和树脂膜67夹着树脂板65而构成的，具体地说，主体部62具备：长方形的树脂板65，其具有与容纳部64对应的开口65A；载玻片66，其配置于树脂板65的上部并覆盖树脂板65；以及树脂膜67，其配置于树脂板65的下部并覆盖树脂板65。并且，在主体部62中，设置有与树脂板65的开口部65A连接的气体配管68。从气体配管68的输入侧68A向输出侧68B导入环境气体69。作为环境气体69，能够举出氮气(单体)、氧气(单体)、二氧化碳(单体)、空气(混合物)、以及它们的混合气体等。

在此，树脂板65例如能够使用丙烯酸树脂。树脂膜67能够使用由聚酯形成的膜等。并且，也可以具备用于保持树脂板65、载玻片66以及树脂膜67的保持单元70。

容纳部64具有皿状的容器构造，容器最上部的外周部与树脂膜67抵接。容纳部64的底部的开口处配置有玻璃盖71。在树脂膜67的与容纳部64相向的下表面设置有玻璃盖72。环境气体69通过设置于树脂膜67的细孔67A被导入到容纳部64中。容纳部64被未图示的被观察物2和被观察物用的培养液74充满。由此，容纳部64内的被观察物2和被观察物用的培养液74暴露于环境气体69中。

通过将环境控制部60载置在显微镜装置1的载物台3上，能够以将被观察物2保持在培养液74中的状态进行观察。并且，只要将显微镜装置1容纳在恒温槽内，就能够使培养液74的温度固定。由此，能够形成将被观察物2保持培养液74中、使温度和环境气体69固定的状态，来观察被观察物2的透射光T、荧光F。

环境控制部60也可以构成为能够观察多个被观察物2。具体地说，也可以构成为配置多个图11示出的环境控制部60。

图12是表示能够观察多个被观察物2的环境控制部80的结构的示意图，(A)是平面图，(B)是沿(A)的X-X的截面图。

环境控制部80与环境控制部60的不同点在于，容纳部84不是一体的，而是被格子状的障壁部85隔成具有多个容纳分区86。各容纳分区86中注入有培养液74。其它结构与环境控制部60相同，因此省略说明。

根据环境控制部80，能够将被观察物2分别容纳在每个容纳分区86中，因此能够在使温度和环境气体69固定的状态下对来自多个被观察物2的透射光T、荧光F进行观察。也可以使注入到多个容纳分区86中的培养液74的种类不同而使成为被观察物2的细胞的种类相同。在这些情况下，能够在使温度和环境气体69固定的状态下对来自改变了培养液74的条件时的各细胞2的透射光T、荧光F连续地进行观察。反之，也可以使注入到多个容纳分区86中的培养液74的种类相同而使成为被观察物2的细胞的种类不同。

并且，在利用具备环境控制部60、80的显微镜装置1的荧光观察中，能够与从透射光图像得到的被观察物2的信息相结合，来高效获取来自被观察物2的荧光信息。因此，能够缩短用于使被观察物2产生荧光F的激励光5A的照射时间。因而，在被观察物2是细胞等生物试剂的情况下，与以往的荧光观察相比，能够观察透射光T、荧光F更长时间。

并且，环境控制部60、80也可以具备用于刺激被观察物2的刺激单元。作为这种刺激单元，可举出电刺激、磁刺激、力学刺激、超声波刺激、温度刺激、化学刺激、光刺激等。

实施例

下面，利用实施例详细说明本发明。

制作图4所示的显微镜装置30。作为光学系统10，使用倒立显微镜(奥林巴斯株式会社制，IX71)，照明用光源4以及激励用光源5分别使用卤素灯和氙气灯。物镜6(奥林巴斯株式会社制，UApo40×3/340)使用40倍物镜。

在将明场观察像取入到个人计算机21中的图像信息检测部16中，使用了摄像机(POINTGREY制，Dragofly Express)。该摄像机能够以100fps(帧/秒)获取8位的灰度图像。像素大小为640×480。

作为在显微镜装置30的光轴方向上控制物镜6的位置的物镜用驱动部32，使用了压电载物台(Physik Instrument制，P-723)。该压电载物台32的最大操作距离为350μm。利用电压输入，压电载物台32进行移动。使用了D/A变换板(Interface制D/A板，PCI-3346A)来进行向压电载物台32的电压输入。

控制部20使用装载有RT-Linux作为实时基本软件的个人计算机21。

荧光图像信息检测部17的检测器使用了冷却CCD摄像机(Q-Imaging公司制，Retiga 2000R，1600×1200像素)。将冷却温度设为比周围温度低25℃。荧光F通过光学系统10的双通道内的分色镜19(Semrock制的分色镜，FF01-520/35-25)与透射光T相分离。以如下方式来选择滤波器：为了使荧光F的激励光5A、荧光F以及追踪用的透射光T互不干涉而使波长带不同。冷却CCD摄像机进行将4×4像素归为一个的面元划分处理，将获取像素数设为400×300。设曝光时间为33ms。

如上所述那样按照图3所示的流程图来观察作为免疫细胞的一种的T细胞2。将d间隔设为1.5μm。根据想要观察的细胞数来决定荧光观察区域x(0)。然后，在荧光观察区域内以1.5μm为间隔同时进行荧光观察和明场观察。之后，在20秒的待机之后，按照最优控制规则来决定荧光观察区域，按照细胞2的运动模型求出荧光观察区域的中心。然后，重复在荧光观察区域中以1.5μm为间隔同时进行荧光观察和明场观察这样的作业60次(T＝60)。

图13是表示开始观察之后的细胞分布的一例的图。图13的横轴是压电载物台32的位置(μm)，纵轴是细胞数(个)。

图14是表示在荧光观察过程中使用了控制量U(k)的实施例的评价函数J与将荧光观察区域宽度固定的情况下的比较例的评价函数J的示意图。图14的横轴表示进行固定的情况下的荧光观察区域的宽度(μm)，纵轴表示评价函数J的值。本发明的使用了控制量的情况下的荧光区域的宽度是动态变化的。

根据图14明显可知，当将使用了控制量U(k)的实施例的评价函数J与使荧光观察区域宽度固定的比较例的评价函数J进行比较时，本发明的使用了控制量的实施例的评价函数J的值始终小于比较例的J的值，可知其已被最优化。

本发明并不限定于上述实施方式，在权利要求所记载的发明的范围内能够进行各种变形，它们也包含在本发明的范围内，这是不言而喻的。在上述的实施方式中，在第一以及第二检测光学系统16、17中使用了摄像元件，但是也能够根据需要将检测光学系统设为多个，以能够在摄像元件位置也进行目视的观察、拍照摄影等。另外，检测荧光F的检测光学系统17的结构等当然可以根据被观察物2而选择最佳设计和使用部件。

也可以根据被观察物的图像信息或根据该图像信息和被观察物的运动模型来求出荧光观察区域的中心。

也可以根据被观察物的运动模型或者该运动模型和上述图像信息来进行载物台的控制。

通过调整成像透镜7、成像透镜12的倍率、例如降低倍率，能够缩小由图像信息检测部16、荧光图像信息检测部17获取的图像中的被观察物的大小。由此，能够扩展观察视野，可同时观察更多的被观察物。并且，也能够减少表示被观察物的像素数，进一步缩短控制部20中平均每个细胞的图像处理时间。

Claims (22)

1.一种显微镜装置，其特征在于，具备：

载物台，其载置被观察物；

第一光源，其对上述被观察物照射照明光；

第二光源，其对上述被观察物照射用于激励荧光的激励光；

图像信息检测部，其检测在上述被观察物处产生的基于光的图像信息；

荧光图像信息检测部，其检测在上述被观察物处产生的基于荧光的荧光图像信息；以及

控制部，其根据上述被观察物的运动模型和从上述图像信息检测部输入的上述被观察物的图像信息来决定上述被观察物的荧光观察区域，在上述荧光观察区域内每隔规定的间隔获取从上述图像信息检测部输入的上述被观察物的图像信息和从上述荧光图像信息检测部输入的荧光图像信息。

2.根据权利要求1所述的显微镜装置，其特征在于，

上述控制部按照最优控制、准最优控制等现代控制来决定上述荧光观察区域。

3.根据权利要求1所述的显微镜装置，其特征在于，

上述控制部按照上述被观察物的运动模型和上述被观察物的图像信息中的至少一个来决定上述荧光观察区域的中心位置。

4.根据权利要求1所述的显微镜装置，其特征在于，

上述控制部根据上述被观察物的运动模型和上述被观察物的图像信息中的至少一个来控制上述载物台使其对上述被观察物进行跟踪，并且控制上述被观察物的荧光信息的获取。

5.根据权利要求1所述的显微镜装置，其特征在于，

上述控制部通过PID控制等古典控制来控制上述载物台，该PID控制为基于上述图像信息的比例、积分、微分中的任一个或它们的组合的控制。

6.根据权利要求1所述的显微镜装置，其特征在于，

上述控制部具备用于控制上述第一光源的第一光源控制部和用于控制上述第二光源的第二光源控制部。

7.根据权利要求1所述的显微镜装置，其特征在于，

上述载物台是使上述被观察物的位置移动的二维或三维载物台。

8.根据权利要求1所述的显微镜装置，其特征在于，

上述荧光图像信息检测部具备波长选择单元，该波长选择单元对至少一个以上的波长的荧光进行分离。

9.根据权利要求1所述的显微镜装置，其特征在于，

还具备第一针孔和第二针孔，该第一针孔配置于上述第二光源与上述被观察物之间，该第二针孔配置于上述荧光与上述荧光图像信息检测部之间。

10.根据权利要求9所述的显微镜装置，其特征在于，

还具备针孔驱动部，该针孔驱动部使上述第一针孔或上述第二针孔移动和/或旋转。

11.根据权利要求1所述的显微镜装置，其特征在于，

还具备配置于上述第一光源与上述被观察物之间的物镜以及该物镜的驱动部。

12.根据权利要求1所述的显微镜装置，其特征在于，

还具备配置于上述被观察物处产生的光与上述图像信息检测部之间的成像透镜以及该成像透镜的驱动部。

13.根据权利要求1所述的显微镜装置，其特征在于，

还具备配置于上述荧光与上述荧光图像信息检测部之间的成像透镜以及该成像透镜的驱动部。

14.根据权利要求13所述的显微镜装置，其特征在于，

还具备环境控制部，该环境控制部容纳上述被观察物且充满有环境气体。

15.根据权利要求14所述的显微镜装置，其特征在于，

上述环境控制部具备能够容纳多个上述被观察物的容纳部。

16.根据权利要求1所述的显微镜装置，其特征在于，

还具备被观察物刺激单元，该被观察物刺激单元刺激上述被观察物。

17.一种被观察物的荧光观察方法，获取被观察物的图像信息和该被观察物的荧光图像信息，该荧光观察方法的特征在于，包括以下步骤：

第一步骤，根据上述被观察物的图像信息和上述被观察物的运动模型来决定上述被观察物的荧光观察区域；以及

第二步骤，在上述荧光观察区域内的规定位置处获取上述荧光图像信息。

18.根据权利要求17所述的被观察物的荧光观察方法，其特征在于，

按照诸如PID控制等古典控制以及诸如最优控制、准最优控制等现代控制来决定上述第一步骤的荧光观察区域。

19.根据权利要求17所述的被观察物的荧光观察方法，其特征在于，

在上述第一步骤与上述第二步骤之间，根据上述被观察物的图像信息和上述被观察物的运动模型中的至少一个来决定上述荧光观察区域的中心位置。

20.根据权利要求17所述的被观察物的荧光观察方法，其特征在于，

在上述第二步骤中，获取上述被观察物的图像信息。

21.根据权利要求17～20中的任一项所述的被观察物的荧光观察方法，其特征在于，

在上述荧光观察区域内的每个规定位置处将各上述步骤重复进行规定次数。

22.根据权利要求17所述的被观察物的荧光观察方法，其特征在于，

上述运动模型的参数包括上述被观察物的位置、速度、分布、种类、形状、离子浓度、分子浓度中的任一个或它们的组合。

Images