CN108882831B

CN108882831B - 光学成像装置

Info

Publication number: CN108882831B
Application number: CN201780019699.8A
Authority: CN
Inventors: 小山内实; 虫明元
Original assignee: Tohoku University NUC
Current assignee: Tohoku University NUC
Priority date: 2016-03-31
Filing date: 2017-03-29
Publication date: 2021-04-27
Anticipated expiration: 2037-03-29
Also published as: US10959608B2; JPWO2017170662A1; US20200305697A1; WO2017170662A1; CN108882831A

Abstract

荧光成像装置具备：光源，其用于向被检体照射荧光染料激励用激光；聚光透镜，其接收来自光源的光；内窥镜探针，其具备成像光纤和配置于成像光纤的前端侧的透镜；光检测器，其检测来自被检体的返回光；以及振动元件，其与成像光纤或聚光透镜连接，并通过施加电压而使成像光纤或聚光透镜进行振动。通过该结构，能够使振动元件振动，实时地校正在被检体的图像中出现的光纤线材的网格图案。

Description

光学成像装置

技术领域

本发明涉及光学成像装置。

背景技术

光学成像装置的图像传送部即内窥镜探针使用了由光纤束构成的成像光纤。在能够进行细胞水平的观察的细径的内窥镜中，需要使用像素数少的成像光纤，因此，光纤线材的网格图案给辨识性带来影响。

为了减少光纤线材的网格图案，在专利文献1中，在荧光成像装置中，通过对所取得的图像以软件的方式进行图像处理，从而将图像平滑化，使得不易看到该网格图案，容易看到对象物的像。

在专利文献2的内窥镜用观察/摄像装置中，在内窥镜内部相对于在透镜和图像引导件之间收纳于框体的透明板，将在透明板的上下及左右周缘的四个位置处抵接的压电振子粘固设置于该框体，通过使压电振子振动，从而除去光纤的配设图案。

专利文献3中公开有一种具备位移机构的内窥镜系统，通过形成于图像引导件的入射端的外周的压电元件使图像引导件的入射端摆动，使上述图像引导件的入射端相对于由物镜光学系统成像的像而周期性地进行位移动作。

现有技术文献

专利文献

专利文献1：日本国特表2005－532884号公报

专利文献2：日本国特开昭60－53919号公报

专利文献3：日本国特开2010－284369号公报

发明内容

发明要解决的技术问题

但是，在专利文献1所记载的基于软件的平滑化处理中，不能实时地取得通过平滑化进行了校正的图像。另外，在基于软件的处理中，仅能够使用搭载有专用软件的荧光成像装置，缺乏通用性，且价格昂贵。

专利文献2所记载的装置存在如下问题，即，由于压电振子在透镜和图像引导件之间粘固于光路内，因而构造复杂，并且入射到形成图像引导件的光纤的光失真，在检测侧的光纤端的光纤图案的除去效果欠缺。

在专利文献3中，按照CCD的帧率使利用了压电元件的位移机构进行位移，在位移的一周期进行多次拍摄，将所得到的多个帧的图像进行合成而生成一个合成图像，因此，不能实时地取得图像。另外，位移机构位于图像引导件的检体侧的前端，因此，存在如下问题：由CCD观察的图像引导件的网格图案的除去效果欠缺。

本发明的目的在于，提供一种能够实时地校正在被检体的图像中出现的光纤线材的网格图案的光学成像装置。

用于解决问题的技术方案

本发明者等为了实现上述目的，发现通过将振动元件安装于内窥镜探针使光纤高速振动而能够通过简单的机械结构实时地将图像平滑化，从而完成了本发明。

根据本发明的第一方面，提供一种光学成像装置，其具备：光源，其用于向被检体照射光；聚光透镜，其接收来自所述光源的光；内窥镜探针，其具备对将经由所述聚光透镜入射的来自所述光源的光导向被检体的多条光纤进行捆扎的成像光纤和配置于所述成像光纤的前端侧的透镜；光检测器，其检测来自所述被检体的返回光；以及振动元件，其与所述成像光纤、所述聚光透镜或光检测器连接，使所述成像光纤、所述聚光透镜或光检测器进行振动。

在一个实施方式中，光学成像装置还具备：显示装置，其显示由通过所述光检测器而检测到的返回光生成的被检体的图像。

在其他实施方式中，振动元件进行动作使得消除由所述光检测器得到的被检体的图像中的所述成像光纤的光纤线材的网格图案。

在其他实施方式中，配置于成像光纤的前端侧的透镜是与所述成像光纤的前端结合的GRIN透镜。

根据本发明的第二方面，提供一种方法，是使用了光学成像装置的被检体的图像的处理方法，所述光学成像装置具备：光源，其用于向被检体照射光；聚光透镜，其接收来自所述光源的光；内窥镜探针，其具备将经由所述聚光透镜入射的来自所述光源的光导向被检体的多条光纤束所构成的成像光纤和配置于所述成像光纤的前端侧的透镜；以及光检测器，其检测来自所述被检体的返回光，在该方法中，使与所述成像光纤或所述聚光透镜连接的振动元件进行振动，使得消除所述被检体的图像中的所述成像光纤的光纤线材的网格图案。

在一个实施方式中，所述振动元件的振动在所述图像的显示中实时地进行。

发明效果

根据本发明，能够实时地取得经校正后的清晰的图像。另外，能够以低成本进行图像的校正。进而，本发明的光学成像装置能够应用于公知的光学系统或公知的光学成像装置，通用性也广泛。

附图说明

图1是本发明第一实施方式的荧光成像装置的概略图。

图2的(A)是表示图1的内窥镜探针的局部放大图，(B)是图2的(A)的前端部分的放大图。

图3是内窥镜探针的试制品。

图4的(A)是表示振动元件的安装状态的局部放大侧视图，(B)是端面图。

图5是表示将试制品的内窥镜探针应用于加入了4μm荧光珠的培养皿的状态的示意图。

图6的(A)是振动元件动作前的直径4μm荧光珠的图像，(B)是振动元件动作中的图6的(A)的荧光珠的图像，(C)是图6的(A)的由虚线的四边包围的部分的放大图，(D)是图6的(B)的由虚线的四边包围的部分的放大图。

图7是表达GFP的大脑皮质的抑制性神经元(GABA神经元)的荧光图像。

具体实施方式

以下，参照附图对将本发明具体实现为荧光成像装置的第一实施方式进行说明。

本发明第一实施方式的荧光成像装置1具备：光学系统10；以可拆装的方式与光学系统10连接且作为检测来自被检体3的返回光的光检测器的CCD照相机17；以可拆装的方式与光学系统10连接且对被检体3进行显微镜观察的内窥镜探针20；以可拆装的方式与光学系统10连接且用于向被检体3照射荧光染料激励用激光的光源30；和以可拆装的方式与光学系统10连接的个人计算机40。光学系统10接收来自光源30的光并向被检体3传递，且将来自内窥镜探针20的光朝向CCD照相机17传递。被检体3可以是动物、植物、微生物；它们的组织；以及它们的细胞。被检体3中的荧光的表达能够通过对被检体3通过注射等而投放的细胞内成像用的荧光染料等荧光体来进行，或者通过由被检体3自身制造的荧光体来进行，并能够通过照射来自光源30的荧光染料激励用激光而进行观察。个人计算机40具备显示所生成的被检体3的图像的作为显示装置的监视器42。

通过将光源30的光纤32的前端部与设置于光学系统10的单元的连接器4连接，从而将光源30与光学系统10连接。另外，通过将内窥镜探针20的光纤21的基端部与设置于光学系统10的单元的用于连接成像光纤21的保持部件52连接，从而将内窥镜探针20与光学系统10连接。

光学系统10具有以与内窥镜探针20对应的方式配置的聚光透镜11、反射来自光源30的光并将朝向聚光透镜11反射的反射镜12、反射来自光源30的激励光及将其一部分朝向反射镜12反射的反射镜14。

来自内窥镜探针20的返回光由CCD照相机17接收，由CCD照相机17进行了A/D转换的信号被输入到个人计算机40，个人计算机40生成二维的图像数据。

存储于个人计算机40的存储器等中的图像数据进行D/A转换等，例如转换成标准的视频信号，输出到个人计算机40的监视器42，监视器42将被检体3的组织或细胞的像作为光学成像图像而进行显示。

接着，对内窥镜探针20进行更详细说明。参照图1、图2的(A)、及图2的(B)，内窥镜探针20具备将经由聚光透镜11入射的来自光源30的光及来自光源30的光导入被检体3的多个光纤束(也称作光纤线材)所构成的成像光纤21和连接在成像光纤21的前端侧的光头22，光头22具备将来自被检体3的返回光在成像光纤21的前端面成像的透镜23。成像光纤21的像素数没有特别限定，但通常为5000～100000，例如为10000左右。从成像光纤21的基端部起成像光纤21的全长的大部分由挠性材料24覆盖，光头22(透镜23)的基端部由护套25覆盖。护套25可以由金属、树脂、或它们的组合等形成。在护套25上还可以设置有用于保持内窥镜探针20的金属制等的管26(参照图3)。

通过这种结构，内窥镜探针20将从光学系统10入射的来自光源30的光经由成像光纤21及透镜23导入被检体3，并且将来自被检体3的返回光经由透镜23及成像光纤21朝向聚光透镜11传递。

透镜23也可以配置于成像光纤21的前端21a附近，使得即使不必一定与成像光纤21的前端21a直接结合也能够传递来自成像光纤21的前端21a的入射光，但是在图2中为如下结构，即，将透镜23的基端23b与成像光纤21的前端21a结合，将成像光纤21的前端部与透镜23的基端部排列在大致一条直线上。

透镜23可以是能够将从成像光纤21引导的光聚光的任意的透镜，作为这种透镜，可以举出现有的光学系统的透镜及折射率分布型透镜(GRIN透镜)，但是其中GRIN透镜由于直径细且能够观察被检体3的微细区域，故而优选。光头22(透镜23)被与被检体3的表面接触、或被刺入到被检体3的内部，将从光源30发出的激励用激光聚光到距被检体3的表面几十μm～几百μm的深度的位置。

若参照图2的(B)的GRIN透镜的例子，则GRIN透镜的长度L为2.5mm，直径为350μm，从透镜23的前端23a至焦点面的距离X为100μm左右。

在本实施方式中，荧光成像装置1具备经由连接器5(参照图4的(A)、(B))与成像光纤21的基端21b连接、且通过施加电压而使成像光纤21振动的一个或多个振动元件50。作为振动元件50，可以举出线性执行器(直线马达)、压电元件、磁致伸缩元件、晶体振荡器、超声波振动元件等。振动元件50可以利用市售的振动元件。

图4的(A)及(B)表示振动元件50的配置。将成像光纤21的基端21b与连接器5连接，连接器5安装于用于保持连接器5的保持部件52。保持部件52被固定于光学系统10。在该例子中，将振动元件50配置在成像光纤21的基端21b与聚光透镜11之间。具体而言，在保持部件52中的与连接成像光纤21的基端21b的面相反侧的面安装有振动元件50。

返回至图1，若在荧光观察中对振动元件50施加电压使其进行振动，使得成像光纤21振动，则根据由CCD照相机17得到的信号获得的、显示于监视器42上的被检体3的图像中的、成像光纤21的光纤线材的网格图案被消除。

消除光纤线材的网格图案的振动元件50的振动的速度优选比CCD照相机17的图像取得速率快。另外，消除光纤线材的网格图案的振动元件50的振动的大小能够通过变更所施加的电压的大小，在监视器42上网格图案被消除的状态下将电压维持为恒定，从而由本领域技术人员容易地进行设定。虽然不希望受到理论束缚，但是只要设定振动的大小使得通过振动元件50的振动而移动的距离成为相邻的光纤线材的中心间的距离的二分之一以上，就可以认为消除光纤线材的网格图案的效果会变得更显著。振动元件50的振动能够在被检体3的图像的获取中、生成中、显示中等被检体3的观察中的任意时间点实时地进行，因此，显示于监视器42的被检体3的图像映出通过振动进行校正后的图像，不会产生由于校正图像的时滞。根据本实施方式，无需利用高斯滤波器等图像平滑化滤波器以软件的方式对由个人计算机40生成的图像进行后处理，能够通过简单的机械结构实时地将图像平滑化。此外，所谓“消除光纤线材的网格图案”，是指与未使用振动元件50的情况下的图像相比减少了网格图案，包含将网格图案减轻至观察者不能辨识的程度的情况。

至此，以第一实施方式为例说明了本发明，但本发明不限于此，可以进行如下各种变形。

·光学系统10不限于第一实施方式的结构，也可以是本领域技术人员理解的任意的光学系统的结构。例如，光学系统10可以省略第一实施方式的构成要素的一部分，还可以具备一个或多个透镜、滤波器、以及反射镜。

·CCD照相机17也可以是CMOS照相机、光电二极管阵列等其他拍摄元件。

·透镜23也可以省略。

·护套25除金属制以外，也可以由树脂、陶瓷等任意的其他材料形成，还可以省略护套25。

·光源30也可以代替荧光观察用的光源而是透射光观察用的光源。除激光光源之外，光源30也可以是氙灯、水银灯、卤素灯等光源。即，也可以将本发明具体实现为具备用于对被检体照射光的光源的光学成像装置。

·光源30也可以不经由光纤32而直接与光学系统10结合。

·也可以代替个人计算机40而是其他图像处理装置。

·图4中，将一个振动元件50安装在相对于成像光纤21的基端21b在水平方向上相同高度的位置，但振动元件50的位置也可以是相对于成像光纤21的基端21b靠上侧或下侧的位置。另外，振动元件50的数量也不限于一个，也可以是2个、3个或4个以上。

·在上述第一实施方式中，将振动元件50经由保持部件52与成像光纤21的基端21b连接，但是只要通过振动元件50使连接器5或成像光纤21相对于聚光透镜11的光轴振动，就能够获得被检体3的图像上的成像光纤21的光纤线材的网格图案的消除效果，因此，振动元件50也可以安装于第一实施方式以外的保持部件52的位置、成像光纤21、聚光透镜11或者CCD照相机17。在将振动元件50安装于成像光纤21的情况下，例如，也可以安装于从成像光纤21的基端部的基端21b起0～5cm范围内的成像光纤21的位置。另外，在将振动元件50与成像光纤21、上述聚光透镜11、或CCD照相机17连接的情况下，不仅包含直接连接的情况，还包含经由其他部件而间接连接的情况。只要将振动元件50与成像光纤21、上述聚光透镜11、或CCD照相机17直接或间接地连接，使成像光纤像以CCD照相机17的光轴为基准进行振动即可。

·在上述的第一实施方式中，将光学系统作为落射型荧光显微镜的光学系统10而进行了说明，但是本发明的荧光成像装置中的光学系统也可以设为共聚焦激光显微镜的光学系统。

·关于振动的大小，即使通过振动元件50的振动而移动的距离为小于相邻的光纤线材的距离的二分之一的大小，只要能减轻网格图案，也包含在本发明的范围内。

·本发明也包含使用了光学成像装置的被检体的图像的处理方法，该光学成像装置具备：光源30，其用于对被检体3照射光；聚光透镜11，其接收来自光源30的光；内窥镜探针20，其具备将经由聚光透镜11入射的来自光源30的光导向被检体3的由多个光纤束构成的成像光纤21和配置于成像光纤21的前端侧的透镜22；以及光检测器17，其检测来自被检体3的返回光，在该处理方法中，使与成像光纤21或聚光透镜11连接的振动元件50进行振动，使得消除被检体3的图像中的成像光纤21的光纤线材的网格图案。

以下，列举实施例更具体地说明本发明，但本发明不限定于这些实施例。

实施例

实施例1荧光成像装置的制造例

1.1荧光成像装置的光学系统的制造

使用公知的光学系统来制造了图1所示的结构的光学系统10的单元的试制品。该试制品的大小在30cm见方以内，与固定型的显微镜装置相比，小型且可搬运性优异。

1.2内窥镜探针的制造

根据Osanai et al.,Neuroscience research 75:46-52,2013的记载，使像素数10，000的成像光纤和直径350μm的GRIN透镜结合，制造了与图2所示的结构相同结构的内窥镜探针20的试制品。图3是试制品的照片。

1.3振动元件的設置

如图4的(A)、(B)所示，在成像光纤21的基端，与物镜(聚光透镜11)相邻地安装了振动元件50。振动元件50使用线性振动促动器。为了利用内窥镜探针20观察被检体3的一个部位，准备一根成像光纤21。

1.4本发明的荧光成像装置和现有技术的荧光成像装置的比较

对在上述的1.1中说明的光学系统10的单元进一步连接用于将荧光染料激励用激光向被检体3照射的光源30、CCD照相机17和监视器42，完成了本发明的荧光成像装置。

将本发明的荧光成像装置的性能与用软件对光纤线材的网格图案进行处理的现有技术的内窥镜荧光成像装置的性能进行了比较(表1)。本发明的荧光成像装置在如下方面比现有的荧光成像装置优异，即，能够选择光源的波长，能够扩展光学系统，并且为低成本。

[表1]

实施例2使用了4μm荧光珠的荧光观察和振动元件的作为光纤线材的网格图案的消除器的效果

在1％琼脂糖溶液中混合直径4μm的荧光珠(TetraSpeck,Invitrogen、图8的符号28)，使其在室温下凝胶化。向该琼脂糖凝胶刺入内窥镜探针，照射波长473nm的激励光，使用实施例1的荧光成像装置对荧光进行了观察(图5)。

在振动元件工作前，如图6的(A)及(C)所示，在珠的周围观察到光纤线材的网格图案，而使用实施例1的荧光成像装置对振动元件施加电压，使成像光纤振动时，在达到一定电压后，通过监视器42目视观察到光纤线材的网格图案的消除(图6的(B)及(D))，实时地得到珠的更清晰的图像。

观察直径4μm的荧光珠时的荧光强度分布的FWHM在振动元件50的振动前为5μm左右，在振动后为8μm左右。该差为3μm左右，因此判明x－y方向的分辨率即使在振动后也为对于观察细胞而言足够的空间分辨率。

实施例3大脑皮质GABA神经元(GAD67-KI mouse)的观察

在使用实施例1的荧光成像装置向表达绿色荧光蛋白质(GFP)的大脑皮质GABA神经元(GAD67-KI mouse)刺入内窥镜探针进行观察的情况下，也能够将单个细胞充分可视化，但在原始图像中观察到光纤线材的网格图案(图7)。

如果使用本发明的荧光成像装置，则能够通过压电元件50来消除光纤线材的网格图案。

以上具体说明了本发明的实施方式及实施例，但本发明不限于上述的实施方式，能够基于本发明的技术思想进行各种变形。

另外，本发明也能够采用以下的结构。

(1)一种光学成像装置，其具备：光源，其用于向被检体照射光；聚光透镜，其接收来自上述光源的光；内窥镜探针，其具备将经由上述聚光透镜入射的来自上述光源的光导向受检体的多条光纤束所构成的成像光纤和配置于上述成像光纤的前端侧的透镜；光检测器，其检测来自上述被检体的返回光；以及振动元件，其与上述成像光纤、上述聚光透镜或光检测器连接，使上述成像光纤、上述聚光透镜或光检测器振动。

(2)根据(1)所述的光学成像装置，其中，还具备：显示装置，其显示由通过上述光检测器而检测到的返回光生成的被检体的图像。

(3)根据(2)所述的光学成像装置，其中，上述振动元件进行动作使得消除由上述光检测器得到的被检体的图像中的上述成像光纤的光纤线材的网格图案。

(4)根据(1)所述的光学成像装置，其中，配置于上述成像光纤的前端侧的透镜是与上述成像光纤的前端结合的GRIN透镜。

(5)根据(1)～(4)中任一项所述的光学成像装置，其中，上述光源是荧光观察用的光源。

(6)根据(1)～(5)中任一项所述的光学成像装置，其中，上述振动元件与成像光纤的基端部直接或间接地连接。

(7)一种方法，是使用了光学成像装置的被检体的图像的处理方法，所述光学成像装置具备：光源，其用于向被检体照射光；聚光透镜，其接收来自上述光源的光；内窥镜探针，其具备将经由上述聚光透镜入射的来自上述光源的光导向受检体的多条光纤束所构成的成像光纤和配置于上述成像光纤的前端侧的透镜；以及光检测器，其检测来自上述被检体的返回光，在该方法中，使与上述成像光纤或上述聚光透镜连接的振动元件进行振动，使得消除上述被检体的图像中的上述成像光纤的光纤线材的网格图案。

(8)根据(7)所述的方法，其中，上述振动元件的振动在上述图像的显示中实时地进行。

产业上的可利用性

本发明的光学成像装置为低成本，并且也能够应用于现有的光学成像装置，因此能够在需要进行被检体的荧光观察的医疗、分析等领域中广泛使用。例如，本发明的光学成像装置能够用于基础研究用生物体深部成像荧光内窥镜系统、临床用超低侵入内窥镜系统、非破坏检查用极微细内窥镜系统。

Claims

1.一种光学成像装置，其具备：

光源，其用于向被检体照射光；

聚光透镜，其接收来自所述光源的光；

内窥镜探针，其具备将经由所述聚光透镜入射的来自所述光源的光从成像光纤的基端侧朝向前端侧导向被检体的多条光纤束所构成的成像光纤和配置于所述成像光纤的前端侧的透镜；

光检测器，其检测来自所述被检体的返回光；以及

振动元件，其与所述成像光纤的基端部、所述聚光透镜或光检测器连接，使所述成像光纤、所述聚光透镜或光检测器进行振动，

仅通过与所述成像光纤的基端部、所述聚光透镜或光检测器连接的所述振动元件，使得由所述光检测器得到的被检体的图像中的所述成像光纤的光纤线材的网格图案被消除。

2.根据权利要求1所述的光学成像装置，其中，

所述光学成像装置还具备：显示装置，其显示由通过所述光检测器而检测到的返回光生成的被检体的图像。

3.根据权利要求1所述的光学成像装置，其中，

配置于所述成像光纤的前端侧的透镜是与所述成像光纤的前端结合的GRIN透镜。

4.一种方法，是使用了光学成像装置的被检体的图像的处理方法，所述光学成像装置具备：

光源，其用于向被检体照射光；

聚光透镜，其接收来自所述光源的光；

内窥镜探针，其具备将经由所述聚光透镜入射的来自所述光源的光导向被检体的多条光纤束所构成的成像光纤和配置于所述成像光纤的前端侧的透镜；以及

光检测器，其检测来自所述被检体的返回光，

在所述方法中，仅通过与所述成像光纤的基端部、所述聚光透镜或光检测器连接的振动元件，来消除所述被检体的图像中的所述成像光纤的光纤线材的网格图案。

5.根据权利要求4所述的方法，其中，

所述振动元件的振动在所述图像的显示中实时地进行。