CN115112621B - 一种基于机器学习的近红外二区荧光宽场显微方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的近红外二区荧光宽场显微方法。该发明将近红外二区荧光宽场激发与探测模块安装于商用双光子荧光显微镜，获取的同一视场近红外二区与双光子荧光显微图像组作为机器学习的训练样本，通过显微荧光图像增强网络进行数据训练得到针对近红外二区荧光宽场显微图像的显微荧光图像增强模型，可实时对后续获取的近红外二区荧光宽场显微图像进行优化，在保留了近红外二区宽场显微成像高时间分辨率、光学系统稳定性与简便性的同时，又使其具有较好的X‑Y‑Z空间分辨率与信号‑背景比。本发明光学系统稳定且简便，图像具有较高的时间与空间分辨率，非常适用于生物医学领域方向的推广与应用。

Description

一种基于机器学习的近红外二区荧光宽场显微方法

技术领域

本发明属于应用光学的显微成像领域，涉及一种基于对双光子荧光显微图像进行机器学习的近红外二区荧光宽场显微方法。

背景技术

宽场荧光显微镜采用面激发与面探测的方式进行成像，激发光经过透镜聚焦在物镜的后焦面，经物镜出射后为准直光束，实现面激发，激发出的荧光经过物镜与套筒透镜聚焦于面探测器（如相机）。相较于传统生物成像窗口—可见光与近红外一区波段，近红外二区波段（900-1880 nm）的光子在生物组织中具有低散射、大吸收的特点，使得近红外二区活体荧光图像的成像深度、信号-背景比与分辨率得到了极大的提升。

近年来，随着荧光探针与成像仪器设备的开发与改进，近红外二区荧光宽场显微镜在高时间分辨率与大深度组织穿透方面取得了突破性进展，成像速度可达每秒100帧，成像深度可达1.3 mm。宽场显微镜由于具有较高的光学系统稳定性与便捷性、显著降低了对实验操作人员的光学技术要求而备受青睐。然而，单光子荧光不具有X-Y-Z空间定域能力，激发光照射处都会产生荧光信号，宽场显微镜无法对离焦信号进行滤除，生物组织也会对荧光信号有散射作用，这导致近红外二区宽场荧光显微图像的X-Y-Z空间分辨率与信号-背景比有待进一步提高。

双光子荧光显微镜是采用点激发与点探测的方式进行成像。利用荧光材料的非线性吸收，双光子显微镜具有较好的光学层析能力，利用扫描模块（如共振振镜）实现X-Y平面的扫描，因此双光子能够生成具有高信号-背景比与高分辨率的三维图像，这促进了人们对基础生物学过程的理解。然而，由于扫描模块的限制，双光子显微镜通常只有每秒25帧的成像速度，仍然无法实现快速生理过程的观测；昂贵、不易维护的飞秒激光器、复杂的光学系统与操作同样限制了其推广与应用。

脑血管成像对于揭示大脑功能以及研究大脑疾病具有重要的意义，近红外二区荧光宽场显微镜与双光子显微镜都是实现血管成像的利器。近红外二区荧光宽场显微镜具有高时间分辨率与大成像深度的优势，但光学层析能力、图像分辨率与信号-背景比仍有待提高；双光子显微镜具有较好的光学层析能力、图像分辨率与信号-背景比，但成像速度与系统稳定性仍阻碍了其应用与推广。因此，若利用算法对双光子荧光显微图像进行机器学习，使得近红外二区荧光宽场显微镜保留其高时间分辨率、光学系统稳定性与简便性的同时，又使其具有高X-Y-Z空间分辨率与信号-背景比这将推动临床医学及生命科学的发展。

发明内容

本发明针对现有技术的不足，开发出一种基于对双光子荧光显微图像进行机器学习的近红外二区荧光宽场显微方法。

本发明的主要技术构思：

本发明以奥林巴斯双光子荧光显微镜（Olympus,FV1200MPE）为基础，在其上添加近红外二区荧光宽场显微激发与探测模块，开发出一套基于双光子荧光显微镜的近红外二区荧光宽场显微镜。本发明采集同一视场的双光子荧光图像与近红外二区荧光宽场显微图像，利用同一视场显微图像组进行显微荧光图像增强网络训练，训练完成的网路可实时对任意近红外二区荧光宽场显微图像进行优化，在保留较高的时间分辨率、光学系统稳定性与简便性的情况下，又使其具有较高的X-Y-Z空间分辨率与信号-背景比。

本发明采用的技术方案：

本发明的光学系统在商用双光子荧光显微镜（Olympus,FV1200MPE）基础上搭建，整合入近红外二区宽场显微激发与探测模块，构成一种基于双光子荧光显微镜的近红外二区荧光宽场显微镜，包括连续激光器、法兰盘、准直透镜、散射片、会聚透镜、二向色镜、显微物镜、套筒透镜、信号滤光片、InGaAs相机、飞秒激光器、扫描振镜模块、扫描透镜、光电倍增管、信号放大器、X-Y位移台以及计算机。

在物镜前插入近红外二区荧光宽场激发模块，外置连续激光器的激光从光纤引出，通过法兰盘与准直透镜后为空间准直光，经散射片、会聚透镜与二向色镜后聚焦于显微物镜的后焦面，经物镜后转为准直光提供面激发；产生的近红外二区荧光信号被显微物镜收集，透过二向色镜与信号滤光片，进入近红外二区荧光宽场探测模块，近红外二区荧光信号被镀有近红外二区波段增透膜的套筒透镜会聚于InGaAs相机的探测面；InGaAs相机完成光电转化后，将图像输入至计算机中，得到X-Y平面的近红外二区荧光宽场显微图像，通过显微镜控制移动显微物镜获取不同Z轴位置的X-Y平面近红外二区荧光显微图像。

进行双光子荧光成像时，飞秒激光出射后经过一系列反射镜、扫描振镜模块、扫描透镜、套筒透镜后，由显微物镜聚焦于样品，产生的双光子荧光信号被同一显微物镜收集，经过二向色镜与信号滤光片后经会聚透镜聚焦于光电倍增管的探测面，光电倍增管完成光电转换，输出的电信号通过信号放大器放大输入至计算机中，得到X-Y平面的双光子荧光显微图像，通过显微镜控制移动显微物镜获取不同Z轴位置的X-Y平面双光子荧光显微图像。

为了获得训练机器学习的样本，本发明采集同一个视场的双光子与近红外二区宽场荧光图像组进行机器学习训练。本发明将获取的同一视场双光子荧光与近红外二区荧光宽场显微图像组作为训练样本，进行显微荧光图像增强网络训练。完成训练的显微荧光图像增强网络可实时对后续获取的近红外二区荧光宽场显微图像进行优化。

本发明具有的有益效果是：

第一，本发明实现在不移动成像动物或显微镜的情况下采集同一视场的近红外二区荧光与双光子荧光显微图，为机器学习提供训练样本。

第二，本发明针对现有的近红外二区荧光显微镜成像模组，提出了一种基于机器学习图像风格迁移技术的显微荧光图像增强网络，通过模拟双光子荧光成像有效改善近红外显微图像清晰度及成像细节，提升成像质量。

第三，完成训练的网络可对后续近红外二区荧光宽场显微血管结构图像进行实时优化，在保留高时间分辨率的同时，又使其具有较高的X-Y-Z空间分辨率与信号-背景比。

第四，本发明光路具有较高的可控性、稳定性与便捷性，对非光学领域，特别是生物医学领域实验员的技术要求较低，获得的近红外二区荧光图像具有较高的时间分辨率、X-Y-Z空间分辨率与信号-背景比，非常适用于生物医学领域的推广与应用。

附图说明

图1为本发明所述成像系统的结构示意图。

图2为本发明获得的近红外二区荧光宽场显微图像。

图3为本发明获得的双光子荧光图像。

图4为本发明获得的近红外二区荧光宽场显微图像。

图5为图4经优化后的近红外二区宽场宽场显微图像。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1所示，本发明中的装置包含800 nm飞秒脉冲激光器（Mira-HP，Coherent）、反射镜、奥林巴斯双光子荧光显微镜（FV1200MPE，Olympus）、近红外增透显微物镜（XLPLN25XWMP-SP，Olympus）、915 nm连续激光器、近红外二区荧光宽场激发模块、近红外二区荧光宽场探测模块、X-Y位移台以及计算机等。

本发明获取的同一视场双光子荧光与近红外二区荧光宽场显微图像组作为训练样本，进行显微荧光图像增强网络训练。

首先，进行双光子荧光显微成像时，二向色镜9被取出。飞秒脉冲激光器1出射的飞秒脉冲光（800 nm），经过反射镜2-3被反射至奥林巴斯双光子荧光显微镜内的扫描振镜模块4-1与4-2，实现X-Y平面扫描功能，经扫描透镜5与套筒透镜6扩束，飞秒激光被反射镜7反射至二向色镜8（660 nm长通二向色镜），透过该二向色镜后经近红外增透显微物镜10聚焦于样品；被激发的双光子荧光经过同一物镜10被收集后，经过二向色镜8反射，经过信号滤光片12（650 nm短通滤光片）后，被会聚透镜13聚焦于光电倍增管14的探测面，光电倍增管完成光电转换后，电信号经放大器15被放大并输入至计算机24中，得到X-Y平面的双光子荧光图像。通过显微镜控制Z轴方向移动物镜进行成像可获得不同深度的X-Y平面双光子荧光图像。由于只有在光子数较多的位置（显微物镜的焦点处）产生双光子荧光，因此双光子荧光显微镜具有较好的X-Y分辨率、光学层析能力（Z轴分辨率）与信号-背景比。

然后，进行近红外二区荧光宽场显微成像时，反射镜7与二向色镜8被取出，并安装二向色镜9（1180 nm长通二向色镜）。连续激光器16的激光（915 nm）从光纤引出经APC法兰盘17与非球面透镜18（焦距40 mm，镀有近红外二区增透膜）后变为空间准直光，经散射片19与双胶合透镜20（焦距100 mm，镀有近红外二区增透膜）与二向色镜9后会聚于显微物镜10的后焦面，经物镜后提供准直面激发，激光器16、APC法兰盘17、非球面透镜18、散射片19与双胶合透镜20组成近红外二区荧光宽场激发模块；被激发的近红外二区荧光被同一物镜10收集后，透过二向色镜9后被套筒透镜21（焦距180 mm，镀有近红外二区增透膜）会聚于InGaAs相机23（SD640，Tekwin）的探测面，并通过信号滤光片22（1000 nm长通滤光片），InGaAs相机完成光电转换后经计算机24输出X-Y平面的近红外二区荧光图像，套筒透镜21、信号滤光片22与InGaAs相机23组成近红外二区荧光宽场探测模块。相较于双光子荧光显微成像：近红外二区荧光宽场显微成像不需要扫描振镜模块配合，面探测一次性生成二维图像，具有较高的时间分辨率；不需要光束聚焦以实现点激发，降低了激发光损伤生物样品的可能性；稳定与简便的光学系统降低了对实验员的光学技术要求。

以上进行双光子荧光成像与近红外二区荧光宽场显微成像时，成像动物放置于X-Y位移台11处，且不移动位移台，便可以获得同一视场的双光子与近红外二区荧光显微图像组，如图2、图3所示。

利用获取的图像组作为训练样本，将同一视野的近红外二区荧光宽场显微图像和对应的双光子荧光显微图像按照4的倍数组成图像batch输入至网络，同时在训练过程中对每次迭代输入的图片进行随机数据增广以产生更多不同情况的图片，通过梯度下降的方式迭代优化两种图像之间的均方误差，使网络提取两类图像之间的相似特征，构建显微荧光图像增强模型。

本发明可用于如下实例：C57实验小鼠经开颅手术后注射发射峰位于1600 nm的量子点。将小鼠固定在架子上并放置于物镜下方，调节X-Y位移台以及物镜Z轴位置于成像视野，得到的近红外二区荧光脑血管宽场显微图像如图4所示，经机器学习优化后图像如图5所示。

本发明记载了一种基于对双光子荧光显微图像进行机器学习的近红外二区荧光宽场显微技术。在商用双光子荧光显微镜上插入近红外二区荧光宽场激发与探测模块，可对同一视场进行双光子与宽场荧光显微成像，配合显微荧光图像增强网络训练，对后续任意近红外二区荧光宽场显微图像进行实时优化，使其保留高时间分辨率的情况下具有较高的X-Y-Z空间分辨率与信号-背景比，并且稳定与简便的光路更适合本发明在生物医学领域的推广与应用。

Claims (1)

1.一种基于机器学习的近红外二区荧光宽场显微方法，其特征在于：采集同一视场的双光子荧光与近红外二区荧光图像作为机器学习的训练样本，基于机器学习图像风格迁移技术搭建显微荧光图像增强网络对两种类型的图像进行学习训练，利用完成训练的显微荧光图像增强网络对后续获取的近红外二区荧光宽场显微图像进行优化；

其中在进行近红外二区荧光宽场显微成像时，在物镜前插入近红外二区荧光显微镜的激发模块，连续激光器的激光从光纤引出，通过法兰盘与准直透镜后为空间准直光，经散射片、会聚透镜与二向色镜后聚焦于显微物镜的后焦面，经物镜后转为准直光提供面激发；产生的近红外二区荧光信号被显微物镜收集，透过二向色镜与信号滤光片后进入近红外二区荧光宽场探测模块，信号被套筒透镜会聚于InGaAs相机的探测面；InGaAs相机完成光电转化后，将图像输入至计算机中；图像经过已训练完成的显微荧光图像增强模型进行优化，得到X-Y平面的近红外二区荧光宽场显微图像，通过显微镜控制移动显微物镜获取不同Z轴位置的X-Y平面近红外二区荧光显微图像；

其中在进行双光子荧光成像时，飞秒激光出射后经过一系列反射镜、扫描振镜模块、扫描透镜、套筒透镜后，由显微物镜聚焦于样品，产生的双光子荧光信号被同一显微物镜收集，经过二向色镜与信号滤光片后经会聚透镜聚焦于光电倍增管的探测面，光电倍增管完成光电转换，输出的电信号通过信号放大器放大输入至计算机中，得到X-Y平面的双光子荧光显微图像，通过显微镜控制移动显微物镜获取不同Z轴位置的X-Y平面双光子荧光显微图像；

为了获得训练机器学习的样本，在不移动成像动物或显微镜的情况下采集同一个视场的双光子与近红外二区宽场荧光图像组进行机器学习，获取的同一视场双光子荧光与近红外二区荧光宽场显微图像组作为训练样本，将同一视场的近红外二区荧光宽场显微图像和对应的双光子荧光显微图像按照4的倍数组成图像batch输入至显微荧光图像增强网络，同时在训练过程中对每次迭代输入的图片进行随机数据增广以产生更多不同情况的图片，通过梯度下降的方式迭代优化两种图像之间的均方误差，使显微荧光图像增强网络提取两类图像之间的相似特征，完成显微荧光图像增强网络的构建。

Images