CN111474698B - 一种双光源光学显微成像系统及图像处理方法 - Google Patents

Abstract

本发明属于成像技术领域，涉及一种双光源光学显微成像系统及图像处理；所述系统图像采集器、显微镜、垂直反射镜、第一光源以及第二光源；所述显微镜至少包括目镜、物镜和载玻片；图像采集器连接至目镜上端，载玻片置于目镜正下方，所述垂直反射镜置于载玻片正下方，所述垂直反射镜的两个垂直反射光面分别连接呈垂直分布的所述第一光源和所述第二光源；本发明实现了白光明场透射和单色光相衬显微镜系统的融合；其系统灵活，装置简洁，便于组装，设计合理，能够同时采集明场图像和用于相位重建的不同焦距图像。重建后的相位图像，通过互信息配准能够实现与白光明场成像图像融合；此方面实现光学白光衰减成像和单色光相位成像结合，实现信息的互补。

Description

一种双光源光学显微成像系统及图像处理方法

技术领域

本发明属于成像技术领域，特别是涉及一种光学显微成像的系统及图像处理方法。

背景技术

目前实验室针对不同研究对象配备多种不同的显微镜，但普遍采用的是基于白光光源的正置显微镜和倒置相差显微镜(也称相衬显微镜)。普通光学显微镜成像的主要方式是利用白光明场透射后光强衰减形成的图像对比度。而对于细胞研究对象或低透明物体的成像观察，主要以采用单光光源的倒置相差显微镜(含相差物镜等特殊器件)实现信息采集，并利用相位变化信息进行图像处理。

相位变化信息亦可通过计算测量的强度信息获得，此过程即称为相位恢复；为了获取误差最小的相位变化信息，可采取逆问题优化求解问题，即计算相位信息，使得测量强度图像和估计强度图像误差最小。

总体而言，虽然对于白光光源透射显微镜和倒置相差显微镜的成像方式以及成像处理有着较为成熟的技术；但缺乏两者同时成像的系统和方法。

发明内容

基于现有技术存在的问题，本发明仅通过一个显微镜采集白光明场透射后光强衰减所成图像，利用单光光源获取不同散焦平面图像，引入了自动聚焦的方法找到最优成像质量图片，最后通过神经网络相位恢复的方法重建相位图像，最后通过对白光光源得到的图像和单光光源重建的相位图像进行图像互信息配准，便于结果的对比和融合。该方法实现了明场透射和计算相衬光学显微成像系统的融合。

本发明提供了一种双光源光学显微成像系统及图像处理方法以解决上述技术问题。

在本发明的第一方面，本发明提供了一种双光源光学显微成像系统，包括图像采集器、显微镜、垂直反射镜、第一光源以及第二光源；所述显微镜至少包括目镜、物镜和载玻片；所述图像采集器连接至目镜上端，所述载玻片置于目镜正下方，所述垂直反射镜置于载玻片正下方，所述垂直反射镜的两个垂直反射光面分别连接呈垂直分布的所述第一光源和所述第二光源。

进一步的，所述垂直反射镜包括采用同轴调整架连接的第一反射透镜和第二反射透镜，每个反射透镜对应连接相应的光源，即所述第一反射透镜连接所述第一光源，所述第二反射透镜连接所述第二光源。这种结构设计便于实现光路同心和调整光路。

进一步的，所述第一光源为白光光源，所述第二光源为单光光源。

在本发明的第二方面，本发明提供了一种双光源光学显微成像系统的图像处理方法，所述方法包括：

通过第一光源发出的白光光源，调整物镜采集一张最优聚焦图像，得到明场透射衰减后形成的最优图像；

通过第二光源发出的单光光源，调整聚焦平面找到最优聚焦平面，采集当前最优聚焦平面所对应的聚焦图像，并将当前最优聚焦平面所处的位置设为相对位置0；

从相对位置0开始，在光轴方向调节物镜与载玻片的距离；每调节一定距离，则采集一张图像，从而采集到一系列的单光光源透射图像；

通过比较这一系列的单光光源透射图像，利用自动聚焦的方法找到其中一张最优成像质量图片，并选择该最优成像质量图片的前后若干单光光源透射图像；

从不同散焦平面的光强图像，通过相位重建算法获取单光光源透射图像的相位变化信息，通过相位恢复得到相位图像；

将白光光源得到的最优聚焦图像以及单光光源图像重建得到的相位图像进行互信息配准，准确比较相位重建图像的恢复情况，同时通过图像融合来获得相位与衰减互补信息图像。

进一步的，所述在光轴方向调节物镜与载玻片的距离包括设向近焦方向移动1um为+1，设向离焦方向移动1um为-1，物镜调节范围为(-100，+100)，调节的距离按照指数方式调节，即以±1,±2，±4，±8，±...进行调节。

进一步的，所述相位重建方法包括通过傅里叶变换得到相位，通过弗朗霍夫近似反推波形从而得到单光光源透射图像的相位变化信息。

优选的，所述相位重建方法包括建立系统代价函数，利用人工神经网络梯度下降最优化方法求解相位信息，从而得到包含单色光光源透射图像的相位变化信息的相位图像。

进一步的，所述将白光光源得到的最优聚焦图像以及单光光源图像重建得到的相位图像进行互信息配准包括计算待配准的最优聚焦图像和待配准的相位图像的灰度互信息，选择灰度互信息最高的最优聚焦图像和相位图像进行配准；

其中，I(A,B)表示待配准的最优聚焦图像A和待配准的相位图像B的灰度互信息；p_r(a)表示最优聚焦图像A的边缘概率密度；p_f(b)表示相位图像B的边缘概率密度；p_rf(a,b)表示待配准的最优聚焦图像A和待配准的相位图像B的联合概率密度。

本发明的有益效果：

本发明仅通过一个显微镜采集白光明场透射后光强衰减所成图像，利用单光光源获取不同散焦平面图像，通过显微镜的自动聚焦功能找到最优成像质量图片，通过相位恢复的方法重建优秀的相位图像，最后通过对白光光源得到的图像和单光光源重建的相位图像进行图像互信息配准，便于结果的对比和融合。本发明实现了明场透射和相衬显微镜系统的融合；本发明的系统灵活，装置简洁，便于组装，设计合理，能够同时采集明场图像和用于相位重建的聚焦和散焦图像。能够很好的采集到图像的相位信息并重建高质量的图像，通过互信息配准能够实现明场成像和相位图像的结果对比，以及融合实现进一步增强；利用光学衰减成像和相位成像结合，实现信息的互补。

附图说明

图1为本发明一种双光源光学显微成像系统结构图；

图2为本发明中垂直反射镜的结构图；

图3为本发明一种双光源光学显微成像系统的图像处理方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在一个实施例中，如图1所示，一种一种双光源光学显微成像系统包括相机、物镜、载玻片、垂直反射镜、光源一以及光源二，所述相机连接至目镜上端，所述载玻片置于物镜下端，所述垂直反射镜置于载玻片下端，所述垂直反射镜连接呈垂直分布的所述光源一和所述光源二。

为优化系统，所述光源一和所述光源二均采用同轴调整架搭载两个透镜与垂直反射镜相连。这种结构设计便于实现光路同心和调整光路。

在一个优选实施例中，所述垂直反射镜包括采用同轴调整架连接的第一反射透镜和第二反射透镜，每个反射透镜对应连接相应的光源，即所述第一反射透镜连接所述第一光源(光源一)，所述第二反射透镜连接所述第二光源(光源二)。

所述物镜可以与专用的支架相连，可调整其在光路方向与载玻片的距离。这种结构设计只需初始人工聚焦，采集图像时配合显微镜自身的调节装置便可实现自动聚焦。

在一个优选实施例中，所述第一光源为混合白光光源，所述第二光源为单光光源，所述第一光源和第二光源设置为可控制光源持续时序和时间长短。这种设计可以有效的采集到图像相位信息。

为优化系统，所述透镜采用光源科勒照明，使得光源强度均一。

如图2所示，将所述系统组装完成后，可以手动调整相机、可移动载玻片、目镜、垂直反射镜以及透镜的位置。使得可移动载玻片上的物体的图像信息可以被相机清晰采集到。然后打开光源一，调节物镜和载玻片的距离，采集一张最优平面聚焦图像；关闭光源一，打开光源二，再次调节物镜和载玻片的距离，找到最优聚焦平面，采集一张聚焦图像，向上和向下等距移动物镜，采集近焦和远焦图像。

在一个实施例中，如图3所示，一种双光源光学显微成像系统的图像处理方法，所述方法包括采集明场透射衰减后形成的图像和采集一系列的单光光源透射图像；对单光光源透射图像进行处理，重建得到相位图像；将明场透射衰减后形成的图像与相位成像结合。

本发明中，将光学衰减成像和相位成像结合，能够实现信息互补图像。

具体的，对于采集明场透射衰减后形成的图像包括观察无色透明的样品时，通过第一光源发出的白光光源透射，调整物镜采集一张最优聚焦图像，得到明场透射衰减后形成的最优图像。

在一个实施例中，对于采集一系列的单光光源透射图像包括关闭第一光源，打开第二光源，调整聚焦平面找到最优聚焦平面，采集一张聚焦图像，并将当前位置设为相对位置0；从相对位置0开始，在光轴方向通过计算机程序调节物镜与载玻片的距离，设向近焦方向移动1um为+1，设向离焦方向移动1um为-1，物镜调节范围为(-100，+100)，调节时候距离可以成指数增加，例如±1,±2，±4，±8；物镜调节至每个位置都需采集一张图像，便得到了多张单光光源透射图像。

在上述实施例中，最优聚焦图像、最优聚焦平面可以是通过显微镜自身的判断，也可以是通过人为经验的判断。

在一个实施例中，对单光光源透射图像进行处理包括通过比较单光光源采集的图像，利用自动聚焦的方法找到一张最优成像质量图片，然后取其前5张和后5张图像，加上其本身，最后得到一共11张图像(若数目不够，可选择前后9张、7张图像不等)。对于相位重建由以下算法实现：入射光与样品、光路相互作用物理过程采用模型表示，其中入射光束与样品的相互作用可分解为光束再不同聚焦平面的采集图像。入射光波函数为ψ₁，它经过样品包含两部分V＝v+iw，v为由于成像样品和媒介折射率差异引入的相位变化，w为由于此层成像样品的衰减系数：

穿过此薄层的出射波ψ_j+1t_j，传播到下一聚焦平面，此过程可用菲涅耳传播算子p与此层出射波ψ_j+1t_j作用，其中

为卷积操作符。光束穿过第N层之后，形成出射波，之后与光学系统相互作用，经过镜头之后直至在被探测器检测形成强度图像：

其中，LF为透镜传递函数，包含了物镜的特征描述，如聚焦距离、镜头的偏差等参数。

相位恢复的目标就是寻找最优V，使得测量强度图像J与计算图像I之对间应的差异最小。不失去一般性，两者差异通常以f函数衡量，总差异E为测量各图像与计算图像差异之和：

f可选择多种形式函数，例如的选择平方差总和(sum of squared difference)f的形式为：

f(I_mk,J_mk)＝(I_mk-J_mk)²

由此，逆问题求解转化为神经网络求解问题。V_ik梯度可以由误差反演法推导得：

在一个实施例中，本发明设定系统目标函数为测量强度图像与计算图像之对间应的差异，与之对应的相位恢复问题转变为人工神经网络求解问题，使用误差反向传播(BackPropagation，BP)算法对网络的权值和偏差进行反复的调整训练，使输出的强度图像与测量强度图像尽可能地接近。人工神经网络方法特色鲜明，它很好解决了几十年来困扰研究者的光的多重散射(multiple scattering)问题，且具有很强的鲁棒性；另外它还可以应用稀疏约束项，采取正则化方法提高重建质量。

在一个优选实施例中，建立BP神经网络模型，包括多层BP网络模型；具体为输入层、隐层和输出层，输入层输入采集到的一系列单色光源透射图像，输出层输出计算图像；通过计算出实际的测试强度图像与计算图像的残差值，反复训练，使得输出层输出的计算图像与单色光源透射图像实际对应的测试强度图像近似；训练完成后，可获得相位信息。

在一个实施例中，将明场透射衰减后形成的图像与相位图像进行图像融合包括：

在通过相位恢复算法重建得到相位图像后，需要与白光光源下采集到的最优聚焦图像进行精确配准，便于对照或者融合。为了实现医学级精确的图像配准，采用回溯性配准，即利用图像本身像素相似性的方法。基于像素相似性的方法是基于两幅图像像素互信息的配准方法。互信息是信息论中的一个概念，是两个随机变量统计相关性的测度，当两幅基于相同细胞图像的离焦图像配准达到最佳时，两幅图像对应像素的灰度互信息应达到最大。该方法不需要对图像做任何预处理，也不需要图像之间的任何先验知识，当其中一幅图像的数据部分缺损时仍旧能够得到很好的配准效果，精度可达到亚像素级。

互信息配准将两幅待配准灰度图像的灰度值看做两个随机变量A和B，它们的互信息可以表示为：

I(A,B)＝H(A)+H(B)-H(A,B)

其中H(A)、H(B)和H(A,B)为待配准的最优聚焦图像A个体熵、待配准的相位图像B的个体熵以及联合熵，定义为：

互信息的计算公式可由Dobrushin推导得到：

其中：p_r(a)表示最优聚焦图像A的边缘概率密度；p_f(b)表示相位图像B的边缘概率密度；可由联合概率密度求得，即：

对于联合概率密度的估计，可以采用随机变量A和B的二维联合直方图，待配准的最优聚焦图像A和待配准的相位图像B的联合概率密度p_rf(a,b)为：

采用两幅离焦图像互信息达到最大值时的变换参数作为空间变换的参数，通过空间变换可以达到图像配准的目的。

在另一种可实现方式中，在实际操作中，由于噪声等干扰，算法求解时容易陷入局部极值，可以采用PV插值方法、滤波减少噪声和增大灰度直方图窗口尺寸等方法缓解。因为参数变量的取值范围很难精确，所以优化算法的选取需要谨慎，随机优化算法如遗传算法由于容易跳出搜索区间，不适合求解此类问题。Powell优化算法和单纯形算法及相应的变体应用比较普遍。

在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“外”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋转”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种双光源光学显微成像系统的图像处理方法，其特征在于，所述方法包括：

通过第一光源发出的白光光源，调整显微镜中的物镜直至采集到最清晰的聚焦图像，得到明场透射衰减后形成的最优图像；

通过第二光源发出的单光光源，调整显微镜的聚焦平面直至找到最优聚焦平面，采集当前最优聚焦平面所对应的聚焦图像，并将当前最优聚焦平面所处的位置设为相对位置0；

从相对位置0开始，在光轴方向调节物镜与载玻片的距离；每调节一定距离，则采集一张图像，从而采集到一系列的单光光源透射图像；

从不同散焦平面的透射图像，通过相位重建算法获取单光光源透射图像的相位变化信息，通过相位恢复得到相位图像；

所述相位重建算法包括将入射光与样品、光路相互作用物理过程采用模型表示V＝v+iw，并将入射光束与样品的相互作用分解为光束在不同聚焦平面的采集图像

t_j＝exp(iV_j)；光束穿过第N层之后，形成出射波，之后与光学系统相互作用，经过镜头之后直至在被探测器检测形成强度图像

I＝|ψ_N+2|²；建立系统代价函数

以代价函数最小化也即使得测量强度图像与计算图像之间对应的差异最小为目标，将对应的相位恢复问题转变为人工神经网络求解问题，利用人工神经网络梯度下降最优化方法对网络的权值和偏差进行反复的调整训练

使得人工神经网络输出层输出的计算图像与单色光源透射图像实际对应的测试强度图像近似；求解出最优的相位信息V，从而得到包含单色光光源透射图像的相位变化信息的相位图像；

其中，v为由于成像样品和媒介折射率差异引入的相位变化，w为由于i层成像样品的衰减系数；ψ_j+1表示第j+1层的入射光波函数，ψ_j+1t_j表示穿过第j层的出射波，p表示菲涅耳传播算子，V_j表示穿过第j层的成像样品的相位信息；ψ_N+2表示第N+2层的入射光波函数，也即穿过第N层后，与光学系统相互作用，经过镜头之后直至在被探测器检测形成强度图像的入射光波函数；LF为透镜传递函数；ψ_N+1表示第N+1层的入射光波函数，也即穿过第N层后，与光学系统相互作用，经过镜头之后的入射光波函数；I表示计算图像；J表示测量强度图像，下标mk表示图像的对应像素位置；V_ik表示第i层神经元与第k层神经元之间的相位差；ψ_ikt_jk表示经第i层神经元与第k层神经元计算所得的穿过第j层的出射波；

将白光光源得到的最优聚焦图像以及单光光源图像重建得到的相位图像进行互信息配准，并通过图像融合将最优聚焦图像与相位图像进行融合。

2.根据权利要求1所述的一种双光源光学显微成像系统的图像处理方法，其特征在于，所述在光轴方向调节物镜与载玻片的距离包括设向近焦方向移动1um为+1，设向离焦方向移动1um为-1，物镜调节范围为(-100，+100)，调节的距离按照指数方式调节，即以±1,±2，±4，±8，±...进行调节。

3.根据权利要求1所述的一种双光源光学显微成像系统的图像处理方法，其特征在于，所述将白光光源得到的最优聚焦图像以及单光光源图像重建得到的相位图像进行互信息配准包括计算待配准的最优聚焦图像和待配准的相位图像的灰度互信息，选择灰度互信息最高的最优聚焦图像和相位图像进行配准；

其中，I(A,B)表示待配准的最优聚焦图像A和待配准的相位图像B的灰度互信息；p_r(a)表示最优聚焦图像A的边缘概率密度；p_f(b)表示相位图像B的边缘概率密度；p_rf(a,b)表示待配准的最优聚焦图像A和待配准的相位图像B的联合概率密度。

Images