CN106842535B - 基于光流的相位显微成像系统及其方法 - Google Patents

Abstract

本发明公开了一种基于光流的相位显微成像系统及其方法，该系统包括：光源产生模块，用于产生入射的平行光以照射参考图案；相位调制模块，用于对经过所述参考图案的光进行相位调制；显微成像模块，用于对经过所述参考图案经的出射光线得到参考图像，还用于对经过所述参考图案的光进行相位调制后的出射光线得到动态视频；控制模块，用于根据所述参考图像和所述动态视频得到动态的所述相位调制模块的相位信息。本发明具有如下优点：通过拍摄不含有样本的参考图像以及含有样本的动态视频，即可精确、高分辨率且较快速地对显微样本的动态相位信息进行采集。

Description

基于光流的相位显微成像系统及其方法

技术领域

本发明涉及显微成像技术、计算机视觉和计算摄像学技术领域，特别涉及一种基于光流的相位显微成像系统及其方法。

背景技术

物体的相位在光学领域内是一个重要的信息，它可以提供物体的形状以及密度等信息，光线在穿过无色透明的物体时，并没有引起强度上的变化，却往往带来了相位上的变化。因此相位成像技术可以通过对相位信息的采集，恢复重构出透明物体的结构或者折射率，从而使无色透明的样本物体变得清晰可见，具有广泛的应用，是近年来的一个研究热点。

近年来，各种相位显微成像技术被相继提出，其大致可以分为：干涉相位显微成像技术、非相干相位显微技术等。其中，干涉相位显微成像技术一般需要高度相干的光源，即需要较为复杂的干涉装置，且限制了成像系统的空间分辨率和测量精度。

非相干相位显微技术并不通过干涉，而是根据多张采集图像的强度信息，恢复出相位信息，其常用的方法为光强传输方程法，这种方法可以避免使用复杂的干涉装置，但是它往往需要拍摄多张不同的散焦图像，对其动态拍摄提出了挑战，而单张恢复的方法又往往牺牲了成像系统的空间分辨率。

因此，如何能够快速且高分辨率地对动态相位显微信息进行采集，仍然是一个亟待解决并有重大意义的难题。

发明内容

本发明旨在至少解决上述技术问题之一。

为此，本发明的一个目的在于提出一种基于光流的相位显微成像系统，该系统能够精确高分辨率且较快速地对显微样本进行动态采集，并且简单易行

为了实现上述目的，本发明的实施例公开了一种基于光流的相位显微成像系统，包括：光源产生模块，所述光源产生模块用于产生入射的平行光以照射参考图案；相位调制模块，所述相位调制模块用于对经过所述参考图案的光进行相位调制；显微成像模块，所述显微成像模块用于对经过所述参考图案经的出射光线得到参考图像，所述显微成像模块还用于对经过所述参考图案的光进行相位调制后的出射光线得到动态视频；控制模块，所述控制模块用于控制所述光源产生模块、所述相位调制模块和所述显微成像模块，以根据所述参考图像和所述动态视频得到动态的所述相位调制模块的相位信息。

根据本发明实施例的基于光流的相位显微成像系统，通过拍摄不含有样本的参考图像以及含有样本的动态视频，即可精确、高分辨率且较快速地对显微样本的动态相位信息进行采集。

另外，根据本发明上述实施例的基于光流的相位显微成像系统，还可以具有如下附加的技术特征：

进一步地，所述参考图案用于对所述光源产生模块产生的平行光进行强度调制编码，所述相位调制模块用于将带有所述参考图案的平行光进行相位编码。

进一步地，所述显微成像模块包括依次设置的显微镜和相机，所述显微镜设置在所述相机和所述相位调制模块之间。

进一步地，所述显微成像模块的对焦位置靠近所述参考图案设置。

进一步地，所述参考图案和所述相位调制模块分别设在第一移动承载台上和第二移动承载台上。

本发明另一方面实施例提出了一种相位显微成像的方法，包括上述的基于光流的相位显微成像系统，所述方法包括以下步骤：S1：通过所述光源产生模块产生的平行光照射所述参考图案，并经过所述显微成像模块获得参考图像；S2：通过所述光源产生模块产生的平行光照射所述参考图案，并经过所述相位调制模块调制后通过所述显微成像模块获得带有扭曲的动态视频；S3：根据所述动态视频的视频帧和所述参考图像的每个像素之间的匹配关系，并根据建立的光路模型，重构还原出动态的所述相位调制模块的相位信息。

根据本发明实施例的基于光流的相位显微成像的方法，可以使用基于光流的相位显微成像系统，拍摄获得不含有样本的参考图像以及含有样本的动态视频，从而从中恢复出显微样本的高分辨率动态相位视频。

另外，根据本发明上述实施例的基于光流的相位显微成像方法，还可以具有以下附加的技术特征：

进一步地，所述步骤S3进一步包括：S301：使用光流算法计算所述动态视频的每帧图像与所述参考图像每个像素点的扭曲值；S302：根据每个像素点的扭曲值和系统光路模型重构还原出动态的所述相位调制模块的相位信息。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明实施例的基于光流的相位显微成像系统的结构框图；

图2是本发明一个实施例的基于光流的相位显微成像系统的结构示意图；

图3是本发明实施例的基于光流的相位显微成像方法的流程图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

以下结合附图描述本发明。

图1是本发明实施例的基于光流的相位显微成像系统的结构框图。如图1所示，根据本发明实施例的基于光流的相位显微成像系统，包括：光源产生模块110、相位调制模块120、显微成像模块130和控制模块140。

其中，光源产生模块110用于产生入射的平行光以照射参考图案。在本发明的一个实施例中，通过缩小显微镜光源中的孔径光圈，为系统提供输入近似的平行光。在本发明的另一个实施例中，通过4f系统进行实现。

在本发明的一个实施例中，参考图案可以将光源产生模块提供的平行光进行强度调制编码，使其带有丰富的纹理信息。

相位调制模块120用于对经过参考图案的光进行相位调制。在本发明的一个实施例中，相位调制模块120将带有参考图案的平行光进行相位编码，使其带有所需采集的样本的相位信息。

在本发明的一个实施例中，参考图案和相位调制模块120分别设在第一移动承载台上和第二移动承载台上，参考图案以及相位调制模块120在各个方向进行移动。

显微成像模块130用于对经过参考图案经的出射光线得到参考图像，还用于对经过参考图案的光进行相位调制后的出射光线得到动态视频。在本发明的一个实施例中，显微成像模块130包括依次设置的显微镜和相机，显微镜设置在相机和相位调制模块120之间。其中，显微镜用于将参考图案以及相位调制模块120放大成像于相机；相机用于对输出的光线进行动态成像。

在本发明的一个实施例中，显微成像模块130的对焦位置靠近参考图案设置，以在保证参考图案与相位调制模块之间的距离的情况下，拍摄获得较为清晰的动态扭曲变化的参考图案。

控制模块140用于控制光源产生模块110、相位调制模块120和显微成像模块130，以根据参考图像和动态视频得到动态的相位调制模块120的相位信息。

根据本发明实施例的基于光流的相位显微成像系统，通过拍摄不含有样本的参考图像以及含有样本的动态视频，即可精确、高分辨率且较快速地对显微样本的动态相位信息进行采集。

本发明还公开了一种基于光流的相位显微成像方法，包括上述实施例的基于光流的相位显微成像系统，如图3所示，方法包括以下步骤：

S1：通过光源产生模块110产生的平行光照射参考图案，并经过显微成像模块130获得参考图像。

具体地，如图2所示，图2中直线光线为视野内无样本时，一像素点对应的光路图，由于光路中不存在进行相位调制的相位调制模块，因此拍摄获得的图像即为被参考图案强度调整后无扭曲的参考图像。该步骤为采集前的预先准备工作，拍摄时相机的对焦位置保持在参考图案附近。

S2：通过光源产生模块110产生的平行光照射参考图案，并经过相位调制模块120调制后通过显微成像模块130获得带有扭曲的动态视频。

具体地，图2中折线光线为视野有目标样本时，一像素点对应的光路图，光路中既经过了参考图案进行了强度调制，也经过了相位调制模块120进行了相位调制，因此拍摄获得的视频图像即为经过相位调制的扭曲图像，只与参考图像相差一个所需采集的相位信息。该步骤中采集系统的器件空间分布位置以及器件参数均不能发生改变，且除了相位调制模块120，均需与步骤S1中的位置与参数保持一致。

S3：根据动态视频的视频帧和参考图像的每个像素之间的匹配关系，并根据建立的光路模型，重构还原出动态的相位调制模块的相位信息。

在本发明的一个实施例中，步骤S3进一步包括：

S301：使用光流算法计算动态视频的每帧图像与参考图像每个像素点的扭曲值。

具体地，由于拍摄采集每帧视频图像与参考图像时，光照基本没有发生变化，且两者之间的扭曲变化并不大，因此可以使用光流算法对其匹配对应关系进行求解，问题的优化目标函数为：

J(w(x,t))＝E_d(w(x,t))+αE_m(w(x,t))

其中，J(s(x),w(x,t))为最小化的优化目标函数，E_d(w(x,t))为优化目标函数的数据项，E_m(w(x,t))为扭曲的正则化项。进一步地，优化目标函数的数据项为：

其中，T为求解的视频帧数，表示像素坐标x的取值范围，I(x,t)为t时刻下模糊扭曲的视频帧图像，0时刻对应参考图像，w(x,t)＝[u(x,t),v(x,t)]为t时刻散焦扭曲视频帧与清晰无扭曲图像之间的扭曲大小，为凸的近似L1范数先验，ε为一个人为给定很小的正数。

优化目标函数的扭曲的正则化项为：

S302：根据每个像素点的扭曲值和系统光路模型重构还原出动态的相位调制模块的相位信息。

另外，本发明实施例的基于光流的相位显微成像系统及其方法的其它构成以及作用对于本领域的技术人员而言都是已知的，为了减少冗余，不做赘述。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同限定。

Claims (6)

1.一种基于光流的相位显微成像系统，其特征在于，包括：

光源产生模块，所述光源产生模块用于产生入射的平行光以照射参考图案；

相位调制模块，所述相位调制模块用于对经过所述参考图案的光进行相位调制；

显微成像模块，所述显微成像模块用于对经过所述参考图案的出射光线得到参考图像，所述显微成像模块还用于对经过所述参考图案的光进行相位调制后的出射光线得到动态视频；

控制模块，所述控制模块用于控制所述光源产生模块、所述相位调制模块和所述显微成像模块，以根据所述参考图像和所述动态视频得到动态的所述相位调制模块的相位信息；

其中，所述参考图案用于对所述光源产生模块产生的平行光进行强度调制编码，所述相位调制模块用于将带有所述参考图案的平行光进行相位编码。

2.根据权利要求1所述的基于光流的相位显微成像系统，其特征在于，所述显微成像模块包括依次设置的显微镜和相机，所述显微镜设置在所述相机和所述相位调制模块之间。

3.根据权利要求1所述的基于光流的相位显微成像系统，其特征在于，所述显微成像模块的对焦位置靠近所述参考图案设置。

4.根据权利要求1所述的基于光流的相位显微成像系统，其特征在于，所述参考图案和所述相位调制模块分别设在第一移动承载台上和第二移动承载台上。

5.一种基于光流的相位显微成像方法，其特征在于，包括如权利要求1-4任一项所述的基于光流的相位显微成像系统，所述方法包括以下步骤：

S1：通过所述光源产生模块产生的平行光照射所述参考图案，并经过所述显微成像模块获得参考图像；

S2：通过所述光源产生模块产生的平行光照射所述参考图案，并经过所述相位调制模块调制后通过所述显微成像模块获得带有扭曲的动态视频；

S3：根据所述动态视频的视频帧和所述参考图像的每个像素之间的匹配关系，并根据建立的光路模型，重构还原出动态的所述相位调制模块的相位信息。

6.根据权利要求5所述的基于光流的相位显微成像方法，其特征在于，所述步骤S3进一步包括：

S301：使用光流算法计算所述动态视频的每帧图像与所述参考图像每个像素点的扭曲值；

S302：根据每个像素点的扭曲值和系统光路模型重构还原出动态的所述相位调制模块的相位信息。