CN109685745A - 一种基于深度学习的相位显微成像方法 - Google Patents
一种基于深度学习的相位显微成像方法 Download PDFInfo
- Publication number
- CN109685745A CN109685745A CN201910000530.9A CN201910000530A CN109685745A CN 109685745 A CN109685745 A CN 109685745A CN 201910000530 A CN201910000530 A CN 201910000530A CN 109685745 A CN109685745 A CN 109685745A
- Authority
- CN
- China
- Prior art keywords
- phase
- sample
- micro imaging
- deep learning
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000005540 biological transmission Effects 0.000 claims abstract description 14
- 239000000571 coke Substances 0.000 claims abstract description 12
- 230000001427 coherent effect Effects 0.000 claims abstract description 8
- 238000010587 phase diagram Methods 0.000 claims abstract description 8
- 230000002950 deficient Effects 0.000 claims abstract description 5
- 238000003062 neural network model Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 2
- 238000000399 optical microscopy Methods 0.000 claims description 2
- 239000004744 fabric Substances 0.000 claims 1
- 238000000034 method Methods 0.000 abstract description 18
- 210000004027 cell Anatomy 0.000 description 4
- 229910052736 halogen Inorganic materials 0.000 description 4
- 150000002367 halogens Chemical class 0.000 description 3
- 238000005305 interferometry Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000001539 phagocyte Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
- G06T2207/10061—Microscopic image from scanning electron microscope
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Microscoopes, Condenser (AREA)
Abstract
本发明公开了一种基于深度学习的相位显微成像方法，其中，方法包括以下步骤：使用显微成像系统采集训练样本的欠焦图、在焦图和过焦图；使用基于强度传输方程的相位恢复算法得到训练样本的相位图；将训练样本的在焦图和相应的相位图做训练集对神经网络进行训练。训练过程只需进行一次，之后采集未知样本的在焦图，并输入训练好的网络便可恢复出相位图。该方法优势在于，无需参考光，可使用部分相干光源，计算快速快，没有边界条件的限制，只需一幅在焦强度图就可以恢复物体的相位信息，可以直接低成本地与现成的显微成像系统结合，在显微成像的同时实现相位成像。
Description
技术领域
本发明涉及光学领域，特别涉及显微成像领域。
背景技术
显微镜是人类20世纪最伟大的发明物之一。显微镜把一个全新的世界展现在人类的视野里，人们第一次看到了数以百计的“新的”微小动物和植物，以及从人体到植物纤维等各种物体的内部构造。但由于光的频率较高，现有图像采集设备只能记录光场的强度信息而无法直接获得相位信息，因此需要借助强度信息来恢复光场的相位信息。传统的相位恢复方法分为干涉法和非干涉法。使用干涉法从干涉强度图中恢复相位信息，要求光源具有很好地的空间和时间相干性，并且需要参考光的加入才可以产生干涉，因此会有一系列分辨率、敏感性、系统稳定性和激光散斑等问题。非干涉法中，基于强度传输方程的相位恢复方法，需要采集同一样本的欠焦、在焦和过焦三幅强度图，通过解决边值问题来计算求得强度传输方程的解(需要严格的边界条件)，即相位图。对于迭代算法，计算量大，计算速度较慢，无法实现实时成像。
发明内容
本发明提出一种基于深度学习的相位显微成像方法，无需参考光，可使用部分相干光源，计算速度快，没有边界条件的限制，只需一幅在焦强度图就可以恢复物体的相位信息。该方法可以直接低成本地与现成的显微成像系统结合，实现相位成像。
技术方案
本发明的技术特征在于方法包含训练和恢复两个阶段，分为如下步骤：
a.训练阶段的步骤为：
S1.使用显微成像系统采集训练样本的过焦图、在焦图和欠焦图，记作和其中n＝1,2,3,4…k；
S2.使用基于强度传输方程的相位恢复算法，从和算得训练样本的相位Tn，其中n＝1,2,3,4…k；
S3.建立神经网络模型，确定网络模型参数。将训练样本的在焦图作为神经网络的输入，相应的相位图Tn作为神经网络的黄金标准，对其进行训练。
b.恢复阶段的步骤为：
S4.采集待测样本的在焦图I0；
S5.将待测样本的在焦图I0输入训练好的神经网络，即可得到待测样本的相位信息T。
所述步骤S1中的显微成像系统为光学显微镜等。
所述步骤S1中显微成像系统的光源可以使相干光源或部分相干光源，且部分相干光源可以通过在普通光源加入滤色片和光阑的方式得到。
所述步骤S1中的训练样本可以是任何可用于成像的样品，如生物组织，生物细胞等，原则上尽可能增加待测样本的种类和数量。
所述步骤S2中的强度传输方程相位恢复算法，主要是基于如下强度传输方程
式中I为强度分布，φ为相位分布，k为波数，r为样品所在平面横向坐标，I(r)为光强分布，▽为作用于r平面的哈密顿算符。
所述步骤S3中的神经网络模型可以是任何用于图像转换的神经网络模型，如基于卷积神经网络的Unet等，搭建神经网络的框架可以是Tensorflow,Pytorch等，网络只需训练一次，之后便可使用训练好的网络对未知样本进行无限次的相位成像。
有益效果
本发明在完成神经网络训练之后，只需利用现成的显微成像系统拍摄一幅在焦图，输入训练好的神经网络即可恢复出该样本的相位信息，并且恢复速度快。相比于强度传输方程相位恢复方法，该方法对边界条件没有要求，物体可以位于视场的任意位置，甚至可以位于边界，例如物体只有一部分在视场内。相比于干涉法，该方法无需参考光。
将本方法可以直接低成本地与现成的显微镜结合，对样本进行显微成像的同时，使用训练好的神经网络得到该样本的相位信息。
附图说明
图1为基于深度学习的相位显微成像方法流程图；
图2为实施例中使用的U形神经网络(Unet)的结构图；
图3为实施例中深度学习相位显微成像系统的光路图；
图4为实施例中深度学习恢复结果和强度传输方程恢复结果的对比。
图1中：实线部分为训练阶段，虚线部分为恢复阶段，TIE算法即基于强度传输方程的相位恢复算法。
图2中：网络结构中，下采样过程使用带有残差网络的卷积网络，上采样过程使用带有残差网络的转置卷积网络，所有卷积核大小为3x3，卷积和转置卷积后进行批量标准化和非线性激活。
图3中：1-卤素灯光源，2-会聚透镜，3-光阑，4-会聚透镜，5-样品，6-显微物镜，7-反射镜，8-会聚透镜，9-CCD相机。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
实施例1：一种实现本方法的光学显微系统光路如图3所示，包括：卤素灯光源1，会聚透镜2，光阑3，会聚透镜4，样品5，显微物镜6，反射镜7，会聚透镜8，CCD相机9。其中，所述卤素灯光源经过所述光阑后变成部分相干光，经样品后被所述显微物镜放大，携带物体信息的光束经所述反射镜后被一汇聚透镜准直，最后利用所述CCD记录强度图。其中，卤素灯可以换LED做光源，显微物镜放大倍数可以根据实际需要进行选择，光阑用于调整光源的相干度。
所述的深度学习相位显微成像方法工作流程如下：
执行训练阶段：使用深度学习相位显微成像系统采集大量(5000个)细胞样本(吞噬细胞)的欠焦图、在焦图、过焦图，和其中n＝1,2,3,4…k。再使用强度传输方程相位恢复法得到相应的细胞相位图，Tn，其中n＝1,2,3,4…k。将在焦图和相应的相位图做训练集进行神经网络(如图2)的训练，其中网络训练参数如下：learning rate＝0.001,Batch size＝64,Decay rate＝0.97,Epoch＝100,Shuffle frequency＝1/epoch。网络训练所用的GPU为GTX 1080TI，训练时长为4小时。
执行恢复阶段：训练阶段只需执行一次，就可以使用训练好的网络进行相会恢复。采集细胞在焦图，将在焦图输入训练好的网络得到相位图。恢复一张128x128个像素的相位图只需0.007秒左右。
通过神经网络恢复结果与强度传输方程恢复结果的对比，如图4，可以看到对于细胞位于边缘的情况，强度传输方程恢复结果出现了严重的边缘误差，而神经网络的恢复结果没有边缘误差。
Claims (6)
1.一种基于深度学习的相位显微成像方法，其特征在于：包含训练和恢复两个阶段，分为如下步骤：
a.训练阶段的步骤为：
S1.使用显微成像系统采集训练样本的过焦图、在焦图和欠焦图，记作 n和其中n＝1,2,3,4…k；
S2.使用基于强度传输方程的相位恢复算法，从和算得训练样本的相位Tn，其中n＝1,2,3,4…k；
S3.建立神经网络模型，确定网络模型参数。将训练样本的在焦图作为神经网络的输入，相应的相位图Tn作为神经网络的的黄金标准，对其进行训练，获得训练好的神经网络。
b.恢复阶段的步骤为：
S4.采集待测样本的在焦图I0；
S5.将待测样本的在焦图I0输入训练好的神经网络，即可得到待测样本的相位信息T。
2.根据权利要求1所述的一种基于深度学习的相位显微成像方法，其特征在于：所述步骤S1中的显微成像系统为光学显微镜等。
3.根据权利要求1所述的一种基于深度学习的相位显微成像方法，其特征在于：所述步骤S1中显微成像系统的光源可以使相干光源或部分相干光源，且部分相干光源可以通过在普通光源加入滤色片和光阑的方式得到。
4.根据权利要求1所述的一种基于深度学习的相位显微成像方法，其特征在于：所述步骤S1中的训练样本可以是任何可用于成像的样品，如生物组织，生物细胞等，原则上尽可能增加训练样本的种类和数量。
5.根据权利要求1所述的一种基于深度学习的相位显微成像方法，其特征在于：所述步骤S2中的强度传输方程相位恢复算法，主要是基于如下强度传输方程
式中I为强度分布，φ为相位分布，k为波数，r为样品所在平面横向坐标，I(r)为光强分布，为作用于r平面的哈密顿算符。
6.根据权利要求1所述的一种基于深度学习的相位显微成像方法，其特征在于：所述步骤S3中的神经网络模型可以是任何用于图像转换的神经网络模型，如基于卷积神经网络的Unet等，框架可选Tensorflow,Pytorch等，网络只需训练一次，之后便可使用训练好的网络对未知样本进行无限次的相位成像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000530.9A CN109685745B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的相位显微成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000530.9A CN109685745B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的相位显微成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109685745A true CN109685745A (zh) | 2019-04-26 |
| CN109685745B CN109685745B (zh) | 2022-07-15 |
Family
ID=66191772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910000530.9A Active CN109685745B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的相位显微成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109685745B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309910A (zh) * | 2019-07-03 | 2019-10-08 | 清华大学 | 基于机器学习的最优化自适应显微成像方法及装置 |
| CN111221118A (zh) * | 2020-02-26 | 2020-06-02 | 南京理工大学 | 一种基于相位编码单透镜的显微成像方法 |
| CN111462026A (zh) * | 2020-03-02 | 2020-07-28 | 清华大学 | 基于编码曝光的合成图像相位恢复方法及装置 |
| CN111474698A (zh) * | 2020-04-30 | 2020-07-31 | 重庆邮电大学 | 一种双光源光学显微成像系统及图像处理方法 |
| CN111601096A (zh) * | 2020-04-03 | 2020-08-28 | 清华大学 | 具有单光子雪崩二极管的合成图像方法 |
| CN112328674A (zh) * | 2020-11-17 | 2021-02-05 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN113066170A (zh) * | 2021-04-15 | 2021-07-02 | 西北工业大学 | 一种基于深度学习的微分干涉相衬成像方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576650A (zh) * | 2009-06-12 | 2009-11-11 | 北京航空航天大学 | 一种定量数字显微相衬成像的方法 |
| CN105588519A (zh) * | 2015-12-21 | 2016-05-18 | 中国科学院长春光学精密机械与物理研究所 | 利用相位差异相位恢复技术检测大口径望远镜面形的方法 |
| CN106054570A (zh) * | 2016-04-26 | 2016-10-26 | 上海大学 | 采用强度传输方程实现单幅数字全息图较大相位重建方法 |
| CN106842540A (zh) * | 2017-03-24 | 2017-06-13 | 南京理工大学 | 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法 |
| CN107290846A (zh) * | 2017-08-04 | 2017-10-24 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
| CN108288255A (zh) * | 2018-01-26 | 2018-07-17 | 中国科学院广州生物医药与健康研究院 | 一种相位恢复方法、装置及系统 |
| US20180292784A1 (en) * | 2017-04-07 | 2018-10-11 | Thanh Nguyen | APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy |
| CN109031894A (zh) * | 2018-08-13 | 2018-12-18 | 中国科学院上海光学精密机械研究所 | 极紫外光刻掩模多层膜相位型缺陷底部形貌检测方法 |
-
2019
- 2019-01-02 CN CN201910000530.9A patent/CN109685745B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101576650A (zh) * | 2009-06-12 | 2009-11-11 | 北京航空航天大学 | 一种定量数字显微相衬成像的方法 |
| CN105588519A (zh) * | 2015-12-21 | 2016-05-18 | 中国科学院长春光学精密机械与物理研究所 | 利用相位差异相位恢复技术检测大口径望远镜面形的方法 |
| CN106054570A (zh) * | 2016-04-26 | 2016-10-26 | 上海大学 | 采用强度传输方程实现单幅数字全息图较大相位重建方法 |
| CN106842540A (zh) * | 2017-03-24 | 2017-06-13 | 南京理工大学 | 基于光强传输方程的环形光照明高分辨率定量相位显微成像方法 |
| US20180292784A1 (en) * | 2017-04-07 | 2018-10-11 | Thanh Nguyen | APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy |
| CN107290846A (zh) * | 2017-08-04 | 2017-10-24 | 南京理工大学 | 基于环状可编程led照明的定量相位显微成像方法 |
| CN108288255A (zh) * | 2018-01-26 | 2018-07-17 | 中国科学院广州生物医药与健康研究院 | 一种相位恢复方法、装置及系统 |
| CN109031894A (zh) * | 2018-08-13 | 2018-12-18 | 中国科学院上海光学精密机械研究所 | 极紫外光刻掩模多层膜相位型缺陷底部形貌检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| DONGBO XU 等: "Extreme ultraviolet multilayer defect analysis and geometryreconstruction", 《JOURNAL OF MICRO/NANOLITHOGRAPHY,MEMS,AND MOEMS》 * |
| YOUNGJU JO 等: "Quantitative Phase Imaging and Artificial Intelligence: A Review", 《IEEE JOURNAL OF SELECTED TOPICS IN QUANTUM ELECTRONICS 》 * |
| 田晓琳: "强度传播的生物细胞区域恢复技术", 《中国优秀硕士学位论文全文数据库 基础科学辑》 * |
| 程鸿: "基于强度测量的确定性相位检索", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 陈映洲 等: "免显微物镜的共光路相位显微成像方法", 《激光与光电子学进展》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110309910A (zh) * | 2019-07-03 | 2019-10-08 | 清华大学 | 基于机器学习的最优化自适应显微成像方法及装置 |
| CN111221118A (zh) * | 2020-02-26 | 2020-06-02 | 南京理工大学 | 一种基于相位编码单透镜的显微成像方法 |
| CN111462026A (zh) * | 2020-03-02 | 2020-07-28 | 清华大学 | 基于编码曝光的合成图像相位恢复方法及装置 |
| CN111601096A (zh) * | 2020-04-03 | 2020-08-28 | 清华大学 | 具有单光子雪崩二极管的合成图像方法 |
| CN111601096B (zh) * | 2020-04-03 | 2022-02-22 | 清华大学 | 具有单光子雪崩二极管的合成图像方法 |
| CN111474698A (zh) * | 2020-04-30 | 2020-07-31 | 重庆邮电大学 | 一种双光源光学显微成像系统及图像处理方法 |
| CN111474698B (zh) * | 2020-04-30 | 2022-09-02 | 重庆邮电大学 | 一种双光源光学显微成像系统及图像处理方法 |
| CN112328674A (zh) * | 2020-11-17 | 2021-02-05 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN112328674B (zh) * | 2020-11-17 | 2024-05-14 | 深圳力维智联技术有限公司 | 跨数据格式的模型转化加速方法及装置 |
| CN113066170A (zh) * | 2021-04-15 | 2021-07-02 | 西北工业大学 | 一种基于深度学习的微分干涉相衬成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109685745B (zh) | 2022-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109685745A (zh) | 一种基于深度学习的相位显微成像方法 | |
| CN109459923A (zh) | 一种基于深度学习的全息重建算法 | |
| CN113450410B (zh) | 一种基于对极几何的单目深度和位姿联合估计方法 | |
| CN109636742A (zh) | 基于对抗生成网络的sar图像和可见光图像的模式转换方法 | |
| Ford et al. | Fast optically sectioned fluorescence HiLo endomicroscopy | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| US11368608B2 (en) | Compressed sensing based object imaging system and imaging method therefor | |
| JP2007330558A (ja) | 分光眼底測定装置及びその測定方法 | |
| CN102647941A (zh) | 用于执行光电容积描记的方法和系统 | |
| CN107369148A (zh) | 基于改进sml与导向滤波的多聚焦图像融合方法 | |
| CN109671031B (zh) | 一种基于残差学习卷积神经网络的多光谱图像反演方法 | |
| CN106679581A (zh) | 一种高温环境下物体变形测量方法 | |
| CN113298700B (zh) | 一种在散射场景中的高分辨图像重构方法 | |
| CN102982520A (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN116563916A (zh) | 基于注意力融合的循环人脸超分辨率方法及系统 | |
| CN106054570A (zh) | 采用强度传输方程实现单幅数字全息图较大相位重建方法 | |
| CN111079733A (zh) | 基于水下成像环境模型的数据增广方法 | |
| CN109752377A (zh) | 一种分光式双模态投影层析组织血管成像装置及方法 | |
| CN110827375A (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN111325700A (zh) | 基于彩色图像的多维度融合算法和系统 | |
| CN109489816B (zh) | 一种显微高光谱成像平台及大区域数据立方体采集的方法 | |
| CN112155511B (zh) | 一种基于深度学习补偿oct采集过程中人眼抖动的方法 | |
| CN110348569B (zh) | 基于卷积神经网络的实时光学层析方法和系统 | |
| CN111462026B (zh) | 基于编码曝光的合成图像相位恢复方法及装置 | |
| CN209624404U (zh) | 一种分光式双模态投影层析组织血管成像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |