CN109459923B - 一种基于深度学习的全息重建算法 - Google Patents
一种基于深度学习的全息重建算法 Download PDFInfo
- Publication number
- CN109459923B CN109459923B CN201910000496.5A CN201910000496A CN109459923B CN 109459923 B CN109459923 B CN 109459923B CN 201910000496 A CN201910000496 A CN 201910000496A CN 109459923 B CN109459923 B CN 109459923B
- Authority
- CN
- China
- Prior art keywords
- training
- sample
- hologram
- axis
- reconstruction algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000003062 neural network model Methods 0.000 claims abstract description 12
- 230000003287 optical effect Effects 0.000 claims abstract description 12
- 238000004364 calculation method Methods 0.000 claims abstract description 4
- 238000011084 recovery Methods 0.000 claims description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 claims description 3
- 229910000673 Indium arsenide Inorganic materials 0.000 claims description 2
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000002050 diffraction method Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- RPQDHPTXJYYUPQ-UHFFFAOYSA-N indium arsenide Chemical compound [In]#[As] RPQDHPTXJYYUPQ-UHFFFAOYSA-N 0.000 claims description 2
- 230000010363 phase shift Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 238000010587 phase diagram Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0816—Iterative algorithms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0825—Numerical processing in hologram space, e.g. combination of the CGH [computer generated hologram] with a numerical optical element
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
- G03H2001/0883—Reconstruction aspect, e.g. numerical focusing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Holo Graphy (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的全息重建算法，其技术特征在于：采集训练样本的离轴全息图，使用数字全息重建算法得到样本的强度图和相位图，将训练样本的同轴全息图和对应的强度图和相位图作为训练集，输入神经网络模型进行训练。训练只需进行一次，之后便可采集未知样本的同轴全息图，输入训练好的网络，恢复出强度图和相位图。该方法的优势在于光路简单，无需参考光，计算快速，没有边界条件的限制，只需一幅同轴全息图就可以恢复物体的强度和相位信息。
Description
技术领域
本发明涉及光学领域，特别涉及数字全息领域。
背景技术
由于光的频率较高，现有图像采集设备只能记录光场的强度信息而无法直接获得相位信息，因此需要借助强度信息来恢复光场的相位信息。全息干涉技术通过引入参考光波与物光波发生干涉，产生强度分布的干涉条纹来记录光场的相位信息，即为数字全息图。对于数字全息图，一般采用计算机来模拟光波的衍射过程，实现全息图的数值重建，通常基于菲涅尔衍射算法或者卷积算法，需要大量计算，相对复杂。
发明内容
本发明提出一种基于深度学习的全息重建算法，相比于现有方法，该方法光路简单，无需参考光(只在制作训练样本时使用参考光)，计算快速，没有边界条件的限制，只需一幅同轴全息图就可以恢复物体的强度和相位信息。
技术方案
本发明的技术特征在于包含训练和恢复两个阶段，分为如下步骤：
a.训练阶段的步骤为：
S1.使用离轴全息记录光路训练待测样本的离轴全息图，记作Hn，其中n＝1,2,3,4…k；
S2.遮挡离轴全息记录光路的参考光波，采集训练样本的同轴全息图Dn，其中n＝1,2,3,4…k；
S3.使用数字全息重建算法从离轴全息图Hn中计算得到训练样品的相位Pn和强度In,其中n＝1,2,3,4…k；
S4.建立神经网络模型，确定网络模型参数，将待测样本的同轴全息图Dn作为网络的输入，相位图Pn和强度图In作为网络的黄金标准，对其进行训练，获得训练好的神经网络模型；
b.恢复阶段的步骤为：
S5.遮挡离轴全息记录光路的参考光波部分，采集待测试图像的同轴全息图D；
S6.将待测样本的同轴全息图D输入训练好的神经网络，即可得到待测样本的相位信息P和强度信息I。
所述步骤S1中的训练样本可以是任何可用于成像的样品，如生物组织，生物细胞等，原则上尽可能增加训练样本的种类和数量。
所述步骤S1中的离轴全息记录光路可以是任何记录干涉图的光路，包含物光波和参考光波两部分。
所述步骤S2中的同轴全息图可以通过遮挡离轴全息记录光路的参考光波部分直接获得。
所述步骤S3中的数字全息重建算法为数字全息图的数值重建算法，通过计算可以获得全息再现像的强度和相位信息，算法可以基于菲涅尔衍射法，卷积法，迭代算法，也可以基于相移算法。
所述步骤S4中的神经网络模型可以是任何用于图像转换的神经网络模型，如基于卷积神经网络的Unet等，框架可选Tensorflow,Pytorch等，网络只需训练一次，之后便可使用训练好的网络对未知样本进行无限次的全息重建。
有益效果
该方法恢复相位信息和强度信息只需一幅同轴全息图即可。网络只需训练一次，之后输入一幅同轴全息图便可恢复强度和相位信息，并且恢复速度快速。相比于基于强度传输方程的相位恢复方法，该方法对边界条件没有要求，物体可以位于视场的任意位置，甚至可以位于边界，例如物体只有一部分在视场内。相比于数字全息法，该方法无需参考光(只在制作训练样本时使用参考光)。
附图说明
图1为基于深度学习的全息重建算法的流程图；
图2为实施例中使用的U形神经网络(Unet)的结构图；
图3为实施例中一种基于深度学习的全息重建算法的光路图。
图1中：实线部分为训练阶段，虚线部分为恢复阶段。
图2中：网络结构中，下采样过程使用带有残差网络的卷积网络，上采样过程使用带有残差网络的转置卷积网络，所有卷积核大小为3x3，卷积和转置卷积后进行批量标准化和非线性激活。
图3中：1-激光器，2-准直透镜，3-非偏振分光棱镜，4-反射镜，5-样本，6-反射镜，7-快门，8-非偏振分光棱镜，9-CCD相机。
具体实施方式
现结合实施例、附图对本发明作进一步描述：
实施例1：一种实现本发明所述基于深度学习的全息重建算法的工作流程如下：
采用如图3所述的离轴全息记录光路，包括：激光器1，准直透镜2，非偏振分光棱镜3，反射镜4，细胞样本5，反射镜6，快门7，非偏振分光棱镜8，CCD相机9。
执行训练阶段：使用图3所示的光路，首先使快门7处于开启状态，参考光波和物光波在CCD相机9靶面干涉，采集细胞样本5的离轴全息图Hn，然后关闭快门，采集细胞样本5的同轴全息图Dn。更换细胞样本，重复上述过程，得到k个样本的Hn和Dn，其中n＝1,2,3,4…k。使用数字全息重建算法得到相应细胞的相位图Pn和强度图In，其中n＝1,2,3,4…k。将同轴全息图Dn做输入，相应的相位图Pn和强度图In做输出标准(黄金标准)，进行如图2所示神经网络模型的训练，其中网络训练参数如下：learning rate＝0.001,Batch size＝64,Decayrate＝0.97,Epoch＝100,Shuffle frequency＝1/epoch。
执行恢复阶段：训练阶段只需执行一次，就可以使用训练好的网络模型进行部署，用于全息重建。关闭快门或遮挡参考光部分，采集细胞同轴全息图D，将D输入训练好的网络得到相位图P和强度图I。
Claims (6)
1.一种基于深度学习的全息重建算法，其特征在于：包含训练和恢复两个阶段，
分为如下步骤：
a.训练阶段的步骤为：
S1.使用离轴全息记录光路采集训练样本的离轴全息图，记作Hn，其中n＝1,2,3,4…k；
S2.遮挡离轴全息记录光路的参考光波，采集训练样本的同轴全息图Dn，其中n＝1,2,3,4…k；
S3.使用数字全息重建算法从离轴全息图Hn中计算得到训练样本的相位Pn和强度In,其中n＝1,2,3,4…k；
S4.建立神经网络模型，确定网络模型参数，将训练样本的同轴全息图Dn作为网络的输入，相应的相位图Pn和强度图In作为网络的黄金标准，对其进行训练，获得完成训练的神经网络模型；
b.恢复阶段的步骤为：
S5.遮挡离轴全息记录光路的参考光波部分，采集待测试图像的同轴全息图D；
S6.将待测样本的同轴全息图D输入完成训练的神经网络模型，即可得到待测样本的相位信息P和强度信息I。
2.根据权利要求1所述的基于深度学习的全息重建算法，其特征在于：所述步骤S1中的训练样本为任何用于成像的样品，包括生物组织切片，生物细胞样品。
3.根据权利要求1所述的基于深度学习的全息重建算法，其特征在于：所述步骤S1中的离轴全息记录光路是任何记录干涉图的光路，包含物光波和参考光波两部分。
4.根据权利要求1所述的基于深度学习的全息重建算法，其特征在于：所述步骤S2中的同轴全息图通过遮挡离轴全息记录光路的参考光波直接获得。
5.根据权利要求1所述的基于深度学习的全息重建算法，其特征在于：所述步骤S3中的数字全息重建算法为数字全息图的数值重建算法，通过计算能够获得全息再现像的强度和相位信息，算法基于菲涅尔衍射法，卷积法，迭代算法，相移算法四种之一。
6.根据权利要求1所述的基于深度学习的全息重建算法，其特征在于：所述步骤S4中的神经网络模型是任何用于图像转换的神经网络模型，网络只需训练一次，之后便能够使用完成训练的神经网络模型对未知样本进行无限次的全息重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000496.5A CN109459923B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的全息重建算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910000496.5A CN109459923B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的全息重建算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109459923A CN109459923A (zh) | 2019-03-12 |
| CN109459923B true CN109459923B (zh) | 2020-10-27 |
Family
ID=65616141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910000496.5A Active CN109459923B (zh) | 2019-01-02 | 2019-01-02 | 一种基于深度学习的全息重建算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109459923B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163817B (zh) * | 2019-04-28 | 2021-06-18 | 浙江工业大学 | 一种基于全卷积神经网络的相位主值提取方法 |
| CN111105416B (zh) * | 2019-12-31 | 2022-09-09 | 北京理工大学重庆创新中心 | 一种骨髓细胞增生程度自动分级方法及系统 |
| CN111736442B (zh) * | 2020-06-12 | 2021-05-25 | 北京理工大学 | 基于各向同性双焦超颖透镜的单次曝光产生全息图的方法 |
| CN113223106A (zh) * | 2021-05-07 | 2021-08-06 | 西北工业大学 | 一种基于深度学习的少角度数字全息层析重建算法 |
| CN113252292A (zh) * | 2021-05-10 | 2021-08-13 | 西北工业大学 | 一种基于卷积神经网络的复杂流场测量方法与系统 |
| CN113238076B (zh) * | 2021-05-10 | 2022-12-06 | 西北工业大学 | 一种基于深度学习的复杂流场测量方法 |
| CN114002931A (zh) * | 2021-10-08 | 2022-02-01 | 清华大学深圳国际研究生院 | 基于深度学习加速计算的大视场全息投影方法及系统 |
| CN114494596B (zh) * | 2022-01-21 | 2024-06-14 | 清华大学 | 一种计算全息图的生成方法及电子设备 |
| CN114529679B (zh) * | 2022-04-19 | 2022-09-16 | 清华大学 | 基于神经辐射场的计算全息场生成方法及装置 |
| CN114967398B (zh) * | 2022-05-13 | 2024-05-31 | 安徽大学 | 基于深度学习的大尺寸二维计算全息图实时生成方法 |
| CN114972924A (zh) * | 2022-06-10 | 2022-08-30 | 北京理工大学 | 无监督的深度学习全息成像方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| KR101771146B1 (ko) * | 2017-03-22 | 2017-08-24 | 광운대학교 산학협력단 | 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
| KR101879207B1 (ko) * | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
-
2019
- 2019-01-02 CN CN201910000496.5A patent/CN109459923B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976408A (zh) * | 2016-04-28 | 2016-09-28 | 北京大学 | 一种量子逆向传播神经网络的数字全息压缩传输方法 |
| KR101879207B1 (ko) * | 2016-11-22 | 2018-07-17 | 주식회사 루닛 | 약한 지도 학습 방식의 객체 인식 방법 및 장치 |
| KR101771146B1 (ko) * | 2017-03-22 | 2017-08-24 | 광운대학교 산학협력단 | 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치 |
| CN108089425A (zh) * | 2018-01-16 | 2018-05-29 | 电子科技大学 | 一种基于深度学习的消除光学扫描全息离焦噪声的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于多距离相位恢复的无透镜计算成像技术;刘正君;《红外与激光工程》;20181031;全文 * |
| 计算全息图的人工神经网络压缩算法;侯阿临;《吉林大学学报(工学版)》;20130331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109459923A (zh) | 2019-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109459923B (zh) | 一种基于深度学习的全息重建算法 | |
| Zuo et al. | Transport of intensity phase retrieval and computational imaging for partially coherent fields: The phase space perspective | |
| US9817224B2 (en) | Methods and systems for Fourier ptychographic imaging | |
| CN106990694B (zh) | 一种部分相干光照明下的非迭代相位恢复装置及方法 | |
| EP1230576B1 (en) | System and method for recovering phase information of a wave front | |
| CN106054570B (zh) | 强度传输方程实现单幅数字全息图较大相位重建方法 | |
| CN111579097B (zh) | 基于神经网络的高精度光学散射补偿方法 | |
| CN113158487B (zh) | 一种基于长短期记忆深度网络的波前相位差探测方法 | |
| CN115200702A (zh) | 基于复数神经网络的计算成像方法及装置 | |
| Jagatap et al. | Sub-diffraction imaging using fourier ptychography and structured sparsity | |
| Sun et al. | Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction | |
| CN116579959B (zh) | 用于高光谱图像的融合成像方法及装置 | |
| KR101166961B1 (ko) | 3차원 빔측정을 통한 광학계의 파면수차 복원방법 | |
| CN116612005A (zh) | 高光谱图像超分辨率重建方法、装置和电子设备 | |
| CN113223106A (zh) | 一种基于深度学习的少角度数字全息层析重建算法 | |
| CN112288633B (zh) | 一种新型亚像素分辨率衍射成像方法 | |
| Rahmat et al. | 3D shape from focus using LULU operators and discrete pulse transform in the presence of noise | |
| KR101498474B1 (ko) | 다단계 보간법을 이용한 디지털 홀로그래피의 분해능 향상 방법 | |
| CN114384780A (zh) | 透过散射介质成像的方法、装置、计算机设备和存储介质 | |
| US11768462B2 (en) | Systems and methods for an integrated holographic reconstruction tool with optical distortion removal and de-twinning | |
| Castaneda et al. | Learning-based Quantitative Phase Imaging in Digital Holographic Microscopy: a comparison study between different models | |
| CN116703728B (zh) | 系统参数优化的超分辨方法和系统 | |
| CN116523789A (zh) | 基于Unet卷积神经网络的物体全息环纹噪声消除方法 | |
| CN111307302B (zh) | 横向剪切干涉波前重建过程中波前损失信息的补全方法 | |
| Considine et al. | Optical image enhancement and image restoration |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |