CN110221421B - 基于机器学习的结构光照明超分辨显微成像方法 - Google Patents

基于机器学习的结构光照明超分辨显微成像方法 Download PDF

Info

Publication number
CN110221421B
CN110221421B CN201910477092.5A CN201910477092A CN110221421B CN 110221421 B CN110221421 B CN 110221421B CN 201910477092 A CN201910477092 A CN 201910477092A CN 110221421 B CN110221421 B CN 110221421B
Authority
CN
China
Prior art keywords
degrees
structured light
strip
lens
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910477092.5A
Other languages
English (en)
Other versions
CN110221421A (zh
Inventor
龚薇
斯科
吴晨雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201910477092.5A priority Critical patent/CN110221421B/zh
Publication of CN110221421A publication Critical patent/CN110221421A/zh
Application granted granted Critical
Publication of CN110221421B publication Critical patent/CN110221421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Nonlinear Science (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

本发明公开了一种基于机器学习的结构光照明超分辨显微成像系统和方法。系统沿光路方向依次分布为数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM、第二透镜L2和电荷耦合器件CCD;方法利用畸变的条纹图样和其对应的散射相位重构系数,形成训练数据集,再通过深度卷积神经网络算法构建出对应的学习模型,从而对未知散射相位重构系数的畸变条纹图样进行快速校正,获得高精度的校正条纹图样。本发明对结构光照明显微镜中的条纹结构光进行了像差校正,速度快、精度高,能够提高显微系统的成像深度并优化成像质量,拓展结构光照明显微镜的应用范围。

Description

基于机器学习的结构光照明超分辨显微成像方法
技术领域
本发明属于超分辨显微成像领域中的自适应光学波前像差校正方法,特别涉及了一种基于机器学习的针对结构光照明显微术中条纹图样进行像差高速自适应光学校正的系统和方法,以提高显微系统的成像深度并优化成像质量,拓展结构光照明显微镜的应用范围。
背景技术
在生命科学研究中,荧光显微镜由于具有特异性可标记性、能够对活体细胞进行实时成像等优点,被广泛应用。但由于荧光显微镜局限于“衍射极限”的限制,其在生命医学研究领域的使用被大大局限。近些年来,科研人员提出了能够突破“衍射极限”的超分辨显微技术,包括受激发射损耗显微镜技术,光激活定位显微镜技术,随机光学重建显微镜技术与结构光照明显微镜技术等。
其中,结构光照明显微镜是基于宽场荧光显微镜的,通过特殊的条纹光束照明样本,再利用重构算法从图像信息中汇总提取样本信息,重构出超分辨的图像,实现“衍射极限”的突破。结构光照明显微镜凭借其成像速度快、结构简单、对成像样本无特殊要求等优势,引起了广泛关注,而且该技术能够应用于活体生物组织的动态三维成像领域。
但由于深层组织会带来散射及像差,结构光照明显微镜的成像深度受到一定程度的局限。为了实现结构光照明显微镜的大深度成像,可以将自适应光学引入显微系统中,以提高显微系统的分辨率,优化图像质量。自适应光学最早应用于天文学研究中,用以补偿大气湍流带来的光学畸变等;现被逐步应用于超分辨显微成像领域,进而解决光束经过光学系统及生物样本时带来的信噪比、分辨率降低,成像质量下降等问题。
因此研究如何将自适应光学校正方法运用于结构光照明显微镜技术中的条纹图样至关重要。
发明内容
为了解决结构光照明显微镜在深层组织成像时的散射以及像差问题,本发明提供了一种基于机器学习的结构光照明超分辨显微成像系统和方法。
本发明采用的技术方案如下所示:
一、一种基于机器学习的结构光照明超分辨显微成像系统:
系统沿光路方向依次分布为数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM、第二透镜L2和电荷耦合器件CCD;数字微镜器件DMD放置在第一透镜L1的前焦面,反射镜M用于偏转光路,主动调相系统APM位于第二透镜L2的前焦面,电荷耦合器件CCD位于第二透镜L2的后焦面,第一透镜L1的后焦面和第二透镜L2的前焦面重合,第二透镜L2的后焦面作为所述系统的聚焦平面,第一透镜L1和第二透镜L2构成一个4F系统;入射光依次经过数字微镜器件DMD反射、反射镜M反射、第一透镜L1透射、主动调相系统APM 反射、第二透镜L2透射后,在聚焦平面上聚焦成像,再由聚焦平面处的电荷耦合器件CCD探测并得到图像。
主动调相系统APM采用空间光调制器SLM。空间光调制器SLM含有许多的独立单元,光束照明在独立单元上对其进行调控,根据各种物理效应,可改变其光学特性,进而对照明光束进行调控。各种物理效应具体为:声光效应、磁光效应、光折变效应等。具体实施中,空间光调制器SLM也可用可变形反射镜DM 替代。
所述的数字微镜器件DMD根据反射原理产生条纹图样结构光,光束通过系统将数字微镜器件DMD上的条纹图样结构光成像于聚焦平面,由电荷耦合器件 CCD完成探测,得到对应的条纹图像。
所述的主动调相系统APM对照明光束进行主动相位调控,选用空间光调制器SLM或者可变形反射镜DM。
二、一种基于机器学习的结构光照明超分辨显微成像方法,方法具体包含以下步骤:
1)针对数字微镜器件DMD,设置0°、60°和120°三个条纹图样结构光的条形角度方向,然后在0°、60°和120°三个条纹图样结构光的条形角度方向上分别设置初始相位为0°、120°、240°的九组已知散射相位重构系数的条纹结构光依次加载在数字微镜器件DMD上,由电荷耦合器件CCD探测并收集,利用机器学习方法训练得到九组学习模型,其中具体如下:
学习模型1对应0°方向上初始相位为0°的条纹结构光;
学习模型2对应0°方向上初始相位为120°的条纹结构光;
学习模型3对应0°方向上初始相位为240°的条纹结构光;
学习模型4对应60°方向上初始相位为0°的条纹结构光;
学习模型5对应60°方向上初始相位为120°的条纹结构光;
学习模型6对应60°方向上初始相位为240°的条纹结构光;
学习模型7对应120°方向上初始相位为0°的条纹结构光;
学习模型8对应120°方向上初始相位为120°的条纹结构光;
学习模型9对应120°方向上初始相位为240°的条纹结构光;
2)针对数字微镜器件DMD,设置0°、60°和120°三个条纹图样结构光的条形角度方向,然后在0°、60°和120°三个条纹图样结构光的条形角度方向上加载相位为0°、120°、240°的九组条纹结构光,并在此相位基础上分别增加未知散射相位重构系数的散射相位,形成九组散射条纹结构光,散射条纹结构光依次加载在数字微镜器件DMD上,由电荷耦合器件CCD探测并收集;利用训练后的九组学习模型对九组散射条纹结构光依次进行处理,即九组散射条纹结构光分别输入到各自的学习模型中,得到九组散射条纹结构光对应的散射相位重构系数,并转换得到各自对应的校正相位;
具体实施通过相位重构系数重构出散射相位,并通过取反方式求解出其校正相位。
3)针对数字微镜器件DMD,在0°、60°和120°三个条纹图样结构光的条形角度方向上且在原有未知相位基础上分别增加相位为0°、120°、240°的九组未知散射相位重构系数的条纹结构光依次加载在数字微镜器件DMD上,每个条纹结构光加载在数字微镜器件DMD上时将步骤2)中对应获得的校正相位也同时加载在主动调相系统APM上,分别形成九组校正条纹结构光,将九组校正条纹结构光照射到待测生物样本中,待测样本置于电荷耦合器件CCD的探测端面,经待测生物样本透射后由电荷耦合器件CCD探测并收集;
具体实施是将图样对应的各高频频谱分量和低频频谱分量准确分离,并将分离出的高频信息搬回原有位置;进行叠加融合获得拓展频谱,完成对应频率方向的频谱拼接。
4)将收集获得的宽场图样经频谱分离后融合处理实现频谱拼接,获得拓展频谱,对拓展频谱进行傅里叶逆变换得到结构光照明系统的校正超分辨成像。
所述的步骤1)具体包含以下步骤:
1.1)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM和第二透镜L2,数字微镜器件DMD上的预设形状为条纹图样,条纹图样的条形角度方向为0°、60°和120°三种条形角度方向中的一种,主动调相系统APM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测得到无畸变的条纹图样分布图像;
1.2)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM、第二透镜L2;数字微镜器件DMD上的预设形状为已知相位重构系数的条纹图样,条纹图样的条形角度方向为0°、60°和120°三种条形角度方向中的一种,主动调相系统APM上加载零相位,光束经过第二透镜L2 后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测得到畸变的条纹分布图像;
1.3)重复步骤1.2)三次,数字微镜器件DMD上依次加载三种不同的已知相位重构系数的散射相位对应的条纹图样,由电荷耦合器件CCD探测并得到三幅畸变的条纹分布图像;
1.4)重复步骤1.1)~1.3)三次,针对0°、60°和120°三种条形角度方向分别进行加载,共计获得九组校正条纹结构光,并建立九组校正条纹结构光和对应的畸变的条纹分布图像建立映射关系,组成训练数据集;
1.5)采用机器学习算法,如深度卷积神经网络,对步骤1.4)获得的训练数据集构建学习模型并进行训练。
所述的学习模型是由n个卷积层和m个全连接层依次连接构成,n个卷积层均在前,m个全连接层均在后,n,m均为整数;学习模型采用均方误差作为目标函数,并利用随机梯度下降算法将均方误差最小化。
本发明方法利用畸变的条纹图样和其对应的散射相位重构系数,形成训练数据集,再通过深度卷积神经网络算法构建出对应的学习模型,从而对未知散射相位重构系数的畸变条纹图样进行快速校正,获得高精度的校正条纹图样。将此步骤依次应用于结构光照明显微中的0°、60°和120°三个不同方向上初始相位分别为0°、120°、240°的条纹结构光中,可通过进一步拓展结构光照明显微镜的应用范围。
本发明的工作原理如下:
本发明采用机器学习中的深度卷积神经网络搭建学习模型,从而建立起畸变条纹图样与产生该畸变的散射相位的相位重构系数之间的关系。没有畸变的条纹是平行光束通过预设形状为理想条纹结构光图样的数字微镜器件DMD上后,再经过加载零相位的主动调相系统APM,聚焦在第二透镜L2的后焦面再由电荷耦合器件CCD探测得到的。畸变的条纹是平行光束通过预设形状为畸变条纹结构光的数字微镜器件DMD后,再经过加载零相位的主动调相系统APM,聚焦在第二透镜L2的后焦面再由电荷耦合器件CCD探测得到的。
散射相位的相位重构系数是根据泽尼克多项式分解公式对其对应的散射相位进行分解得到的。通过散射相位的相位重构系数与对应的畸变的条纹分布图像建立映射关系,组成训练数据集;再采用机器学习中的深度卷积神经网络对获得的训练数据集构建学习模型。将待校正的畸变条纹图样输入训练所得的学习模型中,得到其对应的相位重构系数,进而得到其对应的散射相位,经过取反方式可求解出其对应的校正相位。校正的条纹是平行光束通过预设形状为畸变条纹结构光的数字微镜器件DMD后,再经过加载校正相位的主动调相系统APM,聚焦在第二透镜L2的后焦面再由电荷耦合器件CCD探测得到的。本发明得到的学习模型能够达到输入畸变的条纹图样,可求解出其对应的散射相位的相位重构系数,进而将畸变的条纹校正恢复。在结构光照明显微镜中,利用此方法将0°、 60°和120°三个不同方向上初始相位分别为0°、120°、240°的九组条纹结构光均进行校正,再重构图像即可进行超分辨成像。
本发明的有益效果是:
本发明能够对结构光照明显微镜中的条纹结构光进行了像差校正,主要优点是校正的速度快,操作简单,并能够保证一定程度的校正准确率。通过将机器学习和自适应光学条纹校正相结合,并应用于结构光照明显微镜中,可以能够提高显微系统的成像深度并优化成像质量,拓展结构光照明显微镜的应用范围。
附图说明
图1为本发明的校正系统光路示意图。
图2为基于机器学习的条纹像差校正的原理图,其中:
图2(a)为畸变的条纹图样分布图;
图2(b)为对应于图2(a)中畸变条纹的散射相位分布图;
图2(c)为根据泽尼克相位构建函数分解图2(b)中的散射相位所得的相位重构系数的4到15项。
图3为本发明的0°方向上初始相位为0°的一个实施例步骤说明图°,其中:
图3(a)为畸变的条纹图样分布图;
图3(b)为校正后的条纹图样分布图;
图3(c)为对应于图3(a)中畸变条纹图样的散射相位分布;
图3(d)为经过本发明得到的校正相位分布;
图3(e)为图3(c)与图3(d)相叠加后的叠加相位,对应于图3(b) 中校正后的条纹图样。
图4为0°方向上初始相位为120°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图5为0°方向上初始相位为240°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图6为60°方向上初始相位为0°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图7为60°方向上初始相位为120°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图8为60°方向上初始相位为240°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图9为120°方向上初始相位为0°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图10为120°方向上初始相位为120°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图11为120°方向上初始相位为240°的畸变条纹图样分布(a)与实施本发明后的校正条纹图样分布(b)的对比示意图中的一例。
图12为畸变超分辨成像(a)与实施本发明后的校正超分辨成像(b)的对比示意图。
表1为4组0°方向上初始相位为0°的畸变条纹图样校正后的相关指数分析,每组对应1000幅畸变条纹图样。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例如下:
1)如图1所示,入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、空间光调制器SLM、第二透镜L2。数字微镜器件DMD上的预设形状为理想条纹图样,空间光调制器SLM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测并得到无畸变的条纹分布图像;
2)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、空间光调制器SLM、第二透镜L2。数字微镜器件DMD上的预设形状为已知相位重构系数的畸变条纹图样,散射相位如图2(b)所示,空间光调制器SLM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD 探测并得到畸变的条纹分布图像,如图2(a)所示;
3)将步骤2)中散射相位使用泽尼克多项式分解公式分解得到相位重构系数,如图2(c)所示,忽略前三项,保留4-15项;
4)重复步骤2)-3)多次,数字微镜器件DMD上依次加载不同的已知相位重构系数的畸变条纹图样,由电荷耦合器件CCD探测并得到多组畸变的条纹分布图像;
5)将步骤2)-4)中的多个散射相位的相位重构系数与对应的畸变的条纹分布图像建立映射关系,组成训练数据集;
6)采用机器学习中的深度卷积神经网络对步骤5)获得的训练数据集构建学习模型。学习模型依次连接有5个卷积层和3个全连接层,分别为卷积层1、卷积层2、卷积层3、卷积层4、卷积层5、全连接层1、全连接层2和全连接层 3。卷积层1的输入尺寸为307*307*1,共32个大小为5*5的卷积核,采用补全方式,激活函数为线性整流函数,后面紧跟一个2*2的池化层。卷积层2共32 个大小为5*5的卷积核,采用补全方式,激活函数为线性整流函数,后面紧跟一个2*2的池化层。卷积层3和卷积层4均含有64个大小为3*3的卷积核,采用补全方式,激活函数为线性整流函数。卷积层5含有64个大小为3*3的卷积核,采用补全方式,激活函数为线性整流函数,后面紧跟一个2*2的池化层。全连接层1和全连接层2,输出神经元个数均为512,激活函数为线性整流函数,后面均紧跟一个参数为0.2的丢掉层。全连接层3,输出神经元为12个,激活函数为线性激活函数。学习模型采用均方误差作为目标函数,并利用随机梯度下降算法将均方误差最小化。最终得到的学习模型能够达到输入畸变的条纹图样,可求解出其对应的散射相位的相位重构系数,进而将畸变的条纹校正恢复;
7)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、空间光调制器SLM、第二透镜L2。数字微镜器件DMD上的预设形状为未知相位重构系数的畸变条纹图样,散射相位如图3(c)所示,空间光调制器SLM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD 探测并得到畸变的条纹分布图像,如图3(a)所示;
8)将步骤7)得到的畸变的条纹分布图像输入步骤6)得到的学习模型中,求解畸变的条纹分布图像对应的散射相位的相位重构系数;
9)通过步骤8)得到的相位重构系数重构出散射相位,并通过取反方式求解出其校正相位如图3(d)所示;步骤9)中的校正相位与步骤7)中未知相位重构系数的散射相位相叠加,得到的叠加相位,如图3(e)所示;
10)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、空间光调制器SLM、第二透镜L2。数字微镜器件DMD上的预设形状为未知相位重构系数的畸变条纹图样,空间光调制器SLM上加载步骤9)中的校正相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测并得到校正后的条纹分布图像,如图3(b)所示;
11)反复重复步骤7)-10),可以提高校正的效果。
本发明的实施例一中的条纹结构光为0°方向上初始相位为0°,如图3所示;
本发明的实施例二中的条纹结构光为0°方向上初始相位为120°,如图4 所示;
本发明的实施例三中的条纹结构光为0°方向上初始相位为240°,如图5 所示;
本发明的实施例四中的条纹结构光为60°方向上初始相位为0°,如图6 所示;
本发明的实施例五中的条纹结构光为60°方向上初始相位为120°,如图7 所示;
本发明的实施例六中的条纹结构光为60°方向上初始相位为240°,如图8 所示;
本发明的实施例七中的条纹结构光为120°方向上初始相位为0°,如图9 所示;
本发明的实施例八中的条纹结构光为120°方向上初始相位为120°,如图 10所示;
本发明的实施例九中的条纹结构光为120°方向上初始相位为240°,如图 11所示;
本发明的实施例十如图12所示,将相同未知散射系数的校正后的九组条纹结构光照射到样本中得到图样,将图样对应的各高频频谱分量和低频频谱分量准确分离,并将分离出的高频信息搬回原有位置;进行叠加融合获得拓展频谱,完成对应空间频率方向的频谱拼接;对拓展频谱进行傅里叶逆变换得到结构光照明系统的校正超分辨成像。畸变超分辨成像(a)与实施本发明后的校正超分辨成像(b)的对比示意图,如图12所示。
本发明的实施例十一如表1所示,对4组0°方向上初始相位为0°的畸变条纹图样进行校正,利用校正条纹图样与理想条纹图样进行相关指数分析,每组对应1000幅条纹图样。
表1 4组0°方向上初始相位为0°的校正条纹图样的相关指数分析 (每组对应1000幅条纹图样)
Figure BDA0002082621870000081
Figure BDA0002082621870000091
由表可得,利用本发明得到的学习模型对畸变的条纹图样进行校正,可以达到高精度的校正效果,相关指数最大值达到了0.9986。其中相关指数分析,为利用泽尼克系数求解出的二维相位分布进行计算,比较散射相位与校正相位的拟合程度;相关指数应小于等于1,且数值越大,表示拟合程度越高。
由此可知,本发明得到的学习模型能够达到输入畸变的条纹图样,可求解出其对应的散射相位的相位重构系数,进而将畸变的条纹校正恢复。通过本发明能够对散射、像差进行校正,将扭曲变形的条纹结构光进行恢复,保持其原有形状。对0°、60°和120°三个不同方向上初始相位分别为0°、120°、240°的九组条纹结构光均进行校正,可重新获得校正后的宽场图样。
本发明能够对结构光照明显微镜中的条纹结构光进行像差校正,主要优点是校正的速度快,操作简单,并能够保证一定程度的校正准确率。通过将机器学习和自适应光学条纹校正相结合,并应用于结构光照明显微镜中,可以能够提高显微系统的成像深度并优化成像质量,拓展结构光照明显微镜的应用范围。

Claims (1)

1.一种基于机器学习的结构光照明超分辨显微成像方法,其特征在于:
方法采用以下系统,系统沿光路方向依次分布为数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM、第二透镜L2和电荷耦合器件CCD;数字微镜器件DMD放置在第一透镜L1的前焦面,主动调相系统APM位于第二透镜L2的前焦面,电荷耦合器件CCD位于第二透镜L2的后焦面,第一透镜L1的后焦面和第二透镜L2的前焦面重合,第二透镜L2的后焦面作为所述系统的聚焦平面,第一透镜L1和第二透镜L2构成一个4F系统;入射光依次经过数字微镜器件DMD反射、反射镜M反射、第一透镜L1透射、主动调相系统APM反射、第二透镜L2透射后,在聚焦平面上聚焦成像,再由聚焦平面处的电荷耦合器件CCD探测并得到图像;
方法具体包含以下步骤:
1)针对数字微镜器件DMD,设置0°、60°和120°三个条纹图样结构光的条形角度方向,然后在0°、60°和120°三个条纹图样结构光的条形角度方向上分别设置初始相位为0°、120°、240°的九组已知散射相位重构系数的条纹结构光依次加载在数字微镜器件DMD上,由电荷耦合器件CCD探测并收集,利用机器学习方法训练得到九组学习模型,其中具体如下:
学习模型1对应0°方向上初始相位为0°的条纹结构光;
学习模型2对应0°方向上初始相位为120°的条纹结构光;
学习模型3对应0°方向上初始相位为240°的条纹结构光;
学习模型4对应60°方向上初始相位为0°的条纹结构光;
学习模型5对应60°方向上初始相位为120°的条纹结构光;
学习模型6对应60°方向上初始相位为240°的条纹结构光;
学习模型7对应120°方向上初始相位为0°的条纹结构光;
学习模型8对应120°方向上初始相位为120°的条纹结构光;
学习模型9对应120°方向上初始相位为240°的条纹结构光;
所述的步骤1)具体包含以下步骤:
1.1)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM和第二透镜L2,数字微镜器件DMD上的预设形状为条纹图样,条纹图样的条形角度方向为0°、60°和120°三种条形角度方向中的一种,主动调相系统APM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测得到无畸变的条纹图样分布图像;
1.2)入射的平行光依次通过数字微镜器件DMD、反射镜M、第一透镜L1、主动调相系统APM、第二透镜L2;数字微镜器件DMD上的预设形状为已知相位重构系数的条纹图样,条纹图样的条形角度方向为0°、60°和120°三种条形角度方向中的一种,主动调相系统APM上加载零相位,光束经过第二透镜L2后在聚焦平面上聚焦成像,再由电荷耦合器件CCD探测得到畸变的条纹分布图像;
1.3)重复步骤1.2)三次,数字微镜器件DMD上依次加载三种不同初始相位0°、120°、240°的已知相位重构系数的散射相位对应的条纹图样,由电荷耦合器件CCD探测并得到三幅畸变的条纹分布图像;
1.4)重复步骤1.1)~1.3)三次,针对0°、60°和120°三种条形角度方向分别进行加载,共计有九组校正条纹结构光进行加载,并建立九组校正条纹结构光和对应的畸变的条纹分布图像建立映射关系,组成训练数据集;
1.5)采用机器学习算法,对步骤1.4)获得的训练数据集构建学习模型并进行训练;
2)针对数字微镜器件DMD,设置0°、60°和120°三个条纹图样结构光的条形角度方向,然后在0°、60°和120°三个条纹图样结构光的条形角度方向上加载相位为0°、120°、240°的九组条纹结构光,并在此相位基础上分别增加未知散射相位重构系数的散射相位,形成九组散射条纹结构光,散射条纹结构光依次加载在数字微镜器件DMD上,由电荷耦合器件CCD探测并收集;利用训练后的九组学习模型对九组散射条纹结构光依次进行处理,得到九组散射条纹结构光对应的散射相位重构系数,并转换得到各自对应的校正相位;
3)针对数字微镜器件DMD,在0°、60°和120°三个条纹图样结构光的条形角度方向上且在原有未知相位基础上分别增加相位为0°、120°、240°的九组未知散射相位重构系数的条纹结构光依次加载在数字微镜器件DMD上,每个条纹结构光加载在数字微镜器件DMD上时将步骤2)中对应获得的校正相位也同时加载在主动调相系统APM上,分别形成九组校正条纹结构光,将九组校正条纹结构光照射到待测生物样本中,经待测生物样本透射后由电荷耦合器件CCD探测并收集;
4)将收集获得的图样经频谱分离后融合处理实现频谱拼接,获得拓展频谱,对拓展频谱进行傅里叶逆变换得到结构光照明系统的校正超分辨成像;
所述的学习模型是由n个卷积层和m个全连接层依次连接构成,n个卷积层均在前,m个全连接层均在后,n,m均为整数;学习模型采用均方误差作为目标函数,并利用随机梯度下降算法将均方误差最小化;
最终得到的学习模型能够达到输入畸变的条纹图样,可求解出其对应的散射相位的相位重构系数,进而将畸变的条纹校正恢复。
CN201910477092.5A 2019-06-03 2019-06-03 基于机器学习的结构光照明超分辨显微成像方法 Active CN110221421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910477092.5A CN110221421B (zh) 2019-06-03 2019-06-03 基于机器学习的结构光照明超分辨显微成像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910477092.5A CN110221421B (zh) 2019-06-03 2019-06-03 基于机器学习的结构光照明超分辨显微成像方法

Publications (2)

Publication Number Publication Date
CN110221421A CN110221421A (zh) 2019-09-10
CN110221421B true CN110221421B (zh) 2020-10-16

Family

ID=67819192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910477092.5A Active CN110221421B (zh) 2019-06-03 2019-06-03 基于机器学习的结构光照明超分辨显微成像方法

Country Status (1)

Country Link
CN (1) CN110221421B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111123496B (zh) * 2020-01-19 2020-11-06 西安交通大学 基于希尔伯特变换的结构照明快速三维彩色显微成像方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5640214A (en) * 1994-09-30 1997-06-17 Texas Instruments Incorporated Printer and display systems with bidirectional light collection structures
EP1220538B1 (en) * 2000-12-29 2007-02-07 Texas Instruments Incorporated Optical engine for front or rear screen SLM display systems
CN102540446B (zh) * 2011-12-28 2014-03-26 中国科学院西安光学精密机械研究所 一种基于数字微镜器件的高速结构照明光学显微系统及方法
KR102170880B1 (ko) * 2016-03-23 2020-10-28 한국전자기술연구원 Dmd 마이크로 미러의 위상을 개별적으로 제어하기 위한 위상 변조 방법 및 이를 적용한 홀로그래픽 복원 장치
CN106873152B (zh) * 2017-01-11 2019-01-25 浙江大学 一种基于机器学习的高速像差校正方法
CN108982452B (zh) * 2018-07-26 2021-02-02 深圳大学 基于双螺旋点扩散函数的多焦点扫描三维成像方法及系统
CN109060124B (zh) * 2018-08-10 2023-10-17 中南民族大学 基于数字微镜的通信光束轨道角动量模式的识别系统

Also Published As

Publication number Publication date
CN110221421A (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN109528161B (zh) 一种基于机器学习的高速高分辨扫描显微成像系统与方法
CN110262026B (zh) 孔径扫描傅立叶重叠关联成像
CN110675451B (zh) 基于相空间光学的数字自适应校正方法及系统
CN104796609B (zh) 基于最优哈达玛编码的大视场高分辨率显微成像方法
CN110378473B (zh) 基于深度学习和随机图案的相位层析方法及装置
WO2014048083A1 (zh) 一种共焦扫描成像系统及其像差控制方法
CN109685745B (zh) 一种基于深度学习的相位显微成像方法
CN111121675B (zh) 一种用于微球表面显微干涉测量的视场扩展方法
CN111579097B (zh) 基于神经网络的高精度光学散射补偿方法
CN108196357A (zh) 一种多角度照明光源及基于此光源的傅立叶层叠成像系统
CN110378981A (zh) 基于神经网络的傅里叶叠层显微镜光瞳恢复方法
CN110221421B (zh) 基于机器学习的结构光照明超分辨显微成像方法
CN111580283A (zh) 一种基于相位恢复的单透镜计算成像方法
CN114241072B (zh) 一种叠层成像重建方法及系统
Zunino et al. Reconstructing the image scanning microscopy dataset: an inverse problem
Konda Multi-Aperture Fourier Ptychographic Microscopy: Development of a high-speed gigapixel coherent computational microscope
CN100504513C (zh) 双位相复合超分辨光瞳滤波方法与装置
CN111077085B (zh) 基于深度学习的无波前探测器自适应点扫描成像方法
Xie et al. Active sparse aperture imaging using independent transmitter modulation with improved incoherent Fourier ptychographic algorithm
CN116841028A (zh) 一种基于镜面干涉增强的多焦点宽场超分辨显微成像方法及装置
CN111397506A (zh) 一种全息干涉仪的全自动相位误差修正方法与系统
CN115131201A (zh) 基于叠层重建的远场漫反射合成孔径超分辨成像方法
CN115047619A (zh) 一种相位型空间光调制器的快速原位校准方法及系统
CN110132901B (zh) 合成孔径穿散射介质成像的系统和方法
EP4260026A1 (en) Totagraphy: coherent diffractive/digital information reconstruction by iterative phase recovery using special masks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant