CN111626997B - 基于深度学习的高速单图直接探测光学畸变相位的方法 - Google Patents
基于深度学习的高速单图直接探测光学畸变相位的方法 Download PDFInfo
- Publication number
- CN111626997B CN111626997B CN202010435457.0A CN202010435457A CN111626997B CN 111626997 B CN111626997 B CN 111626997B CN 202010435457 A CN202010435457 A CN 202010435457A CN 111626997 B CN111626997 B CN 111626997B
- Authority
- CN
- China
- Prior art keywords
- phase
- optical distortion
- deep learning
- optical
- distortion phase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing Of Optical Devices Or Fibers (AREA)
Abstract
本发明公开了一种基于深度学习的高速单图直接探测光学畸变相位的方法。利用计算机生成随机的光学畸变相位集合;将相位畸变集合依次加载到空间光调制器后,在波前传感器处得到畸变光斑点阵图样集合;将相位畸变集合与光斑点阵图样集合输入卷积神经网络的深度学习模型中训练,获得模型结果;针对待测光学畸变相位,在波前传感器处获取单张畸变光斑点阵图样;将畸变光斑点阵图样输入经训练的预测模型可直接输出预测的光学畸变相位。本发明简化了光学畸变相位的直接波前探测的算法流程,提升了探测速度与探测性能,在使用直接波前探测的领域具有应用前景。
Description
技术领域
本发明属于光学畸变相位探测的方法,特别涉及一种基于深度学习的高速单图直接探测光学畸变相位的方法,可应用于波前传感器为载体的高速光学畸变相位探测,例如自适应光学成像等领域。
背景技术
在光学系统中,由于光学元器件的生产精度误差以及系统搭建偏差等原因,常会引入光学畸变相位。与此同时,当使用光学系统进行成像时,光束所经过的物质媒介常常具有折射率分布不均匀的特性,例如天文学成像中的大气湍流,或是生物组织的折射率分布各向异性以及介质间的折射率失配等。这些折射率的不均匀分布也会在系统成像中引入光学畸变相位,随着成像距离或深度的增加,光学畸变相位不断累积,导致成像结果的信噪比和分辨率降低,成像质量急剧下降,大大限制了有效成像范围。因此,高速、准确地探测光学畸变相位并针对性进行校正,成为了提升光学系统成像性能的重要策略之一。
天文学成像中常使用自适应光学技术,用于实时测量大气湍流所引入的光学畸变相位。常用的光学畸变相位探测方法可大致分为直接波前探测和间接波前探测两种。由于直接波前探测方法具有较高的探测速度,因此常用于实时成像中的光学畸变相位探测。其代表性探测方式如利用夏克-哈特曼(Shack-Hartmann)波前传感器,获取存在光学畸变相位情况下的畸变光斑点阵,并参考无畸变的光斑点阵图样,对点阵进行分块。利用算法计算出每一个光斑质心的位置并确定其偏移量,随后将其代入波前重建算法中,获得泽尼克(Zernike)多项式系数。之后将系数代入泽尼克多项式,计算获得探测的光学畸变相位。
虽然基于波前传感器的直接波前探测方法相比间接波前探测方法具有较为明显的速度优势,但是其复杂的算法流程在一定程度上限制了相位探测速度的提升。除此之外,该方法仅利用光斑点阵的位置偏移信息进行相位计算,没有有效利用丰富的光强分布信息。因此,以波前传感器为载体的光学畸变相位探测方法具有较大的提升空间。
发明内容
为了解决背景技术中存在的问题,本发明提供了一种基于深度学习的高速单图直接探测光学畸变相位的方法。本发明结合了深度学习理论与波前传感器,训练所得预测模型可通过波前传感器获取的单张光强分布图样直接输出预测的光学畸变相位,无须对图样进行分块与质心计算,无须计算泽尼克多项式系数,极大地简化了算法流程。通过神经网络提高了探测速度与探测性能。
为了实现上述目的,如图1所示,本发明采用的技术方法包括以下步骤:
包含n项系数的系数组A具体表达为A=[a1,a2,a3,…,an],系数组A代入泽尼克多项式后的表达式为其中,ax表示第x项系数,x=1,2,3,...,n,Zx(r,θ)表示泽尼克多项式的第x项基函数,r表示光学相位中每一点的径向距离,θ表示光学相位中每一点的方位角。
5)不断重复步骤1)至步骤4)进行k次,每次重复随机生成不同的系数组A和随机矩阵,获得一系列的光斑点阵图样Ii与其对应的光学畸变相位作光斑点阵图样Ii表示第i次重复处理获得的光斑点阵图样,为深度学习模型训练的输入-输出数据对,具体是以光斑点阵图样Ii作为输入,光学畸变相位作为输出,将输入-输出数据对输入到构建的深度学习模型中进行训练,获得针对光学畸变相位测量的深度学习模型中的最优模型参数,完成深度学习模型的训练,其中i=1,2,3……k,k为训练所用的输入-输出数据对的总数量,即重复步骤1)至步骤4)的处理的总数量;
6)在需要探测光学畸变相位的光学系统中放置波前传感器,入射光经过完整光学系统传播后在波前传感器上形成待测光斑点阵图样I′;
7)将步骤6)获得的待测光斑点阵图样I′输入到步骤5)获得的已训练的深度学习模型中,深度学习模型直接输出预测的光学畸变相位。
所述的深度学习模型采用卷积神经网络。
所述的空间光调制器、可变形反射镜均为由数个液晶单元或驱动器构成的器件。
所述步骤1)中,生成的系数组A中的系数为实数,系数组A中的项数n根据所预测光学畸变相位情况调整而调整,具体实施中系数组A中的项数n根据所预测光学畸变相位的复杂程度的增加而增加。
所述步骤2)中的随机矩阵为极值在[-π,π]范围内的实数矩阵,行列数m根据所预测光学畸变相位情况调整而调整,具体实施中其行列数m根据所预测光学畸变相位的复杂程度的增加而增加。
所述步骤4)与步骤6)中的波前传感器包括但不限于夏克-哈特曼波前传感器。
所述步骤5)中的深度学习模型采用全卷积网络(fully convolutionalnetwork),其中的每一个卷积层均采用残差块(residual block)进行替换,每个残差块均由卷积核尺寸分别为3×3、5×5、7×7与9×9的四种不同卷积层构成,对输入的畸变光斑点阵图样进行计算处理。
方法采用以下光路结构,包括反射镜、空间光调制器、第一透镜、第二透镜和波前传感器;光学畸变相位入射到反射镜经反射后再入射到空间光调制器,经空间光调制器反射调制后依次经第一透镜、第二透镜后入射到波前传感器。
本发明针对光学畸变相位的高速、便捷的探测需求,通过计算机随机生成光学畸变相位获得足量的用于深度学习训练的相位畸变样本,并利用具备波前传感器的光学系统获取每个光学畸变相位对应的畸变光斑点阵图样。通过将全卷积神经网络与残差网络相结合,引入多个不同尺寸的卷积核对图像信息进行计算分析,训练获得一个畸变光斑点阵图样与光学畸变相位之间的非线性映射关系,即训练所得的深度学习模型。向模型输入任意光学畸变相位造成的波前传感器畸变光斑点阵图样,能够直接输出预测的相位畸变。
在常用的直接波前探测方法中,以夏克-哈特曼波前传感器使用模式法进行计算为例:首先,需要在光学系统中放置波前传感器,在无引入光学畸变相位的情况下获取无畸变的光斑点阵图样;通过质心寻找算法对无畸变的光斑点阵图样中的各个光斑定位质心坐标并进行划分;引入光学畸变相位后获取畸变的光斑点阵图样,并以无畸变情况下质心定位的区域对畸变光斑点阵图样进行划分;通过质心定位算法确定畸变光斑点阵图样的各个光斑质心坐标;通过对比无畸变光斑点阵图样,计算质心偏移量,代入波前重建算法中,获得光学畸变相位的泽尼克多项式系数;将泽尼克多项式系数代入泽尼克多项式中获得光学畸变相位的整体重建结果。
而本发明所述的基于深度学习的高速单图直接探测光学畸变相位的方法中,将上述过程简化,通过将深度学习中的全卷积神经网络与残差网络相结合,采用4个不同尺寸的卷积核对光斑点阵图样进行信息提取,取代了传统的模式法的多步计算过程。可将单张由波前传感器获取的畸变光斑点阵图样输入深度学习模型,直接输出预测的光学畸变相位,免去了质心定位和区域划分的计算过程,免去了公式计算泽尼克多项式系数后再构建相位的过程,极大地简化了光学畸变相位的探测与构建。
本发明的有益效果是:
在直接波前探测方法的基础上,本发明提出的方法利用深度学习神经网络建立了光斑点阵图样与光学畸变相位的直接映射,可获得相位畸变探测快且精确度高的结果。本发明方法能够针对不同复杂程度的光学畸变相位进行相对应的训练数据集构建,能够兼容基于模式法的波前传感器,且拓展了光学畸变相位的探测范围,能够探测模式法波前传感器无法精确探测的相位畸变。
与基于机器学习的波前传感技术相比,本方法将深度学习中的全卷积神经网络与残差网络相结合,引入不同尺寸的卷积核进行残差信息分析,能够直接从输入的光斑点阵图样计算出所需预测的光学畸变相位,无需通过预测泽尼克多项式系数再去计算构建相位畸变。本方法具有更便捷的光学畸变相位探测流程,适合进行连续的探测工作。
本发明的实施将为光学畸变相位提供一种新的直接探测方法,并提升了直接波前探测的相位畸变探测能力,为实时的光学畸变相位探测提供了新的技术支撑,在自适应光学领域中具有重要的应用价值。
附图说明
图1为本发明方法的流程图;
图2为本发明在实施例中应用的光学系统示意图。其中1为用于比较本发明所述方法与模式法所引入的光学畸变相位;2为反射镜;3为空间光调制器;4-5为透镜,6为波前传感器;
图3为在实施例中用于比较本发明所述方法与模式法所引入的光学畸变相位及其对应的畸变光斑点阵;
图4为在实施例中两种方法的光学畸变相位探测结果对比图。
具体实施方式
以下基于深度学习的高速单图直接探测光学畸变相位的实施例可以更详细的说明本发明,但不以任何形式限制本发明。
下面结合附图和实施例对本发明作进一步说明,其具体过程如下:
如图2所示,具体实施采用以下光路结构,包括反射镜2、空间光调制器3、第一透镜4、第二透镜5和波前传感器6;光学畸变相位1入射到反射镜2经反射后再入射到空间光调制器3,经空间光调制器3反射调制后依次经第一透镜4、第二透镜5后入射到波前传感器6。
举例说明所生成36项系数的范围具体为:第1项系数对整体相位分布无贡献,置零;第2-5项系数范围为[-0.8π,0.8π];第6项系数范围为[0.5π,0.5π];第7-12项系数范围为[-0.3π,0.3π];第13项系数范围为[-0.5π,0.5π];第14-22项系数范围为[-0.2π,0.2π];第23-27项系数范围为[-0.4π,0.4π];第28-36项系数范围为[-0.1π,0.1π]。
5)重复步骤1)至步骤4),获得的一系列光斑点阵图样与对应的光学畸变相位,作为深度学习训练的输入-输出数据对,输入到构建的卷积神经网络中进行训练,获得针对此类光学畸变相位测量的最优模型参数,完成深度学习模型的训练,其中实施例中模型训练所用数据对数量为:训练集20286对,测试集2254对,验证集1024对。
6)在图2所示的光学系统中引入光学畸变相位,入射光经过光学系统传播后在夏克-哈特曼波前传感器上形成待测光斑点阵图样I′;
7)将步骤6)获得的畸变光斑点阵图样I′输入到步骤5)获得的已训练的深度学习模型中,模型直接输出预测的光学畸变相位。
图3为用于比较本发明所述方法与基于模式法的波前探测方法所引入的光学畸变相位与相应的畸变光斑点阵图样。所引入光学畸变相位不属于深度学习模型训练的数据集。图3(a)为所引入的光学畸变相位;图3(b)为波前传感器获取的畸变光斑点阵图样。
图4展示了本发明所述方法与模式法对于光学畸变相位探测误差的比较。图4(a)基于模式法的波前探测方法所得光学畸变相位;图4(b)为本发明所述方法预测所得光学畸变相位;图4(c)为基于模式法的波前探测方法的探测相位畸变的残差;图4(d)为本发明所述方法预测相位畸变的残差。
在本实施例中对于光学畸变相位的探测,基于模式法的波前探测方法对前36项泽尼克多项式系数进行预测并相位构建的耗时为0.1839s,相位畸变探测残差为1.429rad。本发明所述方法的耗时为0.06905s,相位畸变探测残差为0.1409rad。本发明所述方法的探测时间比模式法短62.45%,相位探测残差比模式法低90.14%。
本发明应用深度学习方法建立起波前传感器畸变光斑点阵图样与光学畸变相位之间的非线性映射关系,可以直接从光斑点阵图样构建出光学畸变相位。通过调整模型训练数据集可以对不同复杂程度的光学畸变相位进行训练学习,能够兼容基于波前传感器的光学系统,并且具备更高速、更便捷、更高精度的光学畸变相位探测性能,为光学畸变相位探测提供了一种新的技术支撑。
Claims (6)
1.一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于包含以下步骤:
5)不断重复步骤1)至步骤4)进行k次,获得一系列的光斑点阵图样Ii与其对应的光学畸变相位作光斑点阵图样Ii表示第i次重复处理获得的光斑点阵图样,为深度学习模型训练的输入-输出数据对,将输入-输出数据对输入到构建的深度学习模型中进行训练,获得针对光学畸变相位测量的深度学习模型中的最优模型参数,完成深度学习模型的训练;
6)在需要探测光学畸变相位的光学系统中放置波前传感器,入射光经过光学系统传播后在波前传感器上形成待测光斑点阵图样I′;
7)将步骤6)获得的待测光斑点阵图样I′输入到步骤5)获得的已训练的深度学习模型中,深度学习模型直接输出预测的光学畸变相位。
2.根据权利要求1所述的一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于:所述步骤1)中,生成的系数组A中的系数为实数,系数组A中的项数n根据所预测光学畸变相位情况调整而调整。
3.根据权利要求1所述的一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于:所述步骤2)中的随机矩阵为极值在[-π,π]范围内的实数矩阵,行列数m根据所预测光学畸变相位情况调整而调整。
4.根据权利要求1所述的一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于:所述步骤4)与步骤6)中的波前传感器包括但不限于夏克-哈特曼波前传感器。
5.根据权利要求1所述的一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于:所述步骤5)中的深度学习模型采用全卷积网络,其中的每一个卷积层均采用残差块进行替换,每个残差块均由卷积核尺寸分别为3×3、5×5、7×7与9×9的四种不同卷积层构成,对输入的畸变光斑点阵图样进行计算处理。
6.根据权利要求1所述的一种基于深度学习的高速单图直接探测光学畸变相位的方法,其特征在于:方法采用以下光路结构,包括反射镜(2)、空间光调制器(3)、第一透镜(4)、第二透镜(5)和波前传感器(6);光学畸变相位(1)入射到反射镜(2)经反射后再入射到空间光调制器(3),经空间光调制器(3)反射调制后依次经第一透镜(4)、第二透镜(5)后入射到波前传感器(6)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010435457.0A CN111626997B (zh) | 2020-05-21 | 2020-05-21 | 基于深度学习的高速单图直接探测光学畸变相位的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010435457.0A CN111626997B (zh) | 2020-05-21 | 2020-05-21 | 基于深度学习的高速单图直接探测光学畸变相位的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111626997A CN111626997A (zh) | 2020-09-04 |
CN111626997B true CN111626997B (zh) | 2022-04-19 |
Family
ID=72271044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010435457.0A Active CN111626997B (zh) | 2020-05-21 | 2020-05-21 | 基于深度学习的高速单图直接探测光学畸变相位的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111626997B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112197876A (zh) * | 2020-09-27 | 2021-01-08 | 中国科学院光电技术研究所 | 基于四象限离散相位调制的单远场型深度学习波前复原方法 |
CN112179504A (zh) * | 2020-09-27 | 2021-01-05 | 中国科学院光电技术研究所 | 一种基于光栅调制的单帧焦面光强图像深度学习相位差法 |
CN113654670B (zh) * | 2021-08-12 | 2022-07-29 | 中国科学院光电技术研究所 | 一种基于神经网络的缺光子孔径质心位移估计方法 |
CN114004342B (zh) * | 2021-11-29 | 2023-05-30 | 中国科学院光电技术研究所 | 一种基于lstm网络的激光通信系统畸变波前预测方法 |
CN117451189A (zh) * | 2022-07-18 | 2024-01-26 | 中国人民解放军国防科技大学 | 基于哈特曼探测器的波前探测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014196450A1 (ja) * | 2013-06-06 | 2014-12-11 | 浜松ホトニクス株式会社 | 補償光学システムの対応関係特定方法、波面歪み補償方法、補償光学システム、および補償光学システム用プログラムを記憶する記録媒体 |
CN110389119A (zh) * | 2019-07-19 | 2019-10-29 | 浙江大学 | 基于机器学习的快速自适应光学扫描显微成像系统与方法 |
-
2020
- 2020-05-21 CN CN202010435457.0A patent/CN111626997B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014196450A1 (ja) * | 2013-06-06 | 2014-12-11 | 浜松ホトニクス株式会社 | 補償光学システムの対応関係特定方法、波面歪み補償方法、補償光学システム、および補償光学システム用プログラムを記憶する記録媒体 |
CN110389119A (zh) * | 2019-07-19 | 2019-10-29 | 浙江大学 | 基于机器学习的快速自适应光学扫描显微成像系统与方法 |
Non-Patent Citations (1)
Title |
---|
无波前传感器的自适应光学校正;吴加丽等;《激光与光电子学进展》;20171017(第03期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111626997A (zh) | 2020-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626997B (zh) | 基于深度学习的高速单图直接探测光学畸变相位的方法 | |
CN110346340B (zh) | 基于波前传感器的机器学习快速像差测量系统与方法 | |
CN111579097B (zh) | 基于神经网络的高精度光学散射补偿方法 | |
CN110389119B (zh) | 基于机器学习的快速自适应光学扫描显微成像系统与方法 | |
CN106873152B (zh) | 一种基于机器学习的高速像差校正方法 | |
CN1987547B (zh) | 一种利用望远镜次镜自动校正望远镜像差的装置 | |
CN102494785B (zh) | 基于Hadamard矩阵多通道方法的自适应光学系统传递矩阵测量装置及方法 | |
CN110646100B (zh) | 一种基于bp神经网络的倍频波前探测方法 | |
CN102288305A (zh) | 一种自适应光学系统波前传感器及其探测方法 | |
Dzyuba | Optical phase retrieval with the image of intensity in the focal plane based on the convolutional neural networks | |
JP2006234389A (ja) | 光位相分布測定方法 | |
Zepp et al. | Optimization of the holographic wavefront sensor for open-loop adaptive optics under realistic turbulence. Part I: simulations | |
CN114076670A (zh) | 一种拼接主镜共相误差检测方法、系统及储存介质 | |
Zhao et al. | Centroid-predicted deep neural network in Shack-Hartmann sensors | |
CN113960826A (zh) | 一种抽运激光的光束整形方法及装置 | |
CN117760571B (zh) | 基于哈特曼探测器的无监督学习波前探测方法 | |
Gavril'eva et al. | Approaches to cross-talk noise reduction in modal holographic wavefront sensors | |
CN113805335B (zh) | 降低分光棱镜色差对相位差法波前探测精度影响的方法 | |
CN115047619B (zh) | 一种相位型空间光调制器的快速原位校准方法及系统 | |
CN113405676B (zh) | 空间望远镜相位差波前探测中微振动影响的修正方法 | |
CN115471428A (zh) | 一种基于全光衍射神经网络的共相误差校正方法 | |
US20110134415A1 (en) | Method for correcting a wave front analyser and analyser implementing said method | |
Gu et al. | Shack–Hartmann wavefront sensor based on Kalman filter | |
Li et al. | Research on co-phasing detection of segmented mirror based on convolutioned neural networks | |
CN117824851A (zh) | 对子孔径数据进行筛选的哈特曼波前传感器模式复原方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |