CN211264359U - 一种基于深度学习的光学像差畸变校正系统 - Google Patents

一种基于深度学习的光学像差畸变校正系统 Download PDF

Info

Publication number
CN211264359U
CN211264359U CN201921867716.6U CN201921867716U CN211264359U CN 211264359 U CN211264359 U CN 211264359U CN 201921867716 U CN201921867716 U CN 201921867716U CN 211264359 U CN211264359 U CN 211264359U
Authority
CN
China
Prior art keywords
semi
neural network
mirror
ccd
correction system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201921867716.6U
Other languages
English (en)
Inventor
刘国栋
胡流森
吴小龑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Fluid Physics of CAEP
Original Assignee
Institute of Fluid Physics of CAEP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Fluid Physics of CAEP filed Critical Institute of Fluid Physics of CAEP
Priority to CN201921867716.6U priority Critical patent/CN211264359U/zh
Application granted granted Critical
Publication of CN211264359U publication Critical patent/CN211264359U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mechanical Light Control Or Optical Switches (AREA)

Abstract

本实用新型提供了一种基于深度学习的光学像差畸变校正系统,光线通过加载目标后的空间光调制器进入湍流池,产生相位畸变,湍流池的出射光线经过一个半透半反镜分为两路,其中一路被成像CCD采集并作为神经网络的输入,另一路经过另一个半透半反镜后照射到变形镜上,对成像进行校正,校正后的光线再次经过所述的另一个半透半反镜后成像至CCD;所述的变形镜受神经网络模块的输出控制。本实用新型不依赖光学信标和Hartmann波前传感器,实现波前像差的探测与重构。

Description

一种基于深度学习的光学像差畸变校正系统
技术领域
本发明涉及光学技术领域,尤其涉及一种光学像差畸变校正系统。
背景技术
大气中的湍流效应会导致光在大气中传输时出现光强起伏、光斑漂移等。这些效应会导致激光远场传输时激光传输能量集中度下降,导致光学成像系统分辨力下降。通常采用自适应光学技术提高激光系统的光束质量,改善光学成像系统的分辨能力。
自适应光学系统通常包含波前传感器、波前控制器和波前校正器。波前传感器的存在使得整个自适应光学系统结构复杂,成本昂贵,难以被广泛普及。
发明内容
为了克服现有技术的不足,本发明提供一种基于深度学习的光学像差畸变校正方法及系统,利用光学系统对经过大气湍流后的目标直接成像,通过深度神经网络对目标成像进行特征分析,计算并提取大气湍流造成的畸变相位信息,用于对大气湍流造成的光学波前像差畸变校正。
本发明解决其技术问题所采用的技术方案是:一种基于深度学习的光学像差畸变校正系统,包括变形镜、半透半反镜、CCD和神经网络模块,光线通过加载目标后的空间光调制器进入湍流池,产生相位畸变,湍流池的出射光线经过一个半透半反镜分为两路,其中一路被成像CCD采集并作为神经网络的输入,另一路经过另一个半透半反镜后照射到变形镜上,对成像进行校正,校正后的光线再次经过所述的另一个半透半反镜后成像至CCD;所述的变形镜受神经网络模块的输出控制。
所述的空间光调制器为强度型空间光调制器,用于加载目标图像。
所述的空间光调制器在进入湍流池之前通过一个半透半反镜,接受外来的照明光线。
所述的另一个半透半反镜和CCD之间设置有凸透镜,对光线进行汇聚。
本发明的有益效果是:通过光学系统对目标直接成像,实现波前传感与校正。本发明可以不依赖光学信标和Hartmann波前传感器,通过建立面向大气湍流这一真实物理过程的深度神经网络,最终实现波前像差的探测与重构。
附图说明
图1是本发明的装置结构示意图
图中,1-强度型空间光调制器(加载目标图像),2-半透半反镜,3-湍流池,4-半透半反镜,5-成像CCD,6-半透半反镜,7-变形镜,8-凸透镜(焦距f),9-CCD,10-神经网络。
具体实施方式
本发明的技术思路包括如下步骤:
S1,建立基于深度学习训练目标图像和像差畸变的卷积神经网络模型;
S2,卷积神经网络模型构建完成后,将原始目标成像图和经过湍流畸变后的目标成像图作为卷积神经网络模型输入,将大气湍流相位畸变作为卷积神经网络模型输出;
S3,卷积神经网络模型输出的大气湍流相位畸变信息经计算机处理后传递给波前校正器,使波前校正器产生与待校正波前共轭的变形量,以校正大气湍流畸变所导致的波前的像差,完成待校正波前的校正。
所述的卷积神经网络的训练集采用主控计算机利用液晶相位屏加载设定阶数的低价Zernike系数(即前1~9项Zernike项)生成的用于描述Kolmogorov湍流谱的相位畸变作为网络输出,并将相位畸变加载到目标成像光路中,得到目标的模拟湍流畸变成像图和原始的目标成像图作为输入;
所述的卷积神经网络在训练时采用随机梯度下降算法,通过降低损失函数的函数值来学习建立后的所述卷积神经网络的参数;损失函数为:
Figure BDA0002256978140000021
式中,Nx和Ny分别表示x和y方向的像素数,Yij表示实际加载的相位屏在坐标(i,j)处的像素值,
Figure BDA0002256978140000022
表示网络模型输出的相位屏在坐标为(i,j)处的像素值。由于网络处理的是灰度图像,所以像素值范围均为[0,255]。
作为本发明的进一步方案:所述卷积神经网络模型包括一个编码器和一个解码器,编码器主要由四次下采样构成,解码器主要由四次上采样构成。编码器和解码器之间设计了一个桥接层。上采样通过转置卷积(Transpose Convolution)实现。中间层经过一次上采样操作,尺寸扩大为前一层的一倍,同时控制其通道数减少一半。对应的下采样层与上采用层之间使用残差连接(Skip Connection),将下采样过程中的部分中间层复制到上采样层中,参与上采样过程。解码器的输出经过一次卷积操作后,得到最终的输出图像。神经网络使用均方误差(Mean-Square Error,MSE)作为Loss函数,并用Adam优化器进行优化。网络中所有卷积核大小均为3×3,池化层(Max pool)的池化窗口大小均为2×2。
为了实现上述思路,本发明提供一种基于深度学习的光学像差畸变校正系统,包括变形镜、半透半反镜、CCD和神经网络模块,如图1所示。图中光线通过加载目标后的空间光调制器1进入湍流池3,产生相位畸变,湍流池3的出射光线经过一个半透半反镜4分为两路,其中一路被成像CCD5采集并作为神经网络模块10的输入,另一路经过另一个半透半反镜6后照射到变形镜7上,对成像进行校正,校正后的光线再次经过所述的另一个半透半反镜6后成像至CCD9;所述的变形镜7受神经网络模块10的输出控制。
所述的空间光调制器1为强度型空间光调制器,用于加载目标图像。
所述的空间光调制器1在进入湍流池3之前通过一个半透半反镜2,接受外来的照明光线。
所述的另一个半透半反镜6和CCD9之间设置有凸透镜8,对光线进行汇聚。
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。(如图1所示)
如图1所示进行搭建光路,一路光经过加载目标后的空间光调制器1和蓝绿激光照明光一起进入湍流池3,产生相位畸变,湍流池3的出射光线经过一个半透半反镜4分为两路,其中一路被成像CCD5采集并作为神经网络模块10的输入,另一路经过另一个半透半反镜6后照射到变形镜7上,对成像进行校正,校正后的光线再次经过所述的另一个半透半反镜6后成像至CCD9;所述的变形镜7受神经网络模块10的输出控制。上述的光路中强度型空间光调制器是用于将加载模拟湍流相差信息的成像信息,该信息将作为神经网络的训练集使用。所述变形镜为压电可变形反射镜,型号为DMP40/M-P01,包含40个促动器,10mm光瞳直径的反射镜,有保护层的银膜。CCD选用acA2040-90μm相机,共2048×2048像素,CMV4000传感器,像元尺寸5.5μm×5.5μm,帧频90fps。
实施例中的神经网络为卷积神经网络,包括一个编码器和一个解码器,编码器主要由四次下采样构成,解码器主要由四次上采样构成。编码器和解码器之间设计了一个桥接层。上采样通过转置卷积(Transpose Convolution)实现。中间层经过一次上采样操作,尺寸扩大为前一层的一倍,同时控制其通道数减少一半。对应的下采样层与上采用层之间使用残差连接(Skip Connection),将下采样过程中的部分中间层复制到上采样层中,参与上采样过程。解码器的输出经过一次卷积操作后,得到最终的输出图像。神经网络使用均方误差(Mean-Square Error,MSE)作为Loss函数,并用Adam优化器进行优化。网络中所有卷积核大小均为3×3,池化层(Max pool)的池化窗口大小均为2×2。该卷积神经网络在进行训练时采用随机梯度下降算法(SGD),在计算下降最快的方向时为了提高迭代速度,采用随机选一个数据进行计算,而不是扫描全部训练数据集,具体如下:
Figure BDA0002256978140000041
上式中,h为卷积神经网络当前参数下计算得到的损失函数值,x为神经网络训练集的输入向量,y为卷积神经网络训练集的输出值,θ为该神经网络的参数。
如前所述,该卷积神经网络的损失函数由如下方式定义:
Figure BDA0002256978140000042
式中,Nx和Ny分别表示x和y方向的像素数,Yij表示实际加载的相位屏在坐标(i,j)处的像素值,
Figure BDA0002256978140000043
表示网络模型输出的相位屏在坐标为(i,j)处的像素值。由于网络处理的是灰度图像,所以像素值范围均为[0,255]。

Claims (4)

1.一种基于深度学习的光学像差畸变校正系统,包括变形镜、半透半反镜、CCD和神经网络模块,其特征在于:光线通过加载目标后的空间光调制器进入湍流池,产生相位畸变,湍流池的出射光线经过一个半透半反镜分为两路,其中一路被成像CCD采集并作为神经网络的输入,另一路经过另一个半透半反镜后照射到变形镜上,对成像进行校正,校正后的光线再次经过所述的另一个半透半反镜后成像至CCD;所述的变形镜受神经网络模块的输出控制。
2.根据权利要求1所述的基于深度学习的光学像差畸变校正系统,其特征在于:所述的空间光调制器为强度型空间光调制器,用于加载目标图像。
3.根据权利要求1所述的基于深度学习的光学像差畸变校正系统,其特征在于:所述的空间光调制器在进入湍流池之前通过一个半透半反镜,接受外来的照明光线。
4.根据权利要求1所述的基于深度学习的光学像差畸变校正系统,其特征在于:所述的另一个半透半反镜和CCD之间设置有凸透镜,对光线进行汇聚。
CN201921867716.6U 2019-11-01 2019-11-01 一种基于深度学习的光学像差畸变校正系统 Active CN211264359U (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201921867716.6U CN211264359U (zh) 2019-11-01 2019-11-01 一种基于深度学习的光学像差畸变校正系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201921867716.6U CN211264359U (zh) 2019-11-01 2019-11-01 一种基于深度学习的光学像差畸变校正系统

Publications (1)

Publication Number Publication Date
CN211264359U true CN211264359U (zh) 2020-08-14

Family

ID=71954768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201921867716.6U Active CN211264359U (zh) 2019-11-01 2019-11-01 一种基于深度学习的光学像差畸变校正系统

Country Status (1)

Country Link
CN (1) CN211264359U (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561831A (zh) * 2020-12-24 2021-03-26 中国计量大学 一种基于神经网络的畸变校正方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561831A (zh) * 2020-12-24 2021-03-26 中国计量大学 一种基于神经网络的畸变校正方法

Similar Documents

Publication Publication Date Title
CN110648298A (zh) 一种基于深度学习的光学像差畸变校正方法及系统
CN109031654B (zh) 一种基于卷积神经网络的自适应光学校正方法及系统
Tseng et al. Differentiable compound optics and processing pipeline optimization for end-to-end camera design
CN110287846A (zh) 一种基于注意力机制的人脸关键点检测方法
US20200065942A1 (en) Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
JP7258604B2 (ja) 画像処理方法、画像処理装置、プログラム、および学習済みモデルの製造方法
CN111507049B (zh) 一种镜头像差仿真及优化方法
CN114897752B (zh) 一种基于深度学习的单透镜大景深计算成像系统及方法
CN113077540B (zh) 一种端到端成像设备设计方法和装置
CN112561831A (zh) 一种基于神经网络的畸变校正方法
CN112116539A (zh) 一种基于深度学习的光学像差模糊去除方法
JP2020036310A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
CN211264359U (zh) 一种基于深度学习的光学像差畸变校正系统
CN117011194B (zh) 一种基于多尺度双通道注意力网络的低光图像增强方法
CN116456183B (zh) 一种事件相机引导下的高动态范围视频生成方法及系统
CN114967121B (zh) 一种端到端的单透镜成像系统设计方法
Liu et al. Griddehazenet+: An enhanced multi-scale network with intra-task knowledge transfer for single image dehazing
CN114004766A (zh) 一种水下图像增强方法、系统和设备
Song et al. Real-scene reflection removal with raw-rgb image pairs
CN116363014A (zh) 一种级联自适应光学图像盲复原方法
CN116563157A (zh) 一种基于深度学习的面向空间卫星低照度图像增强方法
KR20190100833A (ko) Hdr 이미지 생성 장치
CN115830090A (zh) 一种基于像素匹配预测相机姿态的自监督单目深度预测训练方法
CN116017123A (zh) 一种光电成像系统及其成像方法
JP2020030569A (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant