CN114117904A - 一种基于卷积神经网络的共相误差校正方法 - Google Patents
一种基于卷积神经网络的共相误差校正方法 Download PDFInfo
- Publication number
- CN114117904A CN114117904A CN202111389079.8A CN202111389079A CN114117904A CN 114117904 A CN114117904 A CN 114117904A CN 202111389079 A CN202111389079 A CN 202111389079A CN 114117904 A CN114117904 A CN 114117904A
- Authority
- CN
- China
- Prior art keywords
- network
- phase error
- neural network
- common
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 29
- 238000012937 correction Methods 0.000 title claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims abstract description 45
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 9
- 238000013507 mapping Methods 0.000 claims abstract description 5
- 238000013459 approach Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 26
- 238000004088 simulation Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000011160 research Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 2
- 230000004913 activation Effects 0.000 claims description 2
- 230000009286 beneficial effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于卷积神经网络的共相误差校正方法，可用于光学合成孔径成像系统共相误差的实时校正。本方法将仿真生成的光学合成孔径成像图像和对应加载的子孔径共相误差分别作为单卷积神经网络的输入和输出，让网络进行有监督学习，不断更新网络的权值和偏置，使其逼近二者的映射关系，训练完成后的网络可基于单帧焦面实验图像对光学合成孔径平台共相误差进行端到端的检测。由于在实际系统上采集训练集面临非常多的问题，目前基于卷积神经网络的共相误差检测技术还难以实用化。本方法无需采集实验训练图像，大大降低了网络训练的难度，且光路简单，普适性强，实时性好，对光学合成孔径成像技术的实用化进程具有积极的推动作用。
Description
技术领域
本发明属于光学合成孔径成像领域，特别涉及一种适用于光学合成孔径成像系统的共相误差校正方法。
背景技术
光学合成孔径成像系统的概念最初是由A.B.Meinel于20世纪70年代提出，通过多个子孔径排布组合的方式可以等效地达到与传统单一口径望远镜相当的高分辨率。光学合成孔径成像系统制造难度低，且可以实现轻量化，为突破望远镜系统口径的限制提供了可能。为实现高分辨率成像，光学合成孔径成像系统中各个子孔径之间必须共相，否则会导致成像像质严重下降。因此，共相误差的探测与校正是实现光学合成孔径高分辨率成像的关键。
对于共相误差的检测已发展出许多方法，包括改进夏克-哈特曼传感器，四棱锥探测器和色散条纹探测器等等，但这些方法需要加入额外的光学元件，使得系统的复杂度提高。基于图像的相位差法可以在一定程度上简化系统，但算法复杂度高，大量的迭代优化也使其计算量非常高。利用卷积神经网络(convolutional neural network,CNN)进行共相误差探测的方法近来得到了国内外的普遍关注。
研究者们利用一个或多个神经网络进行有监督学习，对光强分布及对应共相误差之间的非线性关系进行拟合，使得训练后的神经网络可以基于光学合成孔径成像图像检测出系统中存在的共相误差。神经网络的学习过程往往需要大量的训练数据，对于由十几个甚至几十个子孔径组成的光学合成孔径系统，要实现精确的共相误差探测所需的训练样本数量可能是几十上百万。然而，在实际系统上进行这种数量级的图像采集面临非常多的问题，抖动和相位延迟等因素都可能导致采集到的图像与加载的共相误差不一致，从而使网络无法进行有效的学习。
发明内容
为克服现有方法的问题和局限，本发明提供一种基于卷积神经网络的共相误差校正方法，采用仿真驱动的思路，利用仿真数据训练得到的网络即可实现对实际光学合成孔径成像系统的共相误差探测，对光学合成孔径成像技术的实用化进程具有积极的推动作用。
本发明采用的技术方案是：一种基于卷积神经网络的共相误差校正方法，其具体步骤如下：
步骤1)、建立光学合成孔径数值仿真研究平台，基于单波长点目标成像，将光学合成孔径成像图像和对应加载的子孔径共相误差分别作为卷积神经网络的输入和输出，构造仿真训练集；其中所述光学合成孔径成像图像为焦面点扩散函数图像；
步骤2)、搭建卷积神经网络，所述卷积神经网络包括多个卷积层，池化层，BN层和全连接层，最后一个全连接层作为回归层，直接输出共相误差预测值；
步骤3)、使用仿真训练集让网络进行有监督学习，并通过数据前向传播和误差反向传播更新网络的权重，多次迭代之后使网络逼近光学合成孔径成像图像和对应加载的子孔径共相误差之间的映射关系，损失函数降到一定值后结束训练，得到训练完善的网络；
步骤4)、将系统实时采集到的图像输入到步骤3)中训练完善的网络，网络执行一次数据前向传输即可得到共相误差检测结果，实现实际系统的闭环共相。
其中，在所述的步骤1)中，仿真生成的光学合成孔径焦面点扩散函数图像进行归一化处理作为神经网络的输入图像，对应加载的子孔径共相误差值作为网络的输出。
其中，在所述的步骤2)中，卷积神经网络架构中池化操作采用的是最大池化，选择ReLu函数作为非线性激活函数，损失函数定义为预测值与期望值之间的均方根误差；BN(Batch Normalization)即批归一化处理用在卷积层后重新调整数据分布，有利于减轻对参数初始化的依赖，同时加快训练速度。
其中，在所述的步骤3)中，在网络训练过程中，Adam优化算法基于仿真训练数据迭代更新神经网络权重；为防止过拟合，测试和训练交替进行，综合训练和测试结果在出现过拟合之前结束训练，保证网络的泛化能力。
其中，在所述的步骤4)中，训练得到的网络可以从单帧焦面点扩散函数图像中提取光学合成孔径成像系统全子孔径共相误差，所需光学元件少，光路简单。
其中，对于训练好的网络，测试图像输入网络后只需要执行一次数据前向传输即可得到图像对应的共相误差预测值，实现端到端的共相误差探测，理论上可以达到非常高的实时性。
其中，该方法既可用于单波长共相检测，也适用于宽带光共相检测。
本发明与现有技术相比具有如下优点：
(1)本发明不需要额外的光学元件，通过采集单帧焦面图像即可提取共相误差，降低了光学合成孔径成像的系统复杂度。
(2)本发明采用仿真驱动的思路，利用仿真生成的数据对网络进行训练，避免了在实际系统中采集大量图像可能导致的训练集失效的情况，降低了网络训练难度。
附图说明
图1为适用于光学合成孔径成像系统的共相误差校正方法原理框图。其中，图1(a)为神经网络的训练过程框图；图1(b)为共相误差的探测过程框图。
图2为搭建的由5个卷积模块和3个全连接层构成的卷积神经网络示意图。
图3为三孔阵列仿真成像模型和训练样本示意图，其中，图3(a)为三孔阵列仿真成像模型示意图，子孔径1为参考孔径；图3(b1)-(b4)为三孔阵列仿真成像模型生成的仿真训练样本示意图。
图4为使用仿真训练集对神经网络进行训练的示意图。
图5为基于仿真数据集训练得到的神经网络对实验图像进行共相探测的示意图。
图6为神经网络对实验图像的共相误差探测结果，其中，图6(a)为对子孔径2的探测结果，图6(b)为对子孔径3的探测结果。
具体实施方式
下面结合附图和具体实施例进一步说明本发明。
本发明提供一种基于卷积神经网络的共相误差校正方法，适用于光学合成孔径成像系统，基本原理如图1所示，在网络训练阶段，卷积神经网络通过仿真数据有监督地学习光学合成孔径成像图像和对应加载的子孔径共相误差之间的非线性映射关系；在共相误差探测阶段，将在实际系统中采集的图像输入训练完善网络，通过一次数据前向传输即可提取出共相误差。
本发明实施例为一个三孔径阵列，具体实施步骤如下：
1)、建立三孔阵列数值仿真研究平台，基于单波长点目标成像，将光学合成孔径成像图像和对应加载的子孔径共相误差分别作为卷积神经网络的输入和输出，构造仿真训练集；其中所述光学合成孔径成像图像为焦面点扩散函数图像，如图3(b1)-(b4)所示为加载不同共相误差生成的图像样本；对于由N个子孔径组合构成的光学合成孔径成像系统，其光瞳函数表达式为：
式(1)中，Asub(x-xn，y-yn)为子孔径的光瞳函数，(xn，yn)是第n个子孔径的中心坐标，
是第n个子孔径的相位函数，焦面点扩散函数图像通过对光瞳函数做傅里叶变换后取模的平方得到：
PSF(xi,yi)＝|FT{A(x,y)}|2 (2)
式(2)中，FT{}和(xi,yi)分别表示傅里叶变换和系统焦面的空间坐标。
2)、搭建由5个卷积模块和3个全连接层构成的卷积神经网络，如图2所示，其中每个卷积模块由若干卷积层，一个池化层和一个BN层组成，卷积神经网络通过用卷积层代替全连接层，用局部连接代替全连接，有效地对复杂的图像识别问题进行降维，并通过多层次的特征提取将初级特征组合成更具有判别力的抽象特征以提高预测的准确性；最后一个全连接层作为回归层，直接输出共相误差预测值；
3)、使用仿真训练集让网络进行有监督学习，如图4所示，其中点扩散函数图像的每一个像素点对应输入层的一个节点，定义输入的像素值向量为X，网络模型权值向量为W，偏差向量为b，共相误差数值标签向量为P，网络模型记为非线性函数fnet，则网络所要拟合的函数关系可以简化为：
P＝fnet(WTX+b) (3)
其中，fnet涉及非常复杂的函数变换，需要大量的训练数据来驱动函数的拟合，通过误差反向传播不断更新网络的权重，多次迭代之后使网络逼近光学合成孔径成像图像和对应加载的子孔径共相误差之间的映射关系，在损失函数降到一定值后结束训练，得到训练完善的网络，其中损失函数定义为所有子孔径探测结果的均方根误差：
其中，N为子孔径数目，pn和
分别表示第n个子孔径实际加载的共相误差值和网络的预测结果；
4)、基于调制反射镜、激光器、平行光管、成像透镜、三孔掩模板、CCD相机等搭建实验研究平台，采用632nm的单色光作为光源，在实验前首先对系统进行校准，以校准后的状态为初始位置，在相干长度(0，632nm)范围内每间隔40nm采集一张图像，共采集15张图像构成实验测试集，其中，图3中子孔径1为参考孔径，且由于实例中的调制反射镜只有一个子镜可以驱动，因此实验中通过调制反射镜控制子镜产生位移在子孔径2中引入共相误差，子孔径3的共相误差则视为0；
5)、将采集的光学合成孔径实验图像输入训练完善的网络，网络只需执行一次前向传输即可直接输出实验平台中存在的共相误差，如图5所示，使用型号为NVDIA GTX1080Ti的GPU所需探测时间约为10ms，神经网络对测试图像的共相误差探测结果如图6所示，其中图6(a)为对子孔径2的探测结果，图6(b)为对子孔径3的探测结果。
6)、根据测试结果，基于仿真图像训练得到的网络能够实现对光学合成孔径实验图像的高精度共相探测，在此基础上通过闭环控制模块进行共相误差的实时校正。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此。只要是通过神经网络仿真驱动的光学合成孔径成像系统共相误差校正方法、装置和系统，均属于本发明的保护范围。
Claims (7)
1.一种基于卷积神经网络的共相误差校正方法，其特征在于：具体步骤如下：
步骤1)、建立光学合成孔径数值仿真研究平台，基于单波长点目标成像，将光学合成孔径成像图像和对应加载的子孔径共相误差分别作为卷积神经网络的输入和输出，构造仿真训练集；其中所述光学合成孔径成像图像为焦面点扩散函数图像；
步骤2)、搭建卷积神经网络，所述卷积神经网络包括多个卷积层，池化层，BN层和全连接层，最后一个全连接层作为回归层，直接输出共相误差预测值；
步骤3)、使用仿真训练集让网络进行有监督学习，并通过数据前向传播和误差反向传播更新网络的权重，多次迭代之后使网络逼近光学合成孔径成像图像和对应加载的子孔径共相误差之间的映射关系，损失函数降到一定值后结束训练，得到训练完善的网络；
步骤4)、将光学合成孔径成像系统实时采集到的图像输入到步骤3)中训练完善的网络，网络执行一次数据前向传输即可得到共相误差检测结果，实现实际系统的闭环共相。
2.根据权利要求1所述的基于卷积神经网络的共相误差校正方法，其特征在于：在所述的步骤1)中，仿真生成的光学合成孔径焦面点扩散函数图像进行归一化处理作为神经网络的输入图像，对应加载的子孔径共相误差值作为网络的输出。
3.根据权利要求1所述的基于卷积神经网络的共相误差校正方法，其特征在于：在所述的步骤2)中，卷积神经网络架构中池化操作采用最大池化，选择ReLu函数作为非线性激活函数，损失函数定义为预测值与期望值之间的均方根误差；BN(Batch Normalization)即批归一化处理用在卷积层后重新调整数据分布，有利于减轻对参数初始化的依赖，同时加快训练速度。
4.根据权利要求1所述的基于卷积神经网络的共相误差校正方法，其特征在于：在所述的步骤3)中，在网络训练过程中，Adam优化算法基于仿真训练数据迭代更新神经网络权重；为防止过拟合，测试和训练交替进行，综合训练和测试结果在出现过拟合之前结束训练，保证网络的泛化能力。
5.根据权利要求1所述的基于卷积神经网络的共相误差校正方法，其特征在于：在所述的步骤4)中，训练得到的网络可以从单帧焦面点扩散函数图像中提取光学合成孔径成像系统全子孔径共相误差，所需光学元件少，光路简单。
6.根据权利要求5所述的基于卷积神经网络的共相误差校正方法，其特征在于：对于训练好的网络，待检测图像输入网络后只需要执行一次数据前向传输即可得到图像对应的共相误差预测值，实现端到端的共相误差探测，理论上可以达到非常高的实时性。
7.根据权利要求5所述的基于卷积神经网络的共相误差校正方法，其特征在于：该方法既可用于单波长共相检测，也适用于宽带光共相检测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389079.8A CN114117904A (zh) | 2021-11-22 | 2021-11-22 | 一种基于卷积神经网络的共相误差校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111389079.8A CN114117904A (zh) | 2021-11-22 | 2021-11-22 | 一种基于卷积神经网络的共相误差校正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114117904A true CN114117904A (zh) | 2022-03-01 |
Family
ID=80439794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111389079.8A Pending CN114117904A (zh) | 2021-11-22 | 2021-11-22 | 一种基于卷积神经网络的共相误差校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114117904A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656363A (zh) * | 2017-10-31 | 2018-02-02 | 中国科学院光电技术研究所 | 一种基于多波长相位调制的光学合成孔径成像望远镜阵列共相误差探测方法 |
| CN112880986A (zh) * | 2021-03-26 | 2021-06-01 | 北京理工大学 | 基于卷积神经网络的拼接式望远镜平移误差检测方法 |
| CN113534436A (zh) * | 2021-07-09 | 2021-10-22 | 西安工业大学 | 基于七孔径的稀疏合成孔径成像系统及其相位校正方法 |
-
2021
- 2021-11-22 CN CN202111389079.8A patent/CN114117904A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107656363A (zh) * | 2017-10-31 | 2018-02-02 | 中国科学院光电技术研究所 | 一种基于多波长相位调制的光学合成孔径成像望远镜阵列共相误差探测方法 |
| CN112880986A (zh) * | 2021-03-26 | 2021-06-01 | 北京理工大学 | 基于卷积神经网络的拼接式望远镜平移误差检测方法 |
| CN113534436A (zh) * | 2021-07-09 | 2021-10-22 | 西安工业大学 | 基于七孔径的稀疏合成孔径成像系统及其相位校正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 马霞飞: "深度学习光学合成孔径共相误差检测技术研究", 《中国博士论文全文数据库》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11532071B2 (en) | Creating super-resolution images | |
| CN110044498B (zh) | 一种基于深度学习的哈特曼波前传感器模式波前复原方法 | |
| CN106845024B (zh) | 一种基于波前反演的光学卫星在轨成像仿真方法 | |
| CN112508904B (zh) | 基于bp神经网络的拼接型望远镜平移像差检测方法 | |
| CN111579097B (zh) | 基于神经网络的高精度光学散射补偿方法 | |
| CN113158487B (zh) | 一种基于长短期记忆深度网络的波前相位差探测方法 | |
| CN106526839B (zh) | 一种基于模式的同步无波前自适应光学系统 | |
| CN114998958B (zh) | 一种基于轻量化卷积神经网络的人脸识别方法 | |
| CN111694016B (zh) | 一种非干涉合成孔径超分辨成像重构方法 | |
| CN112880986B (zh) | 基于卷积神经网络的拼接式望远镜平移误差检测方法 | |
| CN102662238B (zh) | 一种具有在轨自诊断和补偿功能的空间光学相机 | |
| CN109816607A (zh) | 一种基于多层前馈神经网络的二维光纤光谱图像校正技术 | |
| CN113850189B (zh) | 一种应用于机动平台的嵌入式孪生网络实时跟踪方法 | |
| CN110244523B (zh) | 一体化光刻方法及光刻系统 | |
| CN114117904A (zh) | 一种基于卷积神经网络的共相误差校正方法 | |
| Rajaoberison et al. | Machine learning wavefront sensing for the James Webb Space Telescope | |
| CN117760571A (zh) | 基于哈特曼探测器的无监督学习波前探测方法 | |
| CN113899453A (zh) | 一种基于亚采样的快速光谱成像系统及成像方法 | |
| CN112179503A (zh) | 基于稀疏子孔径夏克-哈特曼波前传感器的深度学习波前复原方法 | |
| Norouzi et al. | CNN to mitigate atmospheric turbulence effect on Shack-Hartmann Wavefront Sensing: A case study on the Magdalena Ridge Observatory Interferometer. | |
| Yu et al. | Microscopy image reconstruction method based on convolution network feature fusion | |
| Ma et al. | Deep learning piston sensing for sparse aperture systems with simulated training data | |
| Costille et al. | Linear quadratic gaussian control applied to WFAO systems: simulation and experimental results | |
| CN114880953B (zh) | 一种四台阶相位型菲涅尔波带片的快速波前复原方法 | |
| Jagatap et al. | Model corrected low rank ptychography |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220301 |
|
| WD01 | Invention patent application deemed withdrawn after publication |