CN116609942B - 一种分孔径压缩感知偏振超分辨率成像方法 - Google Patents
一种分孔径压缩感知偏振超分辨率成像方法 Download PDFInfo
- Publication number
- CN116609942B CN116609942B CN202310876656.9A CN202310876656A CN116609942B CN 116609942 B CN116609942 B CN 116609942B CN 202310876656 A CN202310876656 A CN 202310876656A CN 116609942 B CN116609942 B CN 116609942B
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- polarization
- light intensity
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010287 polarization Effects 0.000 title claims abstract description 151
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 239000011159 matrix material Substances 0.000 claims abstract description 85
- 230000004075 alteration Effects 0.000 claims abstract description 49
- 238000009792 diffusion process Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 61
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000001427 coherent effect Effects 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 10
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000003287 optical effect Effects 0.000 description 30
- 230000000694 effects Effects 0.000 description 14
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000000572 ellipsometry Methods 0.000 description 1
- -1 engineering Substances 0.000 description 1
- RFHAOTPXVQNOHP-UHFFFAOYSA-N fluconazole Chemical compound C1=NC=NN1CC(C=1C(=CC(F)=CC=1)F)(O)CN1C=NC=N1 RFHAOTPXVQNOHP-UHFFFAOYSA-N 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/129—Coded aperture imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Image Processing (AREA)
Abstract
一种分孔径压缩感知偏振超分辨率成像方法及系统，涉及目标检测识别与压缩感知成像技术领域，方法包括：采集分孔径编码模板光强图像和四个不同偏振方向的偏振低分辨率图像；建立偏振像差模型，并基于所述偏振像差模型对所述偏振低分辨率图像进行偏振像差补偿，得到修正后的偏振低分辨率图像；基于理想编码矩阵和所述模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列；基于所述映射扩散矩阵阵列和修正后的偏振低分辨率图像对超分辨率重建网络迭代训练，得到高分辨率偏振图像；该方法所获得的偏振特征图像分辨率可突破探测器分辨率的极限，成像质量更好，测量精度更高。
Description
技术领域
本发明涉及目标检测识别与压缩感知成像技术领域。
背景技术
偏振成像技术在目标物体进行探测与识别时，提升了图像信息的获取维度，不仅可以获取目标物的光强、空间、光谱的信息，同时还可以得到偏振角、偏振度、偏振椭率信息。与传统的探测方法相比，偏振成像技术不仅可以提高目标信息量，而且能够增强对目标物的探测和识别能力。偏振成像技术在农业、环境、医学、工程、大气、天文等领域都表现出广阔的应用前景。
分孔径偏振成像系统是将一个光学系统分割为多个独立的子孔径，每一个子孔径使用不同的偏振元件，实现对不同偏振方向的探测成像。分孔径偏振探测系统结构紧凑，这种偏振探测系统构型与分振幅型偏振成像系统相比，避免了由于振幅分光引起的能量损失造成的对比度下降；与分焦平面型偏振成像系统相比，避免了偏振马赛克效应的影响。因此，在遥感探测以及动态目标识别等领域，分孔径偏振成像系统具有较大的优势。
目前的分孔径偏振成像系统存在三个问题：首先，对于分孔径偏振成像系统，由光学系统带来的偏振像差对成像质量和测量精度的影响是不可忽略的；其次，对于分孔径系统，四个子孔径所成的像排列在探测器的四个象限上，使得成像分辨率下降了一倍；最后，利用压缩编码成像技术可以有效的提高分孔径偏振成像系统的成像分辨率，压缩编码成像是一种新型成像机制，利用图像信息的稀疏性和焦平面编码技术，通过重构算法求解数学模型进而得到目标高分辨率重构图像，可突破探测器成像分辨率极限，但是在压缩编码成像系统超分辨率重建过程中，光学系统原本的光学畸变，加工装调引入的误差，光学设备振动引起的DMD微镜和探测器像素的偏移，成像环境中光照不均匀等问题，统称为光学误差，造成了重建图像一定程度的模糊，影响超分辨率重建效果，导致最终成像分辨率没有明显的提高。
因此，如何解决分孔径偏振成像系统中的偏振像差导致成像质量和测量精度降低、分孔径导致成像分辨率低，以及光学误差引起的超分辨率重建效果不佳的问题，成为本领域亟待解决的技术问题。
发明内容
为了解决上述技术问题，本发明提供了一种分孔径压缩感知偏振超分辨率成像方法，该方法所获得的偏振特征图像分辨率可突破探测器分辨率的极限，并实现从四个偏振方向原始低分辨率图像直接到三种偏振特征高分辨率图像的“端到端”块状压缩感知超分辨率重建，成像质量更好，测量精度更高。
基于同一发明构思，本发明具有一个独立的技术方案：
1、一种分孔径压缩感知偏振超分辨率成像方法，包括：
S1、采集分孔径编码模板的编码模板光强图像，压缩编码采样四个不同偏振方向的偏振低分辨率图像；
S2、建立偏振像差模型，并基于所述偏振像差模型对所述偏振低分辨率图像进行偏振像差补偿，得到修正后的偏振低分辨率图像；
S3、基于所述理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列；
S4、基于所述映射扩散矩阵阵列和修正后的偏振低分辨率图像对超分辨率重建网络迭代训练，得到高分辨率偏振图像。
进一步地，所述四个不同偏振方向分别为0°、45°、90°以及135°方向。
进一步地，所述偏振像差模型的建立包括如下步骤：
根据偏振片的入射光强和出射光强，求得入射光强二向衰减和相位延迟的相干矩阵的迹，作为所述偏振像差模型全连接层权重参数。
进一步地，基于所述理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列，包括：
对所述理想编码矩阵和所述模板光强图像分块处理，得到一一对应的分块的编码模板图像与编码光强图像；
基于所述偏振像差模型，去除所述分块的编码模板图像与编码光强图像中偏振像差的影响；
基于所述第一卷积神经网络模型，建立所述一一对应的分块的编码模板图像与编码光强图像之间的映射关系，每一组映射关系用一个卷积层表示，将所述卷积层的权重参数矩阵作为映射扩散矩阵，得到所述映射扩散矩阵阵列。
进一步地，所述第一卷积神经网络模型输出编码光强图像的计算结果，将所述编码光强图像的计算结果与所述编码模板光强图像比对得出第一损失误差；
在所述第一卷积神经网络模型中，所述分块的编码模板图像与编码光强图像的映射关系如下：
；
其中，f为激活函数，d为偏置，H为映射扩散矩阵，为第i个分块的编码模板图像，/>为第i个分块的编码光强图像。
进一步地，步骤S4具体包括：
将所述映射扩散矩阵阵列和所述修正后的偏振低分辨率图像输入到第二卷积神经网络中，生成S0、DoLP和AoP图像的计算结果，与预先采集的S0、DoLP和AoP高分辨率偏振特征图像比对得到第二损失误差，迭代训练直至所述第二损失误差小于预设阈值，保存得到的所述第二卷积神经网络，作为超分辨率网络模型；
将所述修正后的偏振低分辨率图像输入所述超分辨率网络模型，得到所述高分辨率偏振图像。
进一步地，生成S0、DoLP和AoP图像的计算结果，包括：
利用第一卷积层和第二卷积层提取所述修正后的偏振低分辨率图像的浅层特征，生成浅层特征图；
将所述浅层特征图输入第三卷积层，得到特征图，将所述浅层特征图与所述特征图按预设比例求和得到总特征图；
基于第四卷积层建立所述修正后的偏振低分辨率图像与S0、DoLP和AoP图像之间的非线性映射关系，再通过亚像素卷积层放大，得到S0、DoLP和AoP图像的计算结果。
进一步地，所述第二损失函数如下：
；
其中，N表示图像的数量，W表示图像的宽，H表示图像的高，表示损失项的权重参数，/>表示超分辨率重建网络输出的图像，/>表示真实的高分辨率偏振特征图像，C表示结构相似度指标，下角标S0、DoLP和AoP分别表示S0、DoLP和AoP对应的图像。
进一步地，所述第三卷积层具有三个卷积核，所述映射扩散矩阵阵列经过两个全连接层和一个激活层，得到所述三个卷积核的权重参数。
本发明提供的分孔径压缩感知偏振超分辨率成像方法，至少包括如下有益效果：
（1）使用分孔径偏振光学系统，分别将偏振方向为0°、45°、90°、135°的信息成像在探测器靶面的四个区域，可一次性得到四幅低分辨率偏振图像，并通过压缩感知偏振超分辨率重建得到分辨率高于探测器的S0、DoLP和AoP三种偏振特征图像，从而既可实现多个偏振态同时成像，有利于对高速运动目标进行探测和侦察；又可获得高分辨率偏振特征图像，提高目标细节辨识能力；
（2）在分孔径压缩感知偏振超分辨率成像系统中，偏振压缩感知成像需要对低分辨率偏振信息进行符合有限约束等距（RIP）性质的编码从而满足信号稀疏性，提高重建精确度，而系统残余波像差和光机系统装调误差等可统称为光学失配误差，其作用相当于在原编码基础上再次叠加了一个无规律编码，造成理想编码矩阵与实际观测矩阵无法匹配，因此基于原始编码模板而进行的压缩感知重建，其效果明显退化，因此，本发明提出利用卷积神经网络建立编码模板光强图像每一“块”与其对应随机编码模板上每一“块”的非线性映射关系，并将此关系结合入后续超分辨率重建过程中，从而自适应地修正光学失配误差导致的成像退化效应，提高超分辨率重建过程的鲁棒性，改善图像重建效果；
（3）对于偏振光学系统来说，偏振像差与光学波像差不同，光学系统的波像差使成像变得模糊，而偏振像差会使入射光的偏振态发生改变，影响偏振测量精度，本发明建立了偏振光学系统的入射光信息与出射光信息之间的补偿关系模型，用一个全连接层补偿偏振像差，提高偏振测量的准确性。
附图说明
图1为本发明提供的分孔径压缩感知偏振超分辨率成像方法的流程图；
图2为本发明提供的分孔径压缩感知偏振超分辨率成像方法的详细流程图；
图3为本发明提供的分孔径压缩感知偏振超分辨率成像方法框架示意图；
图4为本发明提供的分孔径压缩感知偏振超分辨率成像方法中偏振分孔径块状压缩采样示意图；
图5为本发明提供的分孔径压缩感知偏振超分辨率成像方法中映射扩散矩阵标定过程示意图；
图6为本发明提供的分孔径压缩感知偏振超分辨率成像方法中超分辨率重建网络结构图；
图7为本发明提供的分孔径压缩感知偏振超分辨率成像方法中权重预测模块示意图；
图8为本发明提供的分孔径压缩感知偏振超分辨率成像系统的结构示意图。
附图标记：101-偏振片，102-望远物镜，103-数字微镜阵列DMD，104-中继镜头，105-探测器，106-计算处理单元，200-偏振图像采集与预处理模块，201-目标场景，202-分孔径偏振光学系统，203-探测器采集的四个孔径的偏振编码场景图像，204-偏振补偿模块，205-偏振像差补偿后的偏振编码场景图像，210-映射扩散矩阵标定模块，211-编码模板，212-第一卷积神经网络，213-映射扩散矩阵，220-超分辨率重建模块，211-重建网络输入图像，222-S0图像，223-DoLP图像，224-AoP图像，401-场景信息，402-探测器四象限成像区域，403-压缩采样后的偏振图像，404-像素，501-编码模板库，502-编码矩阵分块模块，503-初始化的映射扩散矩阵，504-映射关系建立模块，505-分孔径编码模板光强图像，506-映射扩散矩阵阵列数据库。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
实施例一：
参见图1和图2，在一些实施例中，提供一种分孔径压缩感知偏振超分辨率成像方法，包括：
S1、采集分孔径编码模板的编码模板光强图像，压缩编码采样四个不同偏振方向的偏振低分辨率图像；
S2、建立偏振像差模型，并基于所述偏振像差模型对所述偏振低分辨率图像进行偏振像差补偿，得到修正后的偏振低分辨率图像；
S3、并基于所述理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列；
S4、基于所述映射扩散矩阵阵列和修正后的偏振低分辨率图像对超分辨率重建网络迭代训练，得到高分辨率偏振图像。
如图3所示，本发明成像框架包括以下三部分：偏振图像采集与预处理模块200、映射扩散矩阵标定模块210和超分辨率重建模块220，其中，偏振图像采集与预处理模块包括目标场景201、分孔径偏振光学系统202、探测器采集的四个孔径的偏振编码场景图像203、偏振补偿模块204、偏振像差补偿后的偏振编码场景图像205；映射扩散矩阵标定模块210包括编码模板211、第一卷积神经网络212以及映射扩散矩阵213；超分辨率重建模块220包括重建网络输入图像211、S0图像222、DoLP图像223以及AoP图像224。
具体地，步骤S1中，所述分孔径编码模板的编码模板通过数字微镜阵列DMD加载理想编码矩阵得到，也即编码模板光强图像是通过将理想编码矩阵加载在数字微镜阵列DMD上得到的。具体地，建立包含30张随机理想编码图像矩阵的数据库作为理想编码矩阵Ci(i=0 , ... , 30)，依次加载在数字微镜阵列DMD上，此时使用均匀光照射DMD，探测器采集分孔径编码模板光强图像Ui(i=0 , ... , 30)。
其中，所述压缩编码采样通过在数字微镜阵列DMD加载编码模板，调制目标场景信息。
所述四个不同偏振方向分别为0°、45°、90°以及135°方向。
利用数字微镜阵列DMD对成像场景进行编码，在本实施例中，以3倍超分辨倍率为例说明。分孔径偏振光学系统对目标场景进行成像，每一个子孔径进行独立块状压缩编码，偏振分孔径块状压缩采样过程如图4所示，对场景信息401进行块状压缩采样，每一“块”3×3的区域被编码后通过分孔径系统成像在探测器的一个像素404上。最后在探测器像面402的四个象限上得到0°、45°、90°、135°四个偏振方向的偏振低分辨率图像，即为压缩采样后的偏振图像403。每一次拍摄得到四个子孔径的偏振图像I（0°，k），I（45°，k），I（90°，k），I（135°，k），k表示第k次拍摄。
作为一种较优的实施方式，所述偏振像差模型的建立包括如下步骤：
根据偏振片的入射光强和出射光强，求得入射光强二向衰减和相位延迟的相干矩阵的迹，作为所述偏振像差模型全连接层权重参数。
具体包括如下步骤：
第一步：光强映射关系建立，光线通过偏振分孔径光学系统后会受光学系统的偏振像差影响，从而改变原来的偏振特性。令分孔径压缩感知偏振超分辨率成像系统的偏振传输矩阵为Psys，则Psys可表示为偏振片和光学系统各自的偏振传输矩阵的连乘：
；(1)
其中，Ppol表示偏振片的偏振传输矩阵，Popt表示光学成像系统的偏振传输矩阵，Jpol和Jret分别代表二向衰减和相位延迟，Popt可以通过三维偏振光线追迹方法得到。
令各个孔径入射光光强信息的相干矩阵为（/>为出射光强，偏振方向α=0°;45°;90°;135°），则出射光的相干矩阵/>为偏振传输矩阵Psys、入射光相干矩阵以及偏振传输共轭矩阵/>之间的乘积
；(2)
已知出射光光强Iα out（Iout为出射光强，偏振方向α=0°;45°;90°;135°）可由出射光相干矩阵(/>)（/>为入射光强）的迹/>求出，因此，我们得到0°、45°、90°、135°四个孔径的出射光光强与入射光光强的映射关系：
；(3)
入射光经过偏振光学成像系统后，由于偏振像差的影响使得出射光偏振特性发生改变，最终得到的是探测器像面上的出射光光强。为了通过/>求出/>，对公式(2)进行改写：
；(4)
入射光光强可以由入射光的相干矩阵Jin的迹/>求得：
；(5)
将公式(4)中的入射光的相干矩阵Jin进行分解，将出射光强Iαout单独提出，令，/>是表征入射光强二向衰减和相位延迟的相干矩阵，此时公式(5)改写为：
；(6)
第二步，对公式(6)进行求解，得到相应的二向衰减Jpol、相位延迟Jret等参数，进而求出的迹/>，将得到的迹作为所述偏振像差模型的全连接层权重参数，全连接层对探测器得到的偏振信息进行处理得到消除光学系统偏振像差影响的光强信息，即实现偏振像差补偿。
将数学模型中求得的迹作为全连接层对应的权重参数，利用该全连接层对分孔径编码模板光强图像Ui(i=0 , ... , 30)与偏振低分辨率图像I（0°，k），I（45°，k），I（90°，k），I（135°，k）进行处理，以达到修正偏振像差的效果，得到修正后的分孔径编码模板光强图像DUi(i=0 , ... , 30)和修正后的偏振低分辨率图像DI（0°，k），DI（45°，k），DI（90°，k），DI（135°，k）。
步骤S3中，基于所述理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列，包括：
S31、对所述理想编码矩阵和所述编码模板光强图像分块处理，得到一一对应的分块的编码模板图像与编码光强图像；
S32、基于所述偏振像差模型，去除所述分块的编码模板图像与编码光强图像中偏振像差的影响；
S33、基于所述第一卷积神经网络模型，建立所述一一对应的分块的编码模板图像与编码光强图像之间的映射关系，每一组映射关系用一个卷积层表示，将所述卷积层的权重参数矩阵作为映射扩散矩阵，得到所述映射扩散矩阵阵列。
其中，所述第一卷积神经网络模型输出编码光强图像的计算结果，将所述编码光强图像的计算结果与所述编码模板光强图像比对得出第一损失误差；
第一损失误差通过如下公式表示：
；
其中，n为探测器像素数，为第i个分块的编码模板图像，/>第i个分块的编码光强图像。
在所述第一卷积神经网络模型中，所述分块的编码模板图像与编码光强图像的映射关系如下：
；
其中，f为激活函数，d为偏置，H为映射扩散矩阵，为第i个分块的编码模板图像，/>为第i个分块的编码光强图像。
在一种具体的应用场景中，得到映射扩散矩阵阵列的具体步骤如下：
第一步，通过建立第一卷积神经网络来得到实际装调后的分孔径压缩感知偏振成像系统的映射扩散矩阵。
从神经网络的角度来看，理想编码矩阵Ci(i=0 , ... , 30)、映射扩散矩阵阵列H和去除偏振像差后的模板光强图像DUi(i=0 , ... , 30)之间的关系可以表示为
；(7)
其中，f为激活函数，d为偏置，映射扩散矩阵H在公式中为卷积核，Ci和DUi为被训练的对象，通过神经网络建立起DUi与Ci之间由于光学失配引起的退化效应的非线性映射关系。
第二步，标定过程如图5所示，将步骤S1中压缩编码采集到的分孔径编码模板光强图像505与随机编码模板库501中的编码模板图像Ci输入到映射扩散矩阵标定模块中。探测器上每个像素都受到特定的映射扩散矩阵Hi的影响，因此编码光强图像DUi上每一个像元包含了编码模板Ci上3×3以外区域的的信息。将编码模板Ci与编码光强图像DUi对应位置在编码矩阵分块模块502进行分块处理，得到一一对应的分块的编码模板图像与编码光强图像，利用偏振补偿模块去除偏振像差的影响。利用卷积神经网络建立起每一“块”编码模板与编码光强图像之间的映射关系，该模块为映射关系建立模块504，用光学系统原有的PSF作为初始化的映射扩散矩阵503，最后将训练结果与真实的编码光强图像DUi进行比较得出损失值，优化网络参数，迭代完成后得到编码模板图像Ci与编码光强图像DUi对应块之间的映射关系。每一“块”的映射关系用一个卷积层表示，卷积层的权重参数矩阵即为映射扩散矩阵Hj(分块数j=0,1,2...)。通过大量的样本训练，建立起探测器每个像素与其一一对应的映射扩散矩阵，得到映射扩散矩阵阵列数据库506。
步骤S4中，偏振超分辨率重建，可以根据系统的使用需求选择合适的压缩感知深度学习网络框架（如CSNet、ReconNet、DeepMind等）进行修改，具体包括：
S41、将所述映射扩散矩阵阵列和所述修正后的偏振低分辨率图像输入到第二卷积神经网络中，生成S0、DoLP和AoP图像的计算结果，与预先采集的S0、DoLP和AoP高分辨率偏振特征图像比对得到第二损失误差，迭代训练直至所述第二损失误差小于预设阈值，保存得到的所述第二卷积神经网络，作为所述超分辨率网络模型；
S42、将所述修正后的偏振低分辨率图像输入所述超分辨率网络模型，得到所述高分辨率偏振图像。
其中，所述第二损失函数如下：
；
其中，N表示图像的数量，W表示图像的宽，H表示图像的高，表示损失项的权重参数，/>表示超分辨率重建网络输出的图像，/>表示真实的高分辨率偏振特征图像，C表示结构相似度指标，下角标S0、DoLP和AoP分别表示S0、DoLP和AoP对应的图像。
步骤S41中，在工业相机前方放置偏振片，使用工业相机直接拍摄目标场景得到0°、45°、90°、135°偏振方向的高分辨率偏振图像，该工业相机的分辨率高于原有探测器分辨率。将四个偏振方向的高分辨偏振图像进行计算得到S0、DoLP和AoP高分辨率偏振特征图像。计算公式如下：
；(8)
；(9)
；(10)
计算得到S0、DoLP和AoP高分辨率偏振特征图像作为训练时的高分辨率偏振图像样本。
步骤S41中，生成S0、DoLP和AoP图像的计算结果，包括：
S411、利用第一卷积层和第二卷积层提取所述修正后的偏振低分辨率图像的浅层特征，生成浅层特征图；
具体地，将S0、DoLP和AoP高分辨率偏振特征图像、无偏振像差的低分辨率偏振方向图像DI（0°，k），DI（45°，k），DI（90°，k），DI（135°，k）和映射扩散矩阵阵列输入到超分辨率重建网络中。利用两个卷积层提取低分辨率偏振方向图像的浅层特征生成浅层特征图。
S412、将所述浅层特征图输入第三卷积层，得到特征图，将所述浅层特征图与所述特征图按预设比例求和得到总特征图；
浅层特征图经过预测模块生成的卷积层输出特征图/>，将/>与/>按比例求和得到总特征图
；(11)
其中，为比例系数。
S413、基于第四卷积层建立所述修正后的偏振低分辨率图像与S0、DoLP和AoP图像之间的非线性映射关系，再通过亚像素卷积层放大，得到S0、DoLP和AoP图像的计算结果。
参见图6，总特征图经过一层卷积层建立低分辨偏振强度图像与不同偏振特征图之间的非线性映射关系。之后通过亚像素卷积层将图像的放大，使生成图像分辨率高于探测器的分辨率。将生成的S0、DoLP和AoP图像与目标场景的高分辨率S0、DoLP和AoP图像进行比对，计算两者的损失误差。当损失误差大于预设的阈值时，则根据损失误差的大小来更新重建网络的参数，继续迭代训练；当损失误差小于网络预设的阈值时，则固定网络的参数，保存该网络模型，训练完成。
最后，通过大量的样本训练得到偏振超分辨率重建网络模型，将偏振补偿后的不同场景的4个偏振方向低分辨图像输入偏振超分辨率重建网络中，即可输出分辨率为探测器分辨率3倍的S0、DoLP和AoP偏振特征图像。
步骤S412中，所述第三卷积层具有三个卷积核，所述映射扩散矩阵阵列经过两个全连接层和一个激活层，得到所述三个卷积核的权重参数。由一个权重预测模块对映射扩散矩阵预测出一组卷积层的权重参数，将该权重参数用于图像的重建，可以更好的恢复出原始图像的特征。如图7所示，映射扩散矩阵经过两个全连接层和一个激活层输出三个卷积核的权重参数。该三个卷积核hS0、hAoP、hDoLP分别用于S0、AoP 和DoLP 三种偏振特征图像的重建。
实施例二：
参见图8，在一些实施例中，提供一种分孔径压缩感知偏振超分辨率成像系统，包括：偏振片101、子孔径望远物镜102、数字微镜阵列DMD103、中继镜头104、探测器105以及计算处理单元106；
所述偏振片101有四个，分别为不同的偏振方向；所述子孔径望远物镜102有四个，与所述偏振片101一一对应；所述探测器105的靶面有四个象限，与所述偏振片101一一对应。
以下分别对各个部件进行具体说明：偏振片，0°、45°、90°、135°四个不同偏振方向的偏振片，每一个偏振片只允许一个偏振方向的光线透过；
望远物镜，四个相同的望远物镜位于成像系统的前端，将场景投影到数字微镜阵列DMD上；
数字微镜阵列DMD，用于接收一次像面，并对一次像面进行压缩编码采样；
中继镜头，将从数字微镜阵列DMD接受到的光线投影到探测器的成像靶面上；
探测器，成像靶面接收光学系统的光线信息，在靶面的不同位置形成四个子孔径上不同偏振态的图像；
计算处理单元，通过计算机对DMD进行控制和进行相关的图像重建计算。
工作时，目标场景发出的光线分别经过0°、45°、90°、135°四个不同偏振方向的偏振片，从偏振片出射后，通过各自所对应的子孔径望远物镜，成像在放置在一次像面的数字微镜阵列DMD上；数字微镜阵列DMD对一次像面进行编码调制，之后光线被数字微镜阵列DMD反射，通过中继镜头成像在探测器靶面的四个象限上，形成0°、45°、90°、135°四幅低分辨率偏振方向图像；计算处理单元对四幅低分辨率偏振图像进行偏振超分辨率重建，输出高分辨率偏振图像。
本实施例提供的分孔径压缩感知偏振超分辨率成像系统及方法，使用分孔径偏振光学系统，分别将偏振方向为0°、45°、90°、135°的信息成像在探测器靶面的四个区域，可一次性得到四幅低分辨率偏振图像，并通过压缩感知偏振超分辨率重建得到分辨率高于探测器的S0、DoLP和AoP三种偏振特征图像，从而既可实现多个偏振态同时成像，有利于对高速运动目标进行探测和侦察；又可获得高分辨率偏振特征图像，提高目标细节辨识能力；在分孔径压缩感知偏振超分辨率成像系统中，偏振压缩感知成像需要对低分辨率偏振信息进行符合有限约束等距（RIP）性质的编码从而满足信号稀疏性，提高重建精确度，而系统残余波像差和光机系统装调误差等可统称为光学失配误差，其作用相当于在原编码基础上再次叠加了一个无规律编码，造成理想编码矩阵与实际观测矩阵无法匹配，因此基于原始编码模板而进行的压缩感知重建，其效果明显退化，因此，本发明提出利用卷积神经网络建立编码模板光强图像每一“块”与其对应随机编码模板上每一“块”的非线性映射关系，并将此关系结合入后续超分辨率重建过程中，从而自适应地修正光学失配误差导致的成像退化效应，提高超分辨率重建过程的鲁棒性，改善图像重建效果；对于偏振光学系统来说，偏振像差与光学波像差不同，光学系统的波像差使成像变得模糊，而偏振像差会使入射光的偏振态发生改变，影响偏振测量精度，本发明建立了偏振光学系统的入射光信息与出射光信息之间的补偿关系模型，用一个全连接层补偿偏振像差，提高偏振测量的准确性。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.一种分孔径压缩感知偏振超分辨率成像方法，其特征在于，包括：
S1、采集分孔径编码模板的编码模板光强图像，压缩编码采样四个不同偏振方向的偏振低分辨率图像；
S2、建立偏振像差模型，并基于所述偏振像差模型对所述偏振低分辨率图像进行偏振像差补偿，得到修正后的偏振低分辨率图像；
S3、基于理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列；
S4、基于所述映射扩散矩阵阵列和修正后的偏振低分辨率图像对超分辨率重建网络迭代训练，得到高分辨率偏振图像。
2.根据权利要求1所述的方法，其特征在于，所述四个不同偏振方向分别为0°、45°、90°以及135°方向。
3.根据权利要求1所述的方法，其特征在于，所述偏振像差模型的建立包括如下步骤：
根据偏振片的入射光强和出射光强，求得入射光强二向衰减和相位延迟的相干矩阵的迹，作为所述偏振像差模型全连接层权重参数。
4.根据权利要求1所述的方法，其特征在于，基于所述理想编码矩阵和所述编码模板光强图像对第一卷积神经网络模型迭代训练，得到映射扩散矩阵阵列，包括：
对所述理想编码矩阵和所述编码模板光强图像分块处理，得到一一对应的分块的编码模板图像与编码光强图像；
基于所述偏振像差模型，去除所述分块的编码模板图像与编码光强图像中偏振像差的影响；
基于所述第一卷积神经网络模型，建立所述一一对应的分块的编码模板图像与编码光强图像之间的映射关系，每一组映射关系用一个卷积层表示，将所述卷积层的权重参数矩阵作为映射扩散矩阵，得到所述映射扩散矩阵阵列。
5.根据权利要求4所述的方法，其特征在于，所述第一卷积神经网络模型输出编码光强图像的计算结果，将所述编码光强图像的计算结果与所述编码模板光强图像比对得出第一损失误差；
在所述第一卷积神经网络模型中，所述分块的编码模板图像与编码光强图像的映射关系如下：
；
其中，f为激活函数，d为偏置，H为映射扩散矩阵，为第i个分块的编码模板图像，为第i个分块的编码光强图像。
6.根据权利要求1所述的方法，其特征在于，步骤S4具体包括：
将所述映射扩散矩阵阵列和所述修正后的偏振低分辨率图像输入到第二卷积神经网络中，生成S0、DoLP和AoP图像的计算结果，与预先采集的S0、DoLP和AoP高分辨率偏振特征图像比对得到第二损失误差，迭代训练直至所述第二损失误差小于预设阈值，保存得到的所述第二卷积神经网络，作为超分辨率网络模型；
将所述修正后的偏振低分辨率图像输入所述超分辨率网络模型，得到所述高分辨率偏振图像。
7.根据权利要求6所述的方法，其特征在于，生成S0、DoLP和AoP图像的计算结果，包括：
利用第一卷积层和第二卷积层提取所述修正后的偏振低分辨率图像的浅层特征，生成浅层特征图；
将所述浅层特征图输入第三卷积层，得到特征图，将所述浅层特征图与所述特征图按预设比例求和得到总特征图；
基于第四卷积层建立所述修正后的偏振低分辨率图像与S0、DoLP和AoP图像之间的非线性映射关系，再通过亚像素卷积层放大，得到S0、DoLP和AoP图像的计算结果。
8.根据权利要求6所述的方法，其特征在于，所述第二损失函数如下：
；
其中，N表示图像的数量，W表示图像的宽，H表示图像的高，表示损失项的权重参数，/>表示超分辨率重建网络输出的图像，/>表示真实的高分辨率偏振特征图像，C表示结构相似度指标，下角标S0、DoLP和AoP分别表示S0、DoLP和AoP对应的图像。
9.根据权利要求7所述的方法，其特征在于，所述第三卷积层具有三个卷积核，所述映射扩散矩阵阵列经过两个全连接层和一个激活层，得到所述三个卷积核的权重参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876656.9A CN116609942B (zh) | 2023-07-18 | 2023-07-18 | 一种分孔径压缩感知偏振超分辨率成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310876656.9A CN116609942B (zh) | 2023-07-18 | 2023-07-18 | 一种分孔径压缩感知偏振超分辨率成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116609942A CN116609942A (zh) | 2023-08-18 |
| CN116609942B true CN116609942B (zh) | 2023-09-22 |
Family
ID=87678573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310876656.9A Active CN116609942B (zh) | 2023-07-18 | 2023-07-18 | 一种分孔径压缩感知偏振超分辨率成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116609942B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117848502B (zh) * | 2024-03-06 | 2024-05-10 | 长春理工大学 | 基于像差补偿的编码孔径偏振光谱成像装置和方法 |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103428500A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 一种超分辨率大视场红外成像方法 |
| CN104049466A (zh) * | 2013-03-11 | 2014-09-17 | 上海微电子装备有限公司 | 超高数值孔径光刻成像偏振补偿装置及方法 |
| CN104111572A (zh) * | 2013-04-20 | 2014-10-22 | 上海三鑫科技发展有限公司 | 超短焦投影物镜 |
| CN108169807A (zh) * | 2017-12-27 | 2018-06-15 | 长光卫星技术有限公司 | 一种集成式短波红外光学成像系统 |
| CN109104582A (zh) * | 2018-08-14 | 2018-12-28 | 西安工业大学 | 一种实时超分辨偏振红外光电成像方法 |
| CN111650738A (zh) * | 2020-05-07 | 2020-09-11 | 清华大学深圳国际研究生院 | 一种基于深度学习的傅里叶叠层显微图像重构方法及装置 |
| CN111694016A (zh) * | 2020-06-02 | 2020-09-22 | 南京理工大学 | 一种非干涉合成孔径超分辨成像重构方法 |
| CN111896480A (zh) * | 2020-08-12 | 2020-11-06 | 长春理工大学 | 一种离轴宽波段反射式同时偏振成像系统 |
| CN111932615A (zh) * | 2020-07-10 | 2020-11-13 | 中国电子科技集团公司第十一研究所 | 一种偏振测距方法、装置及可读存储介质 |
| CN114624876A (zh) * | 2022-03-07 | 2022-06-14 | 长春理工大学 | 一种反射式同时偏振超分辨率成像系统及设计方法 |
| CN114994859A (zh) * | 2022-05-06 | 2022-09-02 | 北京理工大学 | 基于cnn的tma望远镜面形、位姿误差在轨校正方法 |
| CN115032196A (zh) * | 2022-08-11 | 2022-09-09 | 中国科学院西安光学精密机械研究所 | 一种全划片高通量彩色病理成像分析仪器及方法 |
| CN115220211A (zh) * | 2022-07-29 | 2022-10-21 | 江南大学 | 基于深度学习和光场成像的显微成像系统及方法 |
| CN115307733A (zh) * | 2022-07-14 | 2022-11-08 | 长春理工大学 | 一种空间维编码光谱偏振一体化成像系统及其设计方法 |
| CN115561916A (zh) * | 2022-06-07 | 2023-01-03 | 长春理工大学 | 一种补偿偏振像差的数字微镜器件成像系统及其设计方法 |
| CN115578262A (zh) * | 2022-10-21 | 2023-01-06 | 安徽大学 | 基于afan模型的偏振图像超分辨率重建方法 |
| CN115841420A (zh) * | 2022-11-10 | 2023-03-24 | 天津大学 | 一种基于深度学习的偏振图像超分辨率重建方法 |
| CN115931124A (zh) * | 2023-01-10 | 2023-04-07 | 福州大学 | 高光通量仿生多孔径多光谱偏振成像系统 |
| CN116245726A (zh) * | 2023-01-18 | 2023-06-09 | 长春理工大学 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
-
2023
- 2023-07-18 CN CN202310876656.9A patent/CN116609942B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104049466A (zh) * | 2013-03-11 | 2014-09-17 | 上海微电子装备有限公司 | 超高数值孔径光刻成像偏振补偿装置及方法 |
| CN104111572A (zh) * | 2013-04-20 | 2014-10-22 | 上海三鑫科技发展有限公司 | 超短焦投影物镜 |
| CN103428500A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 一种超分辨率大视场红外成像方法 |
| CN108169807A (zh) * | 2017-12-27 | 2018-06-15 | 长光卫星技术有限公司 | 一种集成式短波红外光学成像系统 |
| CN109104582A (zh) * | 2018-08-14 | 2018-12-28 | 西安工业大学 | 一种实时超分辨偏振红外光电成像方法 |
| CN111650738A (zh) * | 2020-05-07 | 2020-09-11 | 清华大学深圳国际研究生院 | 一种基于深度学习的傅里叶叠层显微图像重构方法及装置 |
| CN111694016A (zh) * | 2020-06-02 | 2020-09-22 | 南京理工大学 | 一种非干涉合成孔径超分辨成像重构方法 |
| CN111932615A (zh) * | 2020-07-10 | 2020-11-13 | 中国电子科技集团公司第十一研究所 | 一种偏振测距方法、装置及可读存储介质 |
| CN111896480A (zh) * | 2020-08-12 | 2020-11-06 | 长春理工大学 | 一种离轴宽波段反射式同时偏振成像系统 |
| CN114624876A (zh) * | 2022-03-07 | 2022-06-14 | 长春理工大学 | 一种反射式同时偏振超分辨率成像系统及设计方法 |
| CN114994859A (zh) * | 2022-05-06 | 2022-09-02 | 北京理工大学 | 基于cnn的tma望远镜面形、位姿误差在轨校正方法 |
| CN115561916A (zh) * | 2022-06-07 | 2023-01-03 | 长春理工大学 | 一种补偿偏振像差的数字微镜器件成像系统及其设计方法 |
| CN115307733A (zh) * | 2022-07-14 | 2022-11-08 | 长春理工大学 | 一种空间维编码光谱偏振一体化成像系统及其设计方法 |
| CN115220211A (zh) * | 2022-07-29 | 2022-10-21 | 江南大学 | 基于深度学习和光场成像的显微成像系统及方法 |
| CN115032196A (zh) * | 2022-08-11 | 2022-09-09 | 中国科学院西安光学精密机械研究所 | 一种全划片高通量彩色病理成像分析仪器及方法 |
| CN115578262A (zh) * | 2022-10-21 | 2023-01-06 | 安徽大学 | 基于afan模型的偏振图像超分辨率重建方法 |
| CN115841420A (zh) * | 2022-11-10 | 2023-03-24 | 天津大学 | 一种基于深度学习的偏振图像超分辨率重建方法 |
| CN115931124A (zh) * | 2023-01-10 | 2023-04-07 | 福州大学 | 高光通量仿生多孔径多光谱偏振成像系统 |
| CN116245726A (zh) * | 2023-01-18 | 2023-06-09 | 长春理工大学 | 基于深度学习框架的压缩感知偏振超分辨成像方法 |
Non-Patent Citations (6)
| Title |
|---|
| 刘铭鑫 ; 张新 ; 王灵杰 ; 史广维 ; 吴洪波 ; 付强 ; .压缩感知光谱成像技术的编码孔径与探测器匹配优化.中国光学.2020,(第02期),全文. * |
| 压缩感知光谱成像技术的编码孔径与探测器匹配优化;刘铭鑫;张新;王灵杰;史广维;吴洪波;付强;;中国光学(第02期);全文 * |
| 多孔径压缩编码超分辨率大视场成像方法;袁影;王晓蕊;吴雄雄;穆江浩;张艳;;红外与激光工程(第08期);全文 * |
| 袁影 ; 王晓蕊 ; 吴雄雄 ; 穆江浩 ; 张艳 ; .多孔径压缩编码超分辨率大视场成像方法.红外与激光工程.2017,(第08期),全文. * |
| 计算成像技术及应用最新进展;邵晓鹏;刘飞;李伟;杨力铭;杨思原;刘佳维;;激光与光电子学进展(第02期);全文 * |
| 邵晓鹏 ; 刘飞 ; 李伟 ; 杨力铭 ; 杨思原 ; 刘佳维 ; .计算成像技术及应用最新进展.激光与光电子学进展.(第02期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116609942A (zh) | 2023-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210063963A1 (en) | Holographic light field imaging device and method of using the same | |
| CN116609942B (zh) | 一种分孔径压缩感知偏振超分辨率成像方法 | |
| CN105589210B (zh) | 一种基于光瞳调制的数字化合成孔径成像方法 | |
| CN108844464B (zh) | 基于纠缠双光子信号的压缩感知成像装置和方法 | |
| CN109828285B (zh) | 一种双波段时域压缩感知高速成像方法及装置 | |
| CN113365014B (zh) | 一种并行压缩感知gpu加速实时成像系统与方法 | |
| CN116245726A (zh) | 基于深度学习框架的压缩感知偏振超分辨成像方法 | |
| CN109447891A (zh) | 一种基于卷积神经网络的光谱成像系统的高质量成像方法 | |
| CN104570000A (zh) | 一种基于混沌压缩编码的光学综合孔径成像系统及方法 | |
| US20070147677A1 (en) | Determining Intensity Similarity in Low-Light Conditions Using the Poisson-Quantization Noise Model | |
| CN111833265A (zh) | 一种基于组稀疏循环调制的鬼成像图像恢复方案 | |
| Zhang et al. | MEMS-based super-resolution remote sensing system using compressive sensing | |
| CN110751700A (zh) | 用于单像素成像的采样和重建集成深度学习网络及其训练方法 | |
| CN111426383A (zh) | 机器学习优化稀疏基的高光谱全偏振图像压缩重构方法 | |
| Shi et al. | Rapid all-in-focus imaging via physical neural network optical encoding | |
| Guo et al. | Data acquisition and preparation for dual-reference deep learning of image super-resolution | |
| Li et al. | Generative adversarial network for superresolution imaging through a fiber | |
| CN114638758A (zh) | 一种基于压缩感知的光谱成像技术进行受损图像的恢复重构方法 | |
| CN109447890A (zh) | 一种基于卷积神经网络的光谱成像系统的编码优化方法 | |
| CN109781260B (zh) | 超紧凑型快照式偏振光谱成像探测装置及探测方法 | |
| CN107580164A (zh) | 一种单次测量的压缩感知超分辨率成像系统及其成像方法 | |
| Gribl et al. | Synthetic astronomical image sequence generation | |
| CN116858378A (zh) | 压缩编码与轴向衍射联合调制的光谱成像装置及设计方法 | |
| CN220084172U (zh) | 基于衍射透镜的快照式多光谱成像装置 | |
| Deng et al. | High fidelity single-pixel imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |