CN113219650B - 一种高分辨率大视场空间光学遥感器的设计方法 - Google Patents
一种高分辨率大视场空间光学遥感器的设计方法 Download PDFInfo
- Publication number
- CN113219650B CN113219650B CN202110321731.6A CN202110321731A CN113219650B CN 113219650 B CN113219650 B CN 113219650B CN 202110321731 A CN202110321731 A CN 202110321731A CN 113219650 B CN113219650 B CN 113219650B
- Authority
- CN
- China
- Prior art keywords
- field
- image
- view
- optical system
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 78
- 238000013461 design Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005457 optimization Methods 0.000 claims abstract description 19
- 238000009792 diffusion process Methods 0.000 claims abstract description 13
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 210000001747 pupil Anatomy 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000003672 processing method Methods 0.000 abstract description 2
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000004075 alteration Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
一种高分辨率大视场空间光学遥感器的设计方法,首先以高分辨率大视场光学系统各视场点扩散函数一致性为光学系统优化目标,对光学系统进行优化设计,得到各视场点扩散函数近似一致的光学系统,清晰景物图像通过设计的光学系统得到视场内均匀模糊的中间图像,通过计算复原的方法,提高全视场内图像像质。由于将高分辨率大视场空间光学遥感器的设计难度分为硬件和软件实现两部分,降低了硬件的加工制造难度,使得在现有的加工方法下可以实现更高分辨率及更大视场的光学遥感器的设计制造。由于采用了以各视场点扩散函数一致性为光学系统优化目标,提高了光学系统对边缘视场的信息收集能力,降低了图像复原的难度,提高了图像复原的质量。
Description
技术领域
本发明涉及一种高分辨率大视场空间光学遥感器的设计方法,可应用于我国高分辨率大视场空间光学遥感器的设计,实现更高分辨率及更大视场的空间光学遥感器设计。
背景技术
高分辨率大视场成像是航天光学遥感器面临的一个技术挑战,采用传统设计手段难以兼得,其根本原因是:受限于光学元件的材料,高分辨率遥感器一般采用反射式光学系统。反射式光学系统的像差校正能力有限,轴外像差校正能力差。常见的增大遥感器视场的方法包括采用多镜头视场拼接方式、扫描镜/卫星摆扫方式、自由曲面光学设计方式。多镜头视场拼接方式,利用多台具有较小视场的遥感器拼接,用以增大视场。但是需要多台遥感器,增大载荷的重量、功耗,多台遥感器直接的一致性极难保证,后续图像存在缺陷。扫描镜/卫星摆扫方式,利用在轨调整相机光轴指向,来增大对地幅宽,但是运动会降低系统可靠性,对不同区域目标需要分时探测,使得对于时敏目标的探测能力大幅降低。自由曲面光学设计方式,采用非对称结构形式,提升轴外像差平衡能力,从而显著改善了光学系统的视场适应能力,但是,自由曲面设计表征难度大,计算繁复,耗时长,加工、测试、装调难度大。
随着计算机技术的发展,计算被引入到成像中,通过计算降低硬件设计的难度,是解决高分辨率与大视场矛盾的一种有效途径。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提出一种高分辨率大视场空间光学遥感器的设计方法,解决高分辨率大视场航天光学遥感器设计中高分辨率与大视场难以兼得的难题,引入计算成像的思想,采用光学系统“硬件”设计结合算法“软件”复原的思想,降低光学设计难度,以实现更高分辨率及更大视场的空间光学遥感器设计。
本发明的技术方案是:一种高分辨率大视场空间光学遥感器的设计方法,包括以下步骤:
1)以各视场点扩散函数一致性为优化目标设计光学系统,
2)利用设计的光学系统对目标进行成像,得到各视场均匀模糊的中间图像;
3)对各视场均匀模糊的中间图像进行图像复原,得到高像质的清晰图像。
所述步骤1)中设计光学系统的具体设计方法为:首先按照常规光学设计方法以像质最优为优化目标设计具有实出瞳的光学系统,在设计好的光学系统中,在光学系统的出瞳面位置添加自由曲面,将自由曲面的泽尼克系数设置为优化变量,以衍射圈入能量优化操作数控制点扩散函数形状,以高斯函数作为优化的点扩散函数形状,通过优化各个视场像面x方向能量分布、y方向能量分布和衍射圈入能量,来达到控制光学系统点扩散函数形状的目的;将各视场的衍射圈入能量优化操作数设置为同一优化数值,保证各视场的点扩散函数的一致性,进行优化得到设计好的光学系统。
所述步骤2)中,若光学系统已经加工投产完毕,则用系统直接拍摄采集图像,若系统处于仿真验证阶段,可以采用光学设计软件进行系统图像仿真,或采用各视场分块卷积拼接生成各视场均匀模糊的仿真中间图像。
所述步骤3)中图像复原方法,具体采用分块解卷积或采用网络学习的方法。
当采用分块解卷积时,根据光学系统设计的各视场点扩散函数形状的差异,选择分块区域大小,保证在同一区域点扩散函数差异在允许范围内,若全视场内点扩散函数差异都很小,则对整幅图像采用同一点扩散函数进行复原。
当采用网络学习的方式时,采用经过光学系统得到的各视场均匀的模糊图像,和清晰图像作为网络的训练样本对,在训练过程中,对得到的各视场均匀的模糊图像加入不同的噪声作为训练样本。
本发明与现有技术相比的优点在于:
1、现有高分辨率大视场空间光学遥感器采用多镜头视场拼接方式、扫描镜/卫星摆扫方式、自由曲面光学设计方式来提高成像视场,本发明采用光学系统硬件设计结合软件算法复原的方式,由于将高分辨率大视场空间光学遥感器的设计难度分为硬件和软件实现两部分,降低了硬件的加工制造难度,使得在现有的加工方法下可以实现更高分辨率及更大视场的光学遥感器的设计制造。
2、现有高分辨率大视场空间光学遥感器光学设计以成像像质最优为设计目标,本发明以各视场点扩散函数一致性为设计目标,使得各视场成像像质趋于一致,相比现有方法,提高了光学系统对边缘视场的信息收集能力,即提高了全视场最差成像像质,对于大视场区域可以得到更多目标信息。
3、现有大视场模糊图像像质提升方法常采用分视场解卷积或深度学习的方法,本发明采用了各视场点扩散函数一致性的光学设计,由于各视场点扩散函数的一致性较好,降低了图像复原的难度,提高了图像复原的质量。
附图说明
图1为本发明所提方法的流程图;
图2为神经网络训练流程图;
图3以各视场点扩散函数一致性为优化目标设计的离轴三反系统;
图4以各视场点扩散函数一致性为优化目标设计后各视场PSF;
图4(a)(0,0.0125)视场PSF;
图4(b)(0.58,-0.0125)视场PSF;
图4(c)(0.86,-0.0125)视场PSF;
图4(d)(1.2,-0.0125)视场PSF;
图4(e)(1.6,-0.0125)视场PSF;
图4(f)(2,-0.0125)视场PSF;
图4(g)(2.5,-0.0125)视场PSF
图5为选定图片示例;
图6各视场均匀模糊的中间图像示例;
图7测试原始图;
图8测试中间图像;
图9恢复图像。
具体实施方式
本发明所提方法的实现流程图如附图1所示。具体叙述如下:
所要拍摄景物经过设计的光学系统得到中间模糊图像,再经过图像复原算法,得到高分辨率大视场的清晰景物图像。
其中光学系统以各视场点扩散函数一致性为设计优化目标,区别于传统设计方法中以成像质量最优为设计目标的设计方法。传统光学设计方法得到中间像质好,边缘像质差的光学成像系统。在各视场点扩散函数一致性优化设计中,设计得到的各视场点扩散函数一致性较好,光学成像系统中间视场成像像质降低,边缘视场成像像质提高,光学系统成像区域整体像质均匀且边缘视场图像模糊程度较小,使得后续图像复原算法对边缘视场复原精度更高。
图像复原算法可以采用分视场解卷积方法或神经网络学习复原的方式来消除光学设计中残余的像差。
由于各视场点扩散函数一致性较好,相比于传统光学设计方法得到的光学系统,采用分视场解卷积的方式,可以划分更少的视场区域,获得更高的复原精度,加快运算速度。
采用神经网络学习复原的方法,首先对网络模型进行训练,再利用训练好的网络模型对中间模糊图像进行复原。神经网络训练方式如图2所示,具体描述如下:将原始图像经过光学系统生成中间模糊图像,用中间模糊图像和原始图像作为神经网络的输入和输出,对网络进行训练,得到用于对中间图像进行恢复的网络。
下面详细说明本发明的一种高分辨率大视场计算成像方法的一个典型实施例,对本发明进行进一步的具体描述。有必要在此指出的是,以下实施例只用于本发明做进一步的说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出一些非本质的改进和调整,仍属于本发明的保护范围。
本发明提出一种采用光学设计结合图像复原的方法实现高分辨率大视场成像的方法,具体如下:
步骤一:以离轴三反光学系统为例,进行光学优化设计,以各视场点扩散函数相似程度作为光学设计的优化目标,在光学设计软件中进行优化,得到各视场近似相同的点扩散函数,优化后的光学系统如图3所示,优化后得到的各视场点扩散函数如图4所示。设计中各(x,y)方向视场分别为(0,0.0125),(0.58,-0.0125),(0.86,-0.0125),(1.2,-0.0125),(1.6,-0.0125),(2,-0.0125),(2.5,-0.0125)
步骤二:选定一系列清晰图像作为原始图像,示例图片如附图5所示。通过光学设计软件的图像仿真功能,利用设计得到的光学系统,生成对应的各视场均匀模糊的中间图像,如图6所示
步骤三:将模糊图像和清晰图像组成训练集,训练神经网络的权重参数,最终利用训练好的网络对拍摄得到的中间模糊图像进行图像复原。
本实施例使用UNet作为图像重建网络,该网络使用了一对完全对称的编码、解码结构。网络在编码的过程中进行下采样,缩小特征图大小并扩大感知范围提取更高层次的上下文特征;在解码过程中进行上采样,重构图像信息,并连接编码器中相应层的特征。通过结合网络中的浅层和深层特征,可以有效地结合大范围的上下文特征和小范围的局部细节信息,从而在图片分割、降噪等任务上取得了很好的效果。
编码过程为:网络的编码过程利用卷积和最大池化操作对图像进行编码和下采样。具体来说,首先对输入图像进行两次卷积操作,再重复使用2×2的最大池化和两次卷积,共4次最大池化和10次卷积操作。卷积核的大小固定为3×3,每次卷积操作后跟一次批归一化(Batch Normalization,BN)并使用修正线性单元(Rectified Linear Unit,ReLU)作为激活函数,通过为适当的零填充卷积操作不改变特征图的大小。最大池化操作对特征图进行下采样,没经过一次最大池化特征图的大小减小一半。
解码过程为:网络解码过程对编码得到的特征图重复进行上采样和两次3×3的卷积,共进行4次采样和8次卷积操作,最终得到和输入图片相同大小的特征图。实践中在上采样时使用了双线性插值,每次上采样后特征图变为之前的两倍大小,并将特征与编码过程中得到的相同大小的特征图(选择下采样前的特征图)进行连接,再对连接得到的特征图进行两次3×3的卷积,同样使用批归一化和修正线性单元作为激活函数。在最后使用一层1×1的卷积将高维特征映射到需要的输出维度上作为网络的输出。
利用测试数据对网络进行测试,测试原始图如图7所示,测试中间模糊图像如图8所示,测试恢复图像如图9所示,恢复图像与原始图像的SSIM为93.4983。
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。
Claims (1)
1.一种高分辨率大视场空间光学遥感器的设计方法,其特征在于包括以下步骤:
1)以各视场点扩散函数一致性为优化目标设计光学系统,
2)利用设计的光学系统对目标进行成像,得到各视场均匀模糊的中间图像;
3)对各视场均匀模糊的中间图像进行图像复原,得到高像质的清晰图像;
所述步骤1)中设计光学系统的具体设计方法为:首先按照常规光学设计方法以像质最优为优化目标设计具有实出瞳的光学系统,在设计好的光学系统中,在光学系统的出瞳面位置添加自由曲面,将自由曲面的泽尼克系数设置为优化变量,以衍射圈入能量优化操作数控制点扩散函数形状,以高斯函数作为优化的点扩散函数形状,通过优化各个视场像面x方向能量分布、y方向能量分布和衍射圈入能量,来达到控制光学系统点扩散函数形状的目的;将各视场的衍射圈入能量优化操作数设置为同一优化数值,保证各视场的点扩散函数的一致性,进行优化得到设计好的光学系统;
所述步骤2)中,若光学系统已经加工投产完毕,则用系统直接拍摄采集图像,若系统处于仿真验证阶段,可以采用光学设计软件进行系统图像仿真,或采用各视场分块卷积拼接生成各视场均匀模糊的仿真中间图像;
所述步骤3)中图像复原方法,具体采用分块解卷积或采用网络学习的方法;
当采用分块解卷积时,根据光学系统设计的各视场点扩散函数形状的差异,选择分块区域大小,保证在同一区域点扩散函数差异在允许范围内,若全视场内点扩散函数差异都很小,则对整幅图像采用同一点扩散函数进行复原;
当采用网络学习的方式时,采用经过光学系统得到的各视场均匀的模糊图像,和清晰图像作为网络的训练样本对,在训练过程中,对得到的各视场均匀的模糊图像加入不同的噪声作为训练样本。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321731.6A CN113219650B (zh) | 2021-03-25 | 2021-03-25 | 一种高分辨率大视场空间光学遥感器的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110321731.6A CN113219650B (zh) | 2021-03-25 | 2021-03-25 | 一种高分辨率大视场空间光学遥感器的设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113219650A CN113219650A (zh) | 2021-08-06 |
CN113219650B true CN113219650B (zh) | 2022-08-12 |
Family
ID=77084144
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110321731.6A Active CN113219650B (zh) | 2021-03-25 | 2021-03-25 | 一种高分辨率大视场空间光学遥感器的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113219650B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113674170A (zh) * | 2021-08-13 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
CN115499566B (zh) * | 2022-08-26 | 2023-09-15 | 四川大学 | 基于深度计算光学元件的端到端高质量消色差成像系统 |
CN115933180B (zh) * | 2023-01-10 | 2023-07-04 | 哈尔滨工业大学 | 一种光学注意力机制超简镜头设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016210A (zh) * | 2016-12-21 | 2017-08-04 | 哈尔滨工业大学 | 一种菲涅尔衍射光学系统的成像质量仿真方法 |
CN110458901A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于计算成像的光电成像系统的全局性优化设计方法 |
CN111221122A (zh) * | 2020-03-18 | 2020-06-02 | 长春理工大学 | 较大视场强容差超分辨望远成像系统设计方法 |
CN111553866A (zh) * | 2020-05-11 | 2020-08-18 | 西安工业大学 | 一种大视场自适应光学系统点扩散函数估计方法 |
CN112116539A (zh) * | 2020-09-08 | 2020-12-22 | 浙江大学 | 一种基于深度学习的光学像差模糊去除方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3071344B1 (fr) * | 2017-09-20 | 2019-09-13 | Idemia Identity And Security | Procede de determination d'une fonction d'etalement de point d'un systeme d'imagerie |
-
2021
- 2021-03-25 CN CN202110321731.6A patent/CN113219650B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016210A (zh) * | 2016-12-21 | 2017-08-04 | 哈尔滨工业大学 | 一种菲涅尔衍射光学系统的成像质量仿真方法 |
CN110458901A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于计算成像的光电成像系统的全局性优化设计方法 |
CN111221122A (zh) * | 2020-03-18 | 2020-06-02 | 长春理工大学 | 较大视场强容差超分辨望远成像系统设计方法 |
CN111553866A (zh) * | 2020-05-11 | 2020-08-18 | 西安工业大学 | 一种大视场自适应光学系统点扩散函数估计方法 |
CN112116539A (zh) * | 2020-09-08 | 2020-12-22 | 浙江大学 | 一种基于深度学习的光学像差模糊去除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113219650A (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113219650B (zh) | 一种高分辨率大视场空间光学遥感器的设计方法 | |
CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
Deora et al. | Structure preserving compressive sensing MRI reconstruction using generative adversarial networks | |
CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
CN113658040B (zh) | 一种基于先验信息和注意力融合机制的人脸超分辨方法 | |
CN108573479A (zh) | 基于对偶生成对抗式网络的人脸图像去模糊和恢复方法 | |
CN105931196A (zh) | 基于傅里叶光学建模的编码光圈相机图像恢复方法 | |
Zhou et al. | High-frequency details enhancing DenseNet for super-resolution | |
CN112163998A (zh) | 一种匹配自然降质条件的单图像超分辨率分析方法 | |
Rasheed et al. | LSR: Lightening super-resolution deep network for low-light image enhancement | |
CN112529776A (zh) | 图像处理模型的训练方法、图像处理方法及装置 | |
CN110599585A (zh) | 基于深度学习的单图像人体三维重建方法及装置 | |
CN115170915A (zh) | 一种基于端到端注意力网络的红外与可见光图像融合方法 | |
CN117392496A (zh) | 基于红外与可见光图像融合的目标检测方法及系统 | |
CN107220945B (zh) | 多重退化的极模糊图像的复原方法 | |
CN116433518A (zh) | 一种基于改进Cycle-Dehaze神经网络的火灾图像烟雾去除方法 | |
CN103971335B (zh) | 一种基于置信度核回归的图像超分辨率重建方法 | |
Puttagunta et al. | Swinir transformer applied for medical image super-resolution | |
CN117217997A (zh) | 一种基于上下文感知边缘增强的遥感图像超分辨率方法 | |
Cui et al. | RestoreDet: Degradation equivariant representation for object detection in low resolution images | |
CN117151983A (zh) | 一种基于小波启发和高频增强的图像全色锐化方法 | |
CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
Liao et al. | Pyramid Spatial Feature Transform and Shared-Offsets Deformable Alignment Based Convolutional Network for HDR Imaging | |
CN115471414A (zh) | 基于曝光成像模型和模块化深度网络的图像去雨雪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |