CN114137005B

CN114137005B - 一种分布式多模衍射成像方法

Info

Publication number: CN114137005B
Application number: CN202111486350.XA
Authority: CN
Inventors: 江世凯; 胡建明; 智喜洋; 张伟; 董俊廷; 鲍广震; 施天俊; 王达伟
Original assignee: Harbin Institute of Technology
Current assignee: Harbin Institute of Technology
Priority date: 2021-12-07
Filing date: 2021-12-07
Publication date: 2023-07-21
Anticipated expiration: 2041-12-07
Also published as: CN114137005A

Abstract

本发明公开了一种分布式多模衍射成像方法，所述方法包括如下步骤：步骤一：根据应用需求设计分布式多模衍射成像系统，获取多视场、多谱段的时序图像；步骤二：对获取的多视场、多谱段的时序图像进行配准；步骤三：融合多视场、多谱段、多时相信息，实现超分辨率重建；步骤四：利用图像复原算法提升图像传递函数，去除非设计级次衍射光产生的背景辐射，得到高分辨率图像。本发明利用分布式排列的多个子衍射系统单独成像，且具有不同探测谱段，图像间存在亚像素偏移，获取多视场、多谱段、多时相图像数据后，通过融合、超分、复原算法最终获取高分辨率图像，具有高分辨率、轻量化、成本低等优势，为高分辨率光学卫星载荷跨越式发展提供了技术途径。

Description

一种分布式多模衍射成像方法

技术领域

本发明属于光学成像领域，涉及一种图像获取方法，具体涉及一种超轻量化、高分辨率、软硬结合的光学遥感图像获取方法。

背景技术

高分辨率高质量的光学卫星遥感图像能够迅速、准确捕获地球表面及其局部区域的最新时空信息，在环境监测、军事侦察、测绘、监视、告警等方面发挥着重要作用，对战时、平时的国家军事、政治和经济的意义不言而喻，由于轨道的特殊性，高轨卫星可实现对地重点区域持续观测，具备高时、空分辨率的监视能力。理论上，静止轨道实现1～2m分辨率需要通过10m以上口径才可实现。传统的单体空间光学载荷采用折/反射光学系统，即通过透镜和反射镜等常规光学元件实现光的聚焦和像差校正进行成像，为满足高分辨率成像需求，不得不采用昂贵的光学材料、复杂的光学表面面形和更多的光学元件数量，造成价格高，复杂度及重量、体积大大增加，难以满足空间光学载荷同时具有超大口径、轻量化、加工周期短、成本低等特点的要求。迫切需求研究超高分辨率、轻量化、成本低的新型成像技术。

衍射成像系统是通过在光学基地材料表面刻蚀浮雕微结构来实现衍射成像，具有重量超轻、面型设计自由度高、易于折叠/展开等优点，是解决超大口径光学载荷空间应用技术瓶颈难题的最有前景的创新成像体制之一。但超大口径衍射成像系统需要设计主镜的折叠展开结构，拼接精度不足会严重制约各孔径间共像性能，另一方面，衍射元件口径越大，其边缘微结构栅格密度越大，衍射效率越低，造成成像性能下降，此外衍射元件还存在宽谱段成像难题。因此，有必要将硬件设计、加工、应用保障难度适当转移至后端超分辨率重建算法，紧密结合硬件、软件匹配设计，提出新的超高分辨率、轻量化成像方法。

发明内容

本发明的目的是面向超高分辨率高质量的光学遥感成像技术发展需求，提出一种分布式多模衍射成像方法，将前端系统设计与后端处理算法有机结合，利用多个分布式排列的衍射子系统获取多视场、多谱段的时序图像，结合配准、超分、复原等后端处理算法，获取高分辨率图像。

本发明的目的是通过以下技术方案实现的：

一种分布式多模衍射成像方法，包括如下步骤：

步骤一：根据应用需求设计分布式多模衍射成像系统，获取多视场、多谱段的时序图像，其中：

分布式多模衍射成像系统由若干个分布式排列的子衍射系统组成，每个子衍射系统独立成像，排列方式不限于环形或矩阵结构；

每个子衍射系统的主镜均采用轻量化衍射元件，可采用单体衍射透镜结构，如菲涅尔透镜或光子筛结构，表面微结构根据具体焦距、谱段需求进行设计，对于无轻量化要求的应用场景，主镜也可采用传统折射/反射镜。

每个子衍射系统具有不同探测谱段，子衍射系统图像间存在亚像素视场偏移；

步骤二：对步骤一获取的多视场、多谱段的时序图像进行配准，所述配准方法为以基于金字塔结构的由粗到细的配准方法；

步骤三：采用小波融合、PCA融合、凸集投影或MAP等方法融合多视场、多谱段、多时相信息，实现超分辨率重建；

步骤四：利用图像复原算法提升图像传递函数，去除非设计级次衍射光产生的背景辐射，得到高分辨率图像，具体步骤如下：

在正则化图像复原模型基础上，将衍射效率影响引入正则化图像复原模型，得到正则化方程为：

式中，G为步骤三中超分辨率重建得到的图像结果，F为最终图像复原结果，分别是水平差分滤波器与竖直差分滤波器，H为系统传递函数，χ为可信度参数，δ为脉冲响应函数，η为系统衍射效率，||·||₁、||·||₂分别表示1范数、2范数计算符号；

正则化方程的求解步骤如下：

(1)设初始迭代图像F₁＝G，在第j次迭代中，计算中间变量ω_j：

ω_j＝v-tH^T(HF_j-v)；

式中，v表示利用差分滤波器得到的高频图像，t为阈值，F_j表示第j次迭代时的清晰图像计算结果；

(2)利用软阈值算法更新图像，计算公式为：

F_j+1＝max(|ω_j|-tχ,0)sign(ω_j)；

式中，max(·)表示最大值运算，sign(·)表示符号运算；

(3)重复步骤(1)和步骤(2)，当迭代次数达到预设值时，可得到图像复原结果，该图像即为最终高分辨率图像。

相比于现有技术，本发明具有如下优点：

(1)本发明创新性提出了一种分布式多模衍射成像方法，利用分布式排列的多个子衍射系统单独成像，且具有不同探测谱段，图像间存在亚像素偏移，获取多视场、多谱段、多时相图像数据后，通过融合、超分、复原算法最终获取高分辨率图像，具有高分辨率、轻量化、成本低等优势，为高分辨率光学卫星载荷跨越式发展提供了技术途径。

(2)多个子衍射系统独立成像，避免了孔径拼接精度不足造成的图像质量退化，另一方面，该系统中衍射元件微结构栅格密度相对较低，不仅有利于提高衍射效率保证成像质量，还能显著降低微结构刻蚀加工难度。

(3)各子系统具有不同的探测谱段，一定程度上解决了传统衍射系统的宽谱段成像难题，此外，通过后端处理算法匹配设计，实现多视场、多谱段、多时相图像的超分重建，有利于降低前端系统研制成本，同时设计融入衍射特性的图像复原方法，解决了衍射成像导致的模糊、背景辐射等问题，进一步提升图像分辨能力。

(4)该成像方法不仅能够应用于高分辨率光学遥感成像，还可应用于医学成像、地面监控成像、无人机成像等领域。

附图说明

图1为分布式多模衍射成像方法流程图；

图2为分布式多模衍射成像结构示意图；

图3为分布式多模衍射系统直接成像结果(不同视场、不同波段)；

图4为分布式多模衍射系统最终图像获取结果(多视场、多谱段时序图像融合超分复原结果)。

具体实施方式

下面结合附图对本发明的技术方案作进一步的说明，但并不局限于此，凡是对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，均应涵盖在本发明的保护范围中。

本发明提供了一种分布式多模衍射成像方法，如图1所示，所述方法包括如下步骤：

步骤一：根据应用需求设计分布式多模衍射成像系统，获取多视场、多谱段的时序图像。

本步骤中，分布式多模衍射成像系统由若干个分布式排列的子衍射系统组成，每个子衍射系统独立成像，主镜均采用轻量化衍射元件，且具有不同探测谱段，相邻子衍射系统图像间存在亚像素视场偏移，能够连续获取多视场、多谱段的图像数据，然后可通过超分重构与复原算法获取最终高分辨率成像结果。

本步骤中，根据任务与应用需求，分析分布式多模衍射成像系统的最终图像分辨率、子衍射系统数量、子衍射系统分辨率、谱段等指标，然后分析计算各个子衍射系统焦距、口径、探测器尺寸等参数，设计衍射主镜微结构、系统结构，最后，将各个子衍射系统进行分布式空间排列组装，使得相邻子系统图像间存在亚像素视场偏移，从而为图像超分辨率重建提供互补信息。

下面以某一具体案例进行说明：

在静止轨道实现铁轨线、调度塔、铁道交汇点的识别，需要约1m分辨率图像。根据该任务需求，可设计分布式八模衍射成像系统，系统结构概念图如图2所示，每个子衍射系统口径5m，焦距90m，探测器尺寸7.5μm。依据WorldView卫星，设8个子衍射系统谱段分别为：400～440nm、460～500nm、530～570nm、590～630nm、640～680nm、710～750nm、780～860nm和870～950nm。通过子衍射系统分布式空间排列组装，使得子衍射系统间图像存在1/3左右像素偏移。利用该系统直接成像可获取3m分辨率多视场、多谱段遥感数据，将8个子衍射系统图像进行超分、复原后，图像能够具备1.5m分辨能力，进一步引入多帧时序图像信息，即可获取1m分辨能力遥感图像，如图3、图4所示。

步骤二：对步骤一获取的多视场、多谱段的时序图像进行配准。

本步骤中，为实现多帧序列图像间高效、高精度、高鲁棒配准，以基于金字塔结构提出由粗到细的配准方法为例。首先将参考图像和待配准图像同时通过高斯滤波器两倍下采样至原图1/4，经过多次下采样得到的图像加上原始图像便构成了多层图像金字塔；然后在最小尺寸的图像上，根据偏微分方程解算位移与旋转参数。具体配准方法如下：

假设参考图像为I₁(x₁,y₁)，待配准图像为I₂(x₂,y₂)，即(x₁,y₁)表示参考帧中的点，而(x₂,y₂)表示变换后的对应点，则图像间的关系可以采用如下的刚体变化模型表示：

式中，a、b和θ为待求的三个运动估计参数，a为水平方向位移，b为垂直方向位移，θ为旋转角度，即：

I₂(x₂,y₂)＝I₁(x₁cosθ-y₁sinθ+a,y₁cosθ+x₁sinθ+b) (2)。

当θ较小时，用泰勒级数展开cosθ和sinθ，可得到：

I₂(x₂,y₂)≈I₁(x₁+a-y₁θ-x₁θ²/2,y₁+b+x₁θ-y₁θ²/2) (3)。

采用偏导数近似表示可得：

则误差函数E可表示为：

为使得E(a,b,θ)最小，上式分别对a、b、θ三个参数求偏导并令其结果等于零，再忽略高阶小量可得到如下方程组：

其中：

D＝I₂(x₂,y₂)-I₁(x₁,y₁) (8)。

然后利用结算结果对金字塔下一层的图像进行变换，使得参考图像和待配准图像更加接近，直至达到金字塔最下层，实现图像高精度配准。

步骤三：融合多视场、多谱段、多时相信息，实现超分辨率重建。

本步骤中，采用小波融合、PCA融合、凸集投影或MAP等方法融合多视场、多谱段、多时相图像信息，提高图像分辨能力。

以基于凸集投影(POCS)的图像超分辨率重建方法为例，该方法利用一系列凸约束集合描述图像的先验信息和特性，如能量有界性、数据可靠性等，通过不断的对凸约束集合进行迭代投影计算，最终在解空间中确定收敛解，得到高分辨率图像。设配准后的低分辨率图像序列为{g₁,g₂,g₃···g_N}，分布式多模衍射成像系统图像超分辨率方法流程如下：

首先选取低分辨率图像g₁作为参考图像，采用插值方法得到初始高分辨率图像估计f₁，其次利用其他低分辨率图像将高分辨率图像估计向约束凸集进行投影，使用的凸集投影算子包括数据可靠性凸集算子与能量有界性凸集算子，投影计算迭代过程可表示为：

f_i+1＝P_AP_Bf_i (9)；

式中，P_A为能量有界性凸集算子，P_B为数据可靠性凸集算子。

能量有界性凸集算子依据图像能量的有界性对图像像素灰度范围进行约束，具体形式可表示为：

式中，m₁,m₂表示高分辨率图像单个像素行列序数。

数据可靠性凸集算子通过建立低分辨率退化图像与高分辨率图像之间的约束关系，保证重建后图像与目标场景之间在信息内容上的一致性。数据可靠性凸集的表示形式为：

式中，n₁,n₂表示低分辨率图像单个像素行列序数，r为高分辨率图像与对应低分辨率图像之间的偏差，即约束关系，可表示为：

式中，g(n₁,n₂)表示系统观测得到的低分辨率图像，f(m₁,m₂)为当前估计的系统高分辨率图像，D(n₁,n₂；m₁,m₂)为系统探测器下采样矩阵。

数据可靠性凸集算子可表示为：

式中，下标i表示第i次迭代得到的相关变量，φ₀为误差容限。在该数据可靠性凸集算子中，高分辨率图像与对应低分辨率图像之间的偏差被限制在误差容限以内，误差容限的大小取决于退化图像噪声，噪声越大，误差容限越大。因此需要考虑噪声对光学成像系统的影响，以设置合理的噪声误差容限。

可假设衍射光学成像系统探测器噪声n由满足泊松分布的噪声与满足高斯分布的噪声组成，其概率分布公式，可设置误差容限满足：

式中，c为自定义的误差容限系数，和λ分别为高斯噪声和泊松噪声方差。

经过不断迭代，该模型最终获得目标场景超分辨率重建结果。

步骤四：利用图像复原算法提升图像传递函数，去除非设计级次衍射光产生的背景辐射。

在正则化图像复原模型基础上，为了在提升清晰度的同时去除非设计级次衍射光造成的背景辐射，将衍射效率影响引入图像复原模型，得到正则化方程为：

式中，G为步骤三中超分辨率重建得到的图像结果，F为最终图像复原结果，分别是水平差分滤波器与竖直差分滤波器，H为系统传递函数，χ为可信度参数，δ为脉冲响应函数，η为系统衍射效率，||·||₁、||·||₂分别表示1范数、2范数计算符号。

该模型可利用迭代收缩阈值算法进行求解：

ω_j＝v-tH^T(HF_j-v) (16)；

式中，v表示利用差分滤波器得到的高频图像，t为阈值，F_j表示第j次迭代时的清晰图像计算结果。

(2)利用软阈值算法更新图像，计算公式为：

F_j+1＝max(|ω_j|-tχ,0)sign(ω_j) (17)

式中，max(·)表示最大值运算，sign(·)表示符号运算。

(3)不断按照公式(16)、(17)迭代运算，迭代次数达到预设值时，可得到图像复原结果，该图像即为本发明分布式多模衍射成像方法获取的最终高分辨率图像。

Claims

1.一种分布式多模衍射成像方法，其特征在于所述方法包括如下步骤：

步骤一：根据应用需求设计分布式多模衍射成像系统，获取多视场、多谱段的时序图像；

步骤二：对步骤一获取的多视场、多谱段的时序图像进行配准，具体配准方法如下：

假设参考图像为，待配准图像为/>，即/>表示参考帧中的点，而/>表示变换后的对应点，则图像间的关系采用如下的刚体变化模型表示：

；

式中，、/>和/>为待求的三个运动估计参数，/>为水平方向位移，/>为垂直方向位移，/>为旋转角度，即：

；

当较小时，用泰勒级数展开/>和/>，得到：

；

采用偏导数近似表示得：

；

则误差函数E表示为：

；

为使得最小，上式分别对/>、/>、/>三个参数求偏导并令其结果等于零，再忽略高阶小量得到如下方程组：

；

其中：

；

然后利用结算结果对金字塔下一层的图像进行变换，使得参考图像和待配准图像更加接近，直至达到金字塔最下层，实现图像高精度配准；

步骤三：融合多视场、多谱段、多时相信息，实现超分辨率重建，具体步骤如下：

首先选取低分辨率图像作为参考图像，采用插值方法得到初始高分辨率图像估计/>，其次利用其他低分辨率图像将高分辨率图像估计向约束凸集进行投影，使用的凸集投影算子包括数据可靠性凸集算子与能量有界性凸集算子，投影计算迭代过程表示为：

；

式中，为能量有界性凸集算子，/>为数据可靠性凸集算子；

能量有界性凸集算子依据图像能量的有界性对图像像素灰度范围进行约束，具体形式表示为：

；

式中，表示高分辨率图像单个像素行列序数；

数据可靠性凸集算子通过建立低分辨率退化图像与高分辨率图像之间的约束关系，保证重建后图像与目标场景之间在信息内容上的一致性，数据可靠性凸集的表示形式为：

；

式中，表示低分辨率图像单个像素行列序数，/>为高分辨率图像与对应低分辨率图像之间的偏差，即约束关系，表示为：

；

式中，表示系统观测得到的低分辨率图像，/>为当前估计的系统高分辨率图像，/>为系统探测器下采样矩阵；

数据可靠性凸集算子表示为：

；

式中，下标i表示第i次迭代得到的相关变量，为误差容限；

假设衍射光学成像系统探测器噪声由满足泊松分布的噪声与满足高斯分布的噪声组成，其概率分布公式，设置误差容限满足：

；

式中，为自定义的误差容限系数，/>和/>分别为高斯噪声和泊松噪声方差；

经过不断迭代，该模型最终获得目标场景超分辨率重建结果；

；

式中，为步骤三中超分辨率重建得到的图像结果，/>为最终图像复原结果，，/>、/>分别是水平差分滤波器与竖直差分滤波器，H为系统传递函数，为可信度参数，/>为脉冲响应函数，/>为系统衍射效率，/>、/>分别表示1范数、2范数计算符号；

正则化方程的求解步骤如下：

（1）设初始迭代图像，在第j次迭代中，计算中间变量/>：

；

式中，v表示利用差分滤波器得到的高频图像，t为阈值，表示第j次迭代时的清晰图像计算结果；

（2）利用软阈值算法更新图像，计算公式为：

；

式中，表示最大值运算，/>表示符号运算；

（3）重复步骤（1）和步骤（2），当迭代次数达到预设值时，可得到图像复原结果，该图像即为最终高分辨率图像。

2.根据权利要求1所述的分布式多模衍射成像方法，其特征在于所述分布式多模衍射成像系统由若干个分布式排列的子衍射系统组成，其中：

每个子衍射系统独立成像；

每个子衍射系统具有不同探测谱段，子衍射系统图像间存在亚像素视场偏移。

3.根据权利要求2所述的分布式多模衍射成像方法，其特征在于所述子衍射系统的排列方式为环形或矩阵结构。

4.根据权利要求2所述的分布式多模衍射成像方法，其特征在于所述子衍射系统的主镜均采用单体衍射透镜结构或传统折射/反射镜。

5.根据权利要求4所述的分布式多模衍射成像方法，其特征在于所述单体衍射透镜结构为菲涅尔透镜或光子筛。