CN111986134B - 面阵相机遥感成像方法及装置 - Google Patents
面阵相机遥感成像方法及装置 Download PDFInfo
- Publication number
- CN111986134B CN111986134B CN202010868609.6A CN202010868609A CN111986134B CN 111986134 B CN111986134 B CN 111986134B CN 202010868609 A CN202010868609 A CN 202010868609A CN 111986134 B CN111986134 B CN 111986134B
- Authority
- CN
- China
- Prior art keywords
- remote sensing
- image
- frame
- satellite data
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 67
- 238000007499 fusion processing Methods 0.000 claims abstract description 26
- 230000010354 integration Effects 0.000 claims abstract description 17
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 26
- 230000015556 catabolic process Effects 0.000 claims description 17
- 238000006731 degradation reaction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- 238000005065 mining Methods 0.000 claims description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 abstract description 30
- 230000006872 improvement Effects 0.000 abstract description 15
- 230000009286 beneficial effect Effects 0.000 abstract description 8
- 230000001575 pathological effect Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 description 13
- 238000009825 accumulation Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种面阵相机遥感成像方法及装置，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。
Description
技术领域
本发明涉及遥感图像处理技术领域，特别是涉及一种面阵相机遥感成像方法及装置。
背景技术
天基光学遥感是一种获取对地观测信息的重要手段，广泛运用于国土测绘、环境监测、应急救灾和军事作战中。近几十年来，遥感技术得到了快速发展。随着我国星载面阵探测器的规划与投入使用，为新型对地遥感工作模式带来发展机遇，也为航天光学载荷获取丰富多源化遥感数据创造了有利条件。
其中，卫星平台、光学系统、探测器和电子学系统共同影响了在轨动态成像质量的高频信息，常规的对地遥感成像的设计中，都会有空间分辨率、信噪比和MTF(ModulationTransfer Function调制传递函数)等约束指标。载荷设计往往通过单一技术来解决某一项技术指标，例如，提高积分时间来提高信噪比，但往往会带来图像模糊导致MTF的下降。光学遥感的数据获取形式是以图像体现的，因此遥感图像质量直接制约着后端的应用。
综上，传统的面阵相机获取的遥感图像处理方式单一，难以全面提升图像质量。
发明内容
基于此，有必要针对传统的面阵相机获取的遥感图像处理方式单一，难以全面提升遥感图像质量的缺陷，提供一种面阵相机遥感成像方法及装置。
一种面阵相机遥感成像方法，包括步骤：
获取同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域；
根据卫星数据及重叠区域生成不同曝光度的遥感影像；
对遥感影像进行图像重建，以提升遥感影像的质量；
对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。
上述的面阵相机遥感成像方法，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。
在其中一个实施例中，获取同一观测区域内的多帧卫星数据并提取出各帧的重叠区域的过程，包括步骤：
对卫星数据进行帧间配准；其中，多帧卫星数据中的任一帧卫星数据为参考帧，任一帧卫星数据外的卫星数据为待配准帧；
将帧间配准后的卫星数据进行叠加并截取各帧卫星数据的公共区域。
在其中一个实施例中，在对卫星数据进行帧间配准的过程之前，还包括步骤：
对参考帧和待配准帧进行降采样。
在其中一个实施例中，对卫星数据进行帧间配准的过程，包括步骤：
根据SIFTGPU特征点匹配算法进行卫星数据的帧间配准；
根据RANSAC算法剔除误匹配点；
基于正确匹配的像素点对和仿射变换矩阵，获得配准后的卫星数据。
在其中一个实施例中，根据卫星数据及重叠区域生成不同曝光度的遥感影像的过程，包括步骤：
选取不同帧的重叠区域，根据选取结果的累计合成，生成对应曝光度的遥感影像。
在其中一个实施例中，对遥感影像进行图像重建的过程，包括步骤：
对遥感影像进行退化模型重建，得出退化矩阵；
基于多重变换域的重建方法对退化矩阵进行超分辨重建，挖掘遥感影像的稀疏性表达；
将稀疏性表达作为先验模型进行高分辨率图像重建。
在其中一个实施例中，对图像重建后的遥感影像进行融合处理的过程，包括步骤：
根据HDR图像融合算法对图像重建后的遥感影像进行融合处理。
一种面阵相机遥感成像装置，包括：
数据获取模块，用于获取同一观测区域内的多帧卫星数据并提取出各帧的重叠区域；
影像生成模块，用于根据卫星数据及重叠区域生成不同曝光度的遥感影像；
图像重建模块，用于对遥感影像进行图像重建，以提升遥感影像的质量；
融合处理模块，用于对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。
上述的面阵相机遥感成像装置，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。
一种计算机存储介质，其上存储有计算机指令，计算机指令被处理器执行时实现上述任一实施例的面阵相机遥感成像方法。
上述的计算机存储介质，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例的面阵相机遥感成像方法。
上述的计算机设备，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。
附图说明
图1为一实施方式的面阵相机遥感成像方法流程图；
图2为另一实施方式的面阵相机遥感成像方法流程图；
图3为帧间配准流程图；
图4为基于联合的亚像元配准流程图；
图5为多帧影像重叠区域裁切示意图；
图6为又一实施方式的面阵相机遥感成像方法流程图；
图7为基于多重变换域的超分辨率重建方法流程图；
图8为基于星载HDR图像融合流程示意图；
图9为一实施方式的面阵相机遥感成像装置模块结构示意图。
具体实施方式
为了更好地理解本发明的目的、技术方案以及技术效果，以下结合附图和实施例对本发明进行进一步的讲解说明。同时声明，以下所描述的实施例仅用于解释本发明，并不用于限定本发明。
本发明实施例提供一种面阵相机遥感成像方法。
图1为一实施方式的面阵相机遥感成像方法流程图，如图1所示，一实施方式的面阵相机遥感成像方法包括步骤S100至S103：
S100，获取同一观测区域内的多帧卫星数据并提取出各帧的重叠区域；
本实施例的面阵相机遥感成像方法应用的探测器包括卫星探测器或高空探测器等。作为一个较优的实施方式，通过获取星载面阵探测器的多时相遥感数据，作为步骤S100中的卫星数据。其中，星载面阵探测器获取的多时相遥感数据具有连续性和大幅宽的特点，不论是凝视模式还是推扫模式，相邻帧间的数据获取过程中都会产生位置偏移。因此，提取出每帧中的重叠区域，以获得每帧遥感影像的重叠区域。
为了更好地解释本实施例，本实施例以星载面阵探测器为例，获取星载面阵探测器连续快速曝光在极短的时间内同一观测区域的低动态范围的多帧数据x1,x2,x3,...,xn。
在其中一个实施例中，图2为另一实施方式的面阵相机遥感成像方法流程图，如图2所示，步骤S100中获取同一观测区域内的多帧卫星数据并提取出各帧的重叠区域的过程，包括步骤S200和S201：
S200，对卫星数据进行帧间配准；其中，多帧卫星数据中的任一帧卫星数据为参考帧，任一帧卫星数据外的卫星数据为待配准帧；
以星载面阵探测器为例，多帧数据x1,x2,x3,...,xn中选取一帧x1作为参考帧，其余帧x2,x3,...,xn作为待配准帧。
作为一个较优的实施方式，在步骤S200中对卫星数据进行帧间配准的过程之前，还包括步骤：
对参考帧和待配准帧进行降采样。
通过对参考帧和待配准帧降采样，以提高后续步骤S200中帧间配准的效率。
图3为帧间配准流程图，如图3所示，在其中一个实施例中，可通过差分算法、ICP(Iterative Closest Points迭代最近点)算法或RANSAC(Random Sample Consensus随机抽样一致)算法等机器视觉算法来实现帧间配准。
作为一个较优的实施方式，步骤S200中对卫星数据进行帧间配准的流程包括步骤：
根据SIFTGPU特征点匹配算法进行卫星数据的帧间配准；
根据RANSAC算法剔除误匹配点；
基于正确匹配的像素点对和仿射变换矩阵，获得配准后的卫星数据。
在其中一个实施例中，图4为基于联合的亚像元配准流程图，如图4所示，本实施例提出的一种基于亚像素联合的帧间配准方法，对于参考帧和待配准帧，采用基于CPU的SIFT算法进行影像特征点匹配，并利用RANSAC粗差点剔除方法去除误匹配的点，获取正确匹配点数，最后得出SIFTGPU粗匹配后的点，再分别对参考帧和SIFTGPU配准结果影像进行下采样，建立金字塔进行逐层转换迭代，利用基于灰度配准方法计算互相关，并进行GPU算法加速，获取迭代变换后影像的精细化配准结果。
以星载面阵探测器为例，基于SIFTGPU特征点匹配算法进行卫星数据的帧间配准，利用RANSAC算法剔除误匹配点，获取正确匹配的像素点对和仿射变换矩阵M1,M2,...,Mk，最终获得配准后的多帧影像结果xr1,xr2,xr3,...,xrn。
S201，将帧间配准后的卫星数据进行叠加并截取各帧卫星数据的公共区域。
图5为多帧影像重叠区域裁切示意图，如图5所示，以星载面阵探测器为例，对粗配准后的多帧影像xr1,xr2,xr3,...,xrn进行叠加，截取多帧影像的公共区域xrs1,xrs2,xrs3,...,xrsn。
S101，根据卫星数据及重叠区域生成不同曝光度的遥感影像；
其中，不同帧数的卫星数据及重叠区域的叠加结果，其曝光度不同。在其中一个实施例中，根据卫星数据及重叠区域生成不同曝光度的遥感影像的过程，包括步骤：选取不同帧的重叠区域，根据选取结果的累计合成，生成对应曝光度的遥感影像。
作为一个较优的实施方式，对裁切后的多帧影像重叠区域，选取其中的两帧或两帧以上采用虚拟数字TDI(Time Delay Integration时间延迟积分)技术进行信息累加合成，生成遥感图像。
在其中一个实施例中，选取两帧进行信息累加合成，生成曝光不足的图像，在多帧裁切区域中选择三帧进行信息累加合成，生成标准曝光的图像，再分别对多帧进行信息累加合成，生成曝光过度的图像。
以星载面阵探测器为例，在截取的多帧影像中选取第一帧xrs1和第二帧xrs2，进行像素累积合成生成曝光不足的影像H1。像素累积合成的方法如下公式：
F(x)＝W1f(x1)+W2f(x2)+W3f(x3)+...+Wnf(xn)
这里W1,W2,W3,...Wn表示不同帧影像的融合权重，F(x)表示融合后的影像结果，f(x1),f(x2),f(x3)...f(xn)分别表示需要融合的多帧影像。
在截取的多帧影像中选取前三帧xrs1,xrs2,xrs3，进行像素累积合成生成标准曝光的影像H2。
选取截取的多帧影像中n帧影像xrs1,xrs2,xrs3,...,xrsn进行像素累积合成生成曝光过度的影像H3
S102，对遥感影像进行图像重建，以提升遥感影像的质量；
其中，通过图像重建算法对遥感影像的图像重建，在融合前进一步提高遥感影像的质量。
在其中一个实施例中，图6为又一实施方式的面阵相机遥感成像方法流程图，如图6所示，步骤S102中对遥感影像进行图像重建的过程，包括步骤S300至S302：
S300，对遥感影像进行退化模型重建，得出退化矩阵；
其中，退化模型基于多重变换域的超分辨率重建，配合数字TDI技术，实现高动态范围的智能匹配与调节，避免局部区域过饱和，同时自动提升影像亮度等级，使低亮度区域的细节得到增强。
S301，基于多重变换域的重建方法对退化矩阵进行超分辨重建，挖掘遥感影像的稀疏性表达；
S302，将稀疏性表达作为先验模型进行高分辨率图像重建。
其中，引入先验概率知识增加对病态方程求解结果的限制条件，减小解空间，提升三种不同曝光度的影像的整体质量。
以星载面阵探测器为例，图7为基于多重变换域的超分辨率重建方法流程图，如图7所示，分别对不同曝光度的三张影像H1,H2,H3进行退化模型构建。
P＝DHMx+n
上式中，P是观测到的低分辨率卫星影像；D表示影像的欠采样矩阵；H表示影像模糊降质的过程；M是表示影像的位置错位和几何变形的矩阵；x是原始高分辨率卫星影像；n表示高斯噪声。通过低分辨率影像计算出退化模型参数，估算模糊退化矩阵H。
利用基于多重变换域的重建方法对三张影像H1,H2,H3进行超分辨率重建，挖掘图像的稀疏性表达，再把这种多重变换域稀疏性表达作为先验模型引入到高分辨率图像的重建过程，重建出高空间分辨率图像HSR1,HSR2,HSR3。
min{μ1||Wxw||1+μ2||Cxc||1+μ3||xs||1}
s.t.||P-DHMx||2≤θ
W为小波变换矩阵和C为曲波变换矩阵，θ表示图像中的高斯噪声的方差。在上式中，μ1，μ2，...μn表示在不同稀疏变换域中提供的不同权重。
S103，对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。
其中，通过图像融合算法对图像重建后的遥感影像进行融合处理，以提升遥感影像的整体质量，获得高分辨率的遥感影像。
在其中一个实施例中，基于图像融合算法的选定，对图像重建后的遥感影像进行融合处理的过程，包括步骤：
根据HDR(High Dynamic Range高动态范围)图像融合算法对图像重建后的遥感影像进行融合处理。
作为一个较优的实施方式，在根据HDR图像融合算法对图像重建后的遥感影像进行融合处理之前，通过拉普拉斯金字塔的方法，生成每张影像的对比度、饱和度和曝光度权重值，对此进行融合，生成融合金字塔。
图8为基于星载HDR图像融合流程示意图，如图8所示，以星载面阵探测器为例，采用拉普拉斯滤波器方法对超分辨率重建后三帧影像HSR1,HSR2,HSR3进行处理，来增强图像的边缘和细节，提高图像的对比度。
利用图像的对比度C(i,j,k)、曝光度E(i,j,k)和饱和度S(i,j,k)来判定HDR融合后图像的质量，保留多重曝光图像序列中的最佳部分来计算所需图像，生成高动态范围图像。
其中，ωC,ωE,ωS表示对比度、曝光度和饱和度的权重系数。对于指数ω＝0的情况我们暂不考虑，X(i,j,k)表示第k张图像在该像素位置(i,j)的最终强度中的贡献值。
在HDR图像融合过程中，沿着每个像素计算一个加权平均值来融合HSR1,HSR2,HSR3图像。为了得到一致的结果，在实现过程中对权重X(i,j,k)映射的值进行归一化，使得对于任意像素(i,j)，所有图像的权重贡献和为1。
其中，f(i,j)表示原始图像，R(i,j)表示HDR融合后的图像，为了避免不同曝光度图像输出的结果产生分裂的现象，在该过程中使用拉普拉斯金字塔来混合图像。
上述任一实施例的面阵相机遥感成像方法，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。同时针对星载面阵探测器，采用基于嵌入式GPU并行加速的方法，分别对虚拟数字TDI技术、基于联合的影像配准技术、超分辨率重建技术以及HDR图像融合算法进行加速，在保证算法精度的同时，有效提升算法的运算效率。
本发明实施例还提供一种面阵相机遥感成像装置。
图9为一实施方式的面阵相机遥感成像装置模块结构示意图，如图9所示，一实施方式的面阵相机遥感成像装置包括模块100、模块101、模块102和模块103：
数据获取模块100，用于获取同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域；
影像生成模块101，用于根据卫星数据及重叠区域生成不同曝光度的遥感影像；
图像重建模块102，用于对遥感影像进行图像重建，以提升遥感影像的质量；
融合处理模块103，用于对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。
上述任一实施例的面阵相机遥感成像装置，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。同时针对星载面阵探测器，采用基于嵌入式GPU并行加速的方法，分别对虚拟数字TDI技术、基于联合的影像配准技术、超分辨率重建技术以及HDR图像融合算法进行加速，在保证算法精度的同时，有效提升算法的运算效率。
本发明实施例还提供了一种计算机存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述任一实施例的面阵相机遥感成像方法。
本领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、终端、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、RAM、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
与上述的计算机存储介质对应的是，在一个实施例中还提供一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行程序时实现如上述各实施例中的任意一种面阵相机遥感成像方法。
上述计算机设备，在获取到同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域后，根据卫星数据及重叠区域生成不同曝光度的遥感影像，再对遥感影像进行图像重建，求解一个病态方程，以实现遥感影像的质量提升，最后对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像。基于此，改善探测器受星载光学相机的限制，在不改变光学系统的前提下，实现面阵相机遥感影像成像质量的整体提升，且有利于降低了光学相机载荷的体积与重量。同时针对星载面阵探测器，采用基于嵌入式GPU并行加速的方法，分别对虚拟数字TDI技术、基于联合的影像配准技术、超分辨率重建技术以及HDR图像融合算法进行加速，在保证算法精度的同时，有效提升算法的运算效率。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种面阵相机遥感成像方法，其特征在于，包括步骤：
获取同一积分时间虚拟形成的不同曝光时间的观测区域内多帧卫星数据并提取出各帧的重叠区域；
所述获取同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域的过程，包括步骤：
对所述卫星数据进行帧间配准；其中，所述多帧卫星数据中的任一帧卫星数据为参考帧，所述任一帧卫星数据外的卫星数据为待配准帧；
将帧间配准后的卫星数据进行叠加并截取各帧卫星数据的公共区域；
根据所述卫星数据及所述重叠区域生成不同曝光度的遥感影像；
根据所述卫星数据及所述重叠区域生成不同曝光度的遥感影像的过程，包括步骤：
选取不同帧的重叠区域，根据所述选取结果的累计合成，生成对应曝光度的遥感影像；
对所述遥感影像进行图像重建，以提升所述遥感影像的质量；
对所述遥感影像进行图像重建的过程，包括步骤：
对所述遥感影像进行退化模型重建，得出退化矩阵；
基于多重变换域的重建方法对所述退化矩阵进行超分辨重建，挖掘所述遥感影像的稀疏性表达；
将所述稀疏性表达作为先验模型进行高分辨率图像重建；
对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像；
所述对图像重建后的遥感影像进行融合处理的过程，包括步骤：
根据HDR图像融合算法对图像重建后的遥感影像进行融合处理。
2.根据权利要求1所述的面阵相机遥感成像方法，其特征在于，在对所述卫星数据进行帧间配准的过程之前，还包括步骤：
对所述参考帧和所述待配准帧进行降采样。
3.根据权利要求1所述的面阵相机遥感成像方法，其特征在于，对所述卫星数据进行帧间配准的过程，包括步骤：
根据SIFTGPU特征点匹配算法进行所述卫星数据的帧间配准；
根据RANSAC算法剔除误匹配点；
基于正确匹配的像素点对和仿射变换矩阵，获得配准后的卫星数据。
4.一种面阵相机遥感成像装置，其特征在于，包括：
数据获取模块，用于获取同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域；
所述获取同一积分时间虚拟形成的不同曝光时间的观测区域内的多帧卫星数据并提取出各帧的重叠区域的过程，包括步骤：
对所述卫星数据进行帧间配准；其中，所述多帧卫星数据中的任一帧卫星数据为参考帧，所述任一帧卫星数据外的卫星数据为待配准帧；
将帧间配准后的卫星数据进行叠加并截取各帧卫星数据的公共区域；
影像生成模块，用于根据所述卫星数据及所述重叠区域生成不同曝光度的遥感影像；
根据所述卫星数据及所述重叠区域生成不同曝光度的遥感影像的过程，包括步骤：
选取不同帧的重叠区域，根据所述选取结果的累计合成，生成对应曝光度的遥感影像；
图像重建模块，用于对所述遥感影像进行图像重建，以提升所述遥感影像的质量；
对所述遥感影像进行图像重建的过程，包括步骤：
对所述遥感影像进行退化模型重建，得出退化矩阵；
基于多重变换域的重建方法对所述退化矩阵进行超分辨重建，挖掘所述遥感影像的稀疏性表达；
将所述稀疏性表达作为先验模型进行高分辨率图像重建；
融合处理模块，用于对图像重建后的遥感影像进行融合处理，获得高分辨率的遥感影像；
所述对图像重建后的遥感影像进行融合处理的过程，包括步骤：
根据HDR图像融合算法对图像重建后的遥感影像进行融合处理。
5.一种计算机存储介质，其上存储有计算机指令，其特征在于，所述计算机指令被处理器执行时实现如权利要求1至3任意一项所述的遥感成像方法。
6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行程序时实现如权利要求1至3任意一项所述的面阵相机遥感成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010868609.6A CN111986134B (zh) | 2020-08-26 | 2020-08-26 | 面阵相机遥感成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010868609.6A CN111986134B (zh) | 2020-08-26 | 2020-08-26 | 面阵相机遥感成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111986134A CN111986134A (zh) | 2020-11-24 |
| CN111986134B true CN111986134B (zh) | 2023-11-24 |
Family
ID=73443289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010868609.6A Active CN111986134B (zh) | 2020-08-26 | 2020-08-26 | 面阵相机遥感成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111986134B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257630A (zh) * | 2020-10-29 | 2021-01-22 | 广东稳峰电力科技有限公司 | 电力系统的无人机探测成像方法及装置 |
| CN113674186A (zh) * | 2021-08-02 | 2021-11-19 | 中国科学院长春光学精密机械与物理研究所 | 基于自适应调整因子的图像合成方法、装置 |
| CN113962897B (zh) * | 2021-11-02 | 2022-09-02 | 中国空间技术研究院 | 基于序列遥感影像的调制传递函数补偿方法及装置 |
| CN115082310B (zh) * | 2022-06-07 | 2023-04-07 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种卫星视频的超分辨率重建方法、装置及处理设备 |
| CN116934588A (zh) * | 2023-06-12 | 2023-10-24 | 华能澜沧江水电股份有限公司 | 一种卫星视频的超分辨率重建方法及相关设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN107688569A (zh) * | 2016-08-03 | 2018-02-13 | 中国电力科学研究院 | 一种基于卫星遥感影像的路径站址协议管理方法及系统 |
| CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
| CN110532853A (zh) * | 2019-07-09 | 2019-12-03 | 中国空间技术研究院 | 遥感超时相数据的分类方法及装置 |
| CN111242883A (zh) * | 2020-01-10 | 2020-06-05 | 西安电子科技大学 | 一种基于深度学习的动态场景hdr重建方法 |
| WO2020134856A1 (zh) * | 2018-12-29 | 2020-07-02 | 长沙天仪空间科技研究院有限公司 | 一种遥感卫星系统 |
-
2020
- 2020-08-26 CN CN202010868609.6A patent/CN111986134B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1874499A (zh) * | 2006-05-12 | 2006-12-06 | 北京理工大学 | 一种高动态、超分辨率图像重建装置 |
| CN107688569A (zh) * | 2016-08-03 | 2018-02-13 | 中国电力科学研究院 | 一种基于卫星遥感影像的路径站址协议管理方法及系统 |
| CN108090869A (zh) * | 2017-11-27 | 2018-05-29 | 中国空间技术研究院 | 一种基于面阵cmos光学相机的星上超分辨率重建方法 |
| WO2020134856A1 (zh) * | 2018-12-29 | 2020-07-02 | 长沙天仪空间科技研究院有限公司 | 一种遥感卫星系统 |
| CN110532853A (zh) * | 2019-07-09 | 2019-12-03 | 中国空间技术研究院 | 遥感超时相数据的分类方法及装置 |
| CN111242883A (zh) * | 2020-01-10 | 2020-06-05 | 西安电子科技大学 | 一种基于深度学习的动态场景hdr重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| "高分四号"卫星面阵凝视相机超分辨技术;刘薇;高慧婷;曹世翔;何红艳;谭伟;;航天返回与遥感(04);第87-95页 * |
| 程结海 ; 柏延臣.一种高空间分辨率遥感影像信噪比测定方法.遥感技术与应用.2015,第469-475页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111986134A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111986134B (zh) | 面阵相机遥感成像方法及装置 | |
| CN111080724B (zh) | 一种红外和可见光的融合方法 | |
| Meng et al. | A large-scale benchmark data set for evaluating pansharpening performance: Overview and implementation | |
| Huang et al. | Cloud removal from optical satellite imagery with SAR imagery using sparse representation | |
| Aly et al. | A regularized model-based optimization framework for pan-sharpening | |
| Choi et al. | A new adaptive component-substitution-based satellite image fusion by using partial replacement | |
| Amro et al. | A survey of classical methods and new trends in pansharpening of multispectral images | |
| US6754398B1 (en) | Method of and system for image processing and recording medium for carrying out the method | |
| JP3995854B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| Joshi et al. | MAP estimation for multiresolution fusion in remotely sensed images using an IGMRF prior model | |
| US20140301659A1 (en) | Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information | |
| CN102982520B (zh) | 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法 | |
| CN109859107B (zh) | 遥感图像超分辨率方法、装置、设备及可读存储介质 | |
| CN108932708A (zh) | 基于超分辨增强的星载多光谱遥感图像融合方法 | |
| Dong et al. | Real-world remote sensing image super-resolution via a practical degradation model and a kernel-aware network | |
| Wu et al. | Real-world DEM super-resolution based on generative adversarial networks for improving InSAR topographic phase simulation | |
| CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
| CN115526779A (zh) | 一种基于动态注意力机制的红外图像超分辨率重建方法 | |
| CN109615584B (zh) | 一种基于单应性约束的sar图像序列map超分辨率重建方法 | |
| Shen et al. | Universal reconstruction method for radiometric quality improvement of remote sensing images | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| Misra et al. | Direct feature extraction and image co-registration of morphological structure from Bayer pattern raw planetary images | |
| CN107194874B (zh) | 基于偏置稳像的超分辨成像系统及方法 | |
| Gevrekci et al. | POCS-based restoration of Bayer-sampled image sequences | |
| CN107767342B (zh) | 一种基于积分平差模型的小波变换超分辨率图像重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |