CN103854269B - 基于多角度、多分辨率的影像超分辨率重建方法及装置 - Google Patents

Abstract

本发明提供了一种基于多角度、多分辨率的影像超分辨率重建方法及装置。上述影像超分辨率重建方法包括：对用于重建的多幅图像执行全局辐射配准处理；在所述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。根据本发明提供的技术方案，实现了多分辨率、多角度图像超分辨率重建，提高了超分辨率图像重建的信息完整度。

Description

基于多角度、多分辨率的影像超分辨率重建方法 及装置

技术领域

本发明涉及通信领域，具体而言，涉及一种基于多角度、多分辨率的影像超分辨率重建方法及装置。

背景技术

遥感是指运用传感器对物体的电磁波辐射、反射特性进行非接触的、远距离探测，并根据其特性对物体的性质、特征和状态进行分析的理论、方法和应用的科学技术。随着传感器技术、航空航天技术和数据通讯技术的不断发展，现代遥感技术已经进入一个能动态、快速、多平台、多时相、高分辨率地提供对地观测数据的新阶段。

随着社会经济的发展，遥感技术在城市发展、地表监测等多个行业得到应用，应用的深入使得各领域对遥感数据越来越表现出高精度、高时效性的需求，特别是对遥感影像的空间分辨率有着越来越高的需求。虽然遥感平台和传感器技术的进步使得卫星获取遥感影像的能力越来越强、卫星影像的分辨率越来越高。但是，卫星影像分辨率的提高速度呈现减缓的趋势。影像分辨率的进一步提高，存在两个方面的限制：一是卫星传感器的分辨率提高依赖于：电荷耦合元件(Charge-coupled Device，简称为CCD)传感器单位面积上感光单元数量的增加，势必造成单个感光面元面积的减少，过小的感光单元接收的信号受噪声影响越大，所以感光单元的最小面积存在一个技术上的极限，目前的遥感卫星技术已经基本接近这一极限；二是研究生产高分辨率的卫星传感器需要耗费大量的资金和人员投入，这一现实因素，同样限制了高分辨率遥感卫星的发展。

传统图像重建与恢复技术仅作用于单幅图像，无法利用额外的信息，影像重建效果不能达到应用需求。一种在不改变硬件条件的前提下，仅通过软件手段提高图像分辨率的技术，也即图像超分辨率重建技术成为了研究的热点。超分辨率重建突破了传统方法的束缚，提出利用多幅影像之间的信息互补来重建高分辨率影像。

超分辨率重建是利用一系列具有互补信息的低分辨率影像，获得比单幅影像所能提供的更多的额外信息，并通过某种方式把信息融合到影像中，最终重建得到一幅高分辨率影像的技术。超分辨率重建技术首先采用的是频域方法，是由一序场景面貌经过平移的低分辨率图像来重建一幅高分辨率图像。之后有人不断对频域方法进行改进.以扩大这类方法的适用范围。但这类方法只能局限于全局平移运动和线性空间不变降质模型，而且包含空域先验知识的能力有限。后来有人提出多种空域超分辨率重建方法。空域方法与其他图像处理方法相结合又派生出许多新的影像超分辨率重建方法。

目前，对于影像超分辨率重建方法而言，由于使用的条件不一样，对于具体情况的实用性存在不足，其处理的往往是相同分辨率的多张影像，即使是处理拍摄角度不同的影像或分辨率不同的影像，也往往采用常规的图像配准之后使用常规方法重建，没有充分利用原始影像之间分辨率或角度差异上的互补信息。特别地，对于近期出现的多角度立体卫星(比如国家的资源三号高分辨率立体测绘卫星，其采用前、后、正视三线阵结构，三个传感器同时记录同一场景同一时间三个角度的影像)，基于现有方法的影像超分辨率重建在充分利用有用信息方面存在不足。

发明内容

本发明的目的，在于提供一种基于多角度、多分辨率的影像超分辨率重建方法及装置，以至少解决上述问题之一。

根据本发明的一个方面，提供了一种基于多角度、多分辨率的影像超分辨率重建方法。

根据本发明的基于多角度、多分辨率的影像超分辨率重建方法包括：对用于重建的多幅图像执行全局辐射配准处理；在所述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

根据本发明的另一方面，提供了一种基于多角度、多分辨率的影像超分辨率重建装置。

根据本发明的基于多角度、多分辨率的影像超分辨率重建装置包括：配准处理模块，用于对用于重建的多幅图像执行全局辐射配准处理；第一获取模块，用于在所述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；第二获取模块，用于基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

由于采用了上述技术方案，本发明的有益效果是：基于多角度、多分辨率的遥感图像超分辨率重采样方案，实现了多分辨率、多角度图像超分辨率重建，提高了超分辨率图像重建的信息完整度。

附图说明

图1为根据本发明实施例的基于多角度、多分辨率的影像超分辨率重建方法的流程图；

图2为根据本发明优选实施例的基于多角度、多分辨率的影像超分辨率重建方法的流程图；

图3为根据本发明实例的基于多角度、多分辨率的影像超分辨率重建方法的详细流程示意图；

图4为根据本发明实例的三线阵遥感影像瞬间成像的示意图；

图5为根据本发明实例的图像自适应空间约束的示意图；

图6为根据本发明实例的基于尺度的像素灰度外推模型的示意图；

图7为根据本发明实施例的基于多角度、多分辨率的影像超分辨率重建装置的结构框图；以及

图8为根据本发明优选实施例的基于多角度、多分辨率的影像超分辨率重建装置的结构框图。

具体实施方式

下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。

图1为根据本发明实施例的基于多角度、多分辨率的影像超分辨率重建方法的流程图。如图1所示，该影像超分辨率重建方法主要包括以下处理：

步骤S101:对用于重建的多幅图像执行全局辐射配准处理；

步骤S103:在上述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；

步骤S105:基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

相关技术中的影像超分辨率重建方法，由于使用的条件不一样，对于具体情况的实用性存在不足，其处理的往往是相同分辨率的多张影像，即使是处理拍摄角度不同的影像或分辨率不同的影像，也往往采用常规的图像配准之后使用常规方法重建，没有充分利用原始影像之间分辨率或角度差异上的互补信息。采用图1所示的方法，基于多角度、多分辨率的遥感图像超分辨率重采样方案，实现了多分辨率、多角度图像超分辨率重建，提高了超分辨率图像重建的信息完整度。

优选地，步骤S101中，对用于重建的多幅图像执行全局辐射配准处理包括以下处理：

处理1：分别获取前视图像、后视图像以及正视图像的灰度均值；

处理2：通过以下公式获取全局辐射配准之后的前视图像、后视图像：

If′＝If×mean(In)/mean(If)；

Ib′＝Ib×mean(In)/mean(Ib)；

其中，If和Ib表示全局辐射配准前的前视图像、后视图像，If′和Ib′表示全局辐射配准之后的前视图像、后视图像，mean(In)表示正视图像的灰度均值，mean(If)和mean(Ib)分别表示前视和后视的灰度均值。

本发明实施例以三线阵多角度多分辨率图像为例进行说明。由于重建利用的正、前、后视三幅图像(影像)拍摄角度存在显著差异，导致影像间存在整体辐射水平差异。因此，在进行影像超分辨率重建之前，需要进行辐射配准工作，使得三幅影像在辐射水平上基本保持一致。

正视影像的辐射情况相对接近于地面真实辐射情况，本发明以正视影像为基准，采用灰度值整体平移策略，进行遥感影像全局辐射配准。具体地，主要包括以下处理：

步骤1：计算正视影像的灰度平均值，记为mean(In)；计算前视影像的灰度平均值，记为mean(If)；计算后视影像的灰度平均值，记为mean(Ib)；

步骤2：遍历前视与后视影像的每一个像素，用其原始像素灰度值减去其全幅影像平均灰度值与正视影像灰度平均值的差值，具体可以参见上述处理2中的公式。

优选地，步骤S103中，通过以下公式确定多分辨率的图像的像素几何对应关系：

$rf=fix\left(\frac{rn\×Rn-fx}{Rf}\right)+1;$

$cf=fix\left(\frac{cn\×Rn-fy}{Rf}\right)+1;$

$rb=fix\left(\frac{rn\×Rn-bx}{Rb}\right)+1;$

$cb=fix\left(\frac{rn\×Rn-by}{Rb}\right)+1;$

其中，Rn表示正视图像的空间分辨率，Rf表示前视图像的空间分辨率，Rb表示后视图像的空间分辨率，(fx,fy)表示前视图像与正视图像的相对亚像素位移，(bx，by)表示后视图像与正视图像的相对亚像素位移，用rn、cn表示正视图像像素的行和列号，rf、cf表示前视图像像素的行和列号、rb、cb表示后视图像像素的行和列号，fix表示取整运算。

用于影像重建的遥感影像经过亚像素配准和全局辐射纠正后，影像之间几何关系和灰度关系基本对应，但前、后视影像和正视影像在空间分辨率上仍然存在差异，几何位置上存在整体性的亚像素位移，影像在像素水平上并非一一对应。因此，通过上述处理，可以进一步确定前、后视影像与正视影像之间像素的对应关系。

优选地，当空间关系上正视图像的一个像素对应重建后图像的N个像素时，步骤S105中的空间约束准则可以包括：

准则1：正视图像的上述一个像素的灰度值与该像素对应的重建后图像的N个像素的灰度值均值保持一致，其中，N为正整数；

准则2：重建后图像的N个像素中同一对角线上像素的灰度值变化趋势与上述一个像素的多个邻域像素的灰度值变化趋势一致。

在优选实施过程中，超分辨率影像重建可以在正视影像的基础上将每一个的像素分辨率提高一倍。即从空间关系上来看，原始正视影像的一个像素严格对应重建影像的四个像素(当然，也可以对应其他预定个数的像素，文中以四个像素为例进行说明)；从灰度关系上看，原始正视影像的每一个像素的灰度值与其对应的重建影像上的四个像素的灰度值平均值相等。本发明实施例通过建立局部空间约束模型，实现影像超分重建过程中的上述两项准则。

优选地，步骤S105中，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像可以进一步包括以下处理：

处理1:对正视图像In进行双立方插值，获取内插图像Ic；

处理2:分别对前视图像或后视图像Ix、正视图像In和内插图像Ic进行小波分解，提取Ix、In的高频图像Ix_high、In_high和Ic的高频图像Ic_high和低频图像Iclow；

处理3:利用Ix_high、In_high和Ic_high的高频图像，通过差值重采样得到高频图像Is_high；

处理4:对Is_high图像执行总变分去噪处理；

处理5:将Ic_low和Is_high进行加权迭代叠加运算，得到前视图像与正视图像的超分辨率重建图像Isf，并得到后视图像与正视图像的超分辨率重建图像Isb。

优选地，如图2所示，在步骤S105之后，还可以包括以下步骤：

步骤S107：按照行列分别遍历上述获取到的超分辨率重建图像，从上述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像。

优选实施过程中，可以通过以下公式从上述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像Is：

Is_ij＝Isf_ij(Sub_Isf≥Sub_Isb)；

Is_ij＝Isb_ij(Sub_Isf<Sub_Isb)；

其中，Isf为获取到的前视图像与正视图像的超分辨率重建图像，Isb为获取到的后视图像与正视图像的超分辨率重建图像，Sub_Isf表示以(i，j)像元为中心，边长为s的Isf影像块灰度值的均值，Sub_Isb表示以(i，j)像元为中心，边长为s的Isb影像块灰度值得均值。

不同角度的遥感影像与正视影像通过步骤S105可以分别得到相应的超分重建影像，但是由于不同角度影像的倾斜角度不同，使得其对地表的视角存在差异。在地表起伏较大的区域，多角度影像视域存在互补信息，比如建筑物在不同角度影像上的地形侧面倒向是不同的，所以可以采用步骤S107,融合多角度影像的区域互补信息，实现重建影像空间域有效信息量的最大化。

以下结合图3至图6对上述优选实施方式进行详细描述。

图3为根据本发明实例的基于多角度、多分辨率的影像超分辨率重建方法的详细流程示意图。本实例的数据源为多角度多分辨率的遥感影像，其中正视空间分辨率为2.1米，前、后视空间分辨率均为3.5米，前、后与正视的拍摄角度差如图4所示。在执行该影像超分辨率重建方法之前，可以进行遥感影像预处理，主要包括：

(1)多角度遥感影像之间拍摄角度差异大，需要进行正射纠正，尽可能消除影像形变；

其中，正射纠正指通过在像片上选取一些地面控制点，并利用已获取的包含该像片覆盖范围的数字高程模型(DEM)数据，对影像同时进行倾斜改正和投影差改正，将影像重采样成正射影像的过程。目前正射纠正方法很多，主要包括严格的物理模型和通用经验模型两种，具体可以参见相关技术，此处不再赘述。

(2)高精度的亚像素影像配准是超分辨率重采样的前提，需要对经过正射纠正的前、后视影像以正视影像为基准作亚像素精度配准。

其中，亚像素配准指对取自不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像进行空间变换处理,使得各个图像在几何上能够匹配对应起来，且精度达到亚像素级的图像配准。目前亚像素影像配准方法很多，例如，相位相关法，具体可以参见相关技术，此处不再赘述。

以下分别用If、In、Ib代表正、前、后影像，本发明实例的影像超分辨率重建方法是在If、In、Ib经过正射纠正和亚像素配准的基础上进行。该影像超分辨率重建方法主要包括以下处理：

步骤S301：全局辐射匹配，其中，主要是分别计算前视图像、后视图像以及正视图像的灰度均值，再采用全局整体灰度平移策略获取全局辐射配准之后的前视图像、后视图像。

具体地，用于重建的三幅影像拍摄角度存在显著差异，由于光照条件等不同，往往导致前、正、后视三幅影像整体辐射水平存在差异，而且正视辐射相对接近于地面情况。所以在重建之前，需要辐射匹配，使得三幅影像在辐射水平上保持基本一致。这里以正视为基准，采用灰度值全局匹配策略，公式如下：

If′＝If×mean(In)/mean(If)；

Ib′＝Ib×mean(In)/mean(Ib)；

其中，If和Ib表示全局辐射配准前的前视图像、后视图像，If′和Ib′表示全局辐射配准之后的前视图像、后视图像，mean(In)表示正视图像的灰度均值，mean(If)和mean(Ib)分别表示前视和后视的灰度均值。

步骤S303：确定多分辨率像素几何对应关系。

影像经过亚像素配准和辐射纠正，影像之间几何关系和灰度关系基本对应，但前、后视影像和正视影像在空间分辨率上存在差异，几何位置上整体存在亚像素位移，影像在像素水平上并非一一对应。因此，需要进一步确定前、后视影像与正视影像之间像素的对应关系。

假设Rn表示In的空间分辨率，Rf和Rb分别表示If和Ib的空间分辨率，(fx,fy)和(bx，by)分别表示If和Ib与In的相对亚像素位移，用rn、cn、rf、cf、rb、cb分别表示In、If和Ib像素的行和列号，以rn、cn为参考，则它们像素之间的对应关系可以用以下方法来计算：

$rf=fix\left(\frac{rn\&times;Rn-fx}{Rf}\right)+1---\left(3\right);$

$cf=fix\left(\frac{cn\&times;Rn-fy}{Rf}\right)+1---\left(4\right)$

$rb=fix\left(\frac{rn\&times;Rn-bx}{Rb}\right)+1---\left(5\right)$

$cb=fix\left(\frac{rn\&times;Rn-by}{Rb}\right)+1---\left(6\right)$

其中，上述计算公式中的fix表示取整。

步骤S305：建立局部空间约束准则

本实例的超分辨率重建是在正视影像的基础上将像素分辨率提高一倍，空间关系上正视影像的一个像素严格对应重建后影像的四个像素。灰度关系上正视影像的一个像素的灰度值与其对应的重建影像上四个像素灰度均值一致。局部空间约束模型是实现重建过程中两项基本准则：1)正视影像的像素灰度值与其像素对应四个重建后影像的灰度值均值必须保持一致；2)重建后影像四个像素中同一对角线上像素的灰度值变化趋势必须与正视影像像素领域(定义为八邻域)像素灰度趋势一致。

如图5所示，Is1、Is2、Is3和Is4表示重建后影像的四个相邻像素，该四个像素对应整个区域表示其对应的正视影像一个像素In5，In1、In2、In3、In4、In6、In7、In8、In9表示In5的八邻域像素，则局部空间约束模型的两项准则可表示为：

准则一：Gray(In5)*Rn²＝Gray(Is1)*Rs²+Gray(Is2)*Rs²+Gray(Is3)*Rs²+Gray(Is4)*Rs²，其中，Gray表示灰度值，Is表示超分辨率影像，Rn、Rs表示In和Is的空间分辨率。

准则二：[Gray(In1)+Gray(In2)+Gray(In4)-Gray(In6)-Gray(In8)-Gray(In9)]*[Gray(Is1)-Gray(Is4)]≥0；

[Gray(In2)+Gray(In3)+Gray(In6)-Gray(In4)-Gray(In7)-Gray(In8)]*[Gray(Is2)-Gray(Is3)]≥0。

即，如果Gray(In1)+Gray(In2)+Gray(In4)>Gray(In6)+Gray(In8)+Gray(In9)，则必有Gray(Is1)>Gray(Is4)，依此类推，也就是说Is1、Is2、Is3和Is4的大小关系与其邻域的三个正视影像像素灰度大小关系一致(对角方向平面拟合约束)。

步骤S307：建立像素灰度外推模型，基于尺度差异的像素灰度外推(分辨率差异信息互补)。

前、后视影像与正视影像对应像素分辨率不同，但均表示同时相的同区域地表，在灰度值上存在内在关联。

图6所示的In、If和Is上对应一个像素在空间上的投影关系。Gray(If)表示If像素覆盖区域地物的平均辐射水平，Gray(In)表示In像素覆盖区域地物的平均辐射水平，Gray(Is)表示Is像素覆盖区域地物的平均辐射水平。所以，存在关系：如果Gray(In)>Gray(If)，表示In覆盖范围的辐射水平高于If覆盖范围的辐射水平，In辐射水平在局部较高，可以推断In覆盖区域内部有辐射水平高于区域平均辐射水平的地物存在。一般地，Is1、Is2、Is3、Is4中存在辐射水平高于In的像素，具体像素可以有步骤305准则二推断，并且其辐射水平的高低可以由If和In的值外推得到。

根据Gray(If)和Gray(In)大小关系，确定Is1、Is2、Is3、Is4灰度取值总体趋势和增幅，根据In5八领域灰度关系，对Is1、Is2、Is3、Is4灰度增减作自适应约束。具体对于Gray(If)和Gray(In)的外推模型可以根据具体数学方法实现，但是需要考虑两个方面的问题：(1)外推之后需要保证Is1、Is2、Is3、Is4的均值等于Gray(If)；(2)由于外推重建后不可避免产生噪声问题，一般不建议在外推之后再对超分影像作整体降噪，这样容易产生模糊，而是应该考虑平滑外推方程的参数，从而同时达到抑制噪声和保持重建影像清晰程度的目的。

外推过程主要由以下几个步骤实现：

第1步：对In进行双立方插值，得到内插影像Ic；

第2步：分别对If、In和Ic进行Haar小波分解，提取If、In的高频图像Ifhigh、Inhigh和Ic的高频图像Ichigh和低频图像Iclow；

第3步：利用Ifhigh、Inhigh和Ichigh的高频图像，通过差值重采样得到具有更多细节的高频图像Ishigh，具体过程描述为：

(1)将Ifhigh、Inhigh分别按照分辨率差异比率作双立方插值，得到与Ic相同尺寸的影像IfChigh、InChigh，将InChigh减去IfChigh，得到灰度矩阵I’，将I’整体减去I’的最小值，得到最小值为0的高频细节图像I”；

(2)对I”作如下二分处理：

I”ij＝Ix(I”≥Ix)；

I”ij＝I”ij(I”≤Ix)；

Ix默认取值为Imax×θ,θ默认取值0.8；

(3)Ishigh＝I”/θ；

第4步：对Ishigh图像作总变分(Total Variation)去噪；

第5步：将Iclow和Ishigh进行加权迭代叠加，得到最优Is图像。

步骤S309：多角度信息补偿(角度差异信息互补)。

不同角度影像与正视影像通过步骤S307可以分别得到超分重采样影像，但是由于不同角度影像倾斜角度的不同，对地表的视角存在差异，在地表起伏较大的区域影像视域存在互补信息，比如建筑物在不同角度影像上的地形侧面倒向是不同的，所以可以通过融合多角度影像的区域互补信息，实现重建影像空间域有效信息量的最大化。

用Isf、Isb分别由If、Ib与In经步骤S307得到的重采样影像Is。

角度差异信息融合方法为按照行列遍历影像，分别从Isf或Isb中重采样，构建新的影像，公式如下：

Is_ij＝Isf_ij(Sub_Isf≥Sub_Isb)

Is_ij＝Isb_ij(Sub_Isf<Sub_Isb)

其中，Sub_Isf表示以(i，j)像元为中心，边长为s的Isf影像块灰度值得均值，Sub_Isb表示以(i，j)像元为中心，边长为s的Isb影像块灰度值得均值，s默认取值为5。

至此，多角度多分辨率影像重采样过程结束。

图7为根据本发明实施例的基于多角度、多分辨率的影像超分辨率重建装置的结构框图。如图7所示，该影像超分辨率重建装置包括：配准处理模块70，用于对用于重建的多幅图像执行全局辐射配准处理；第一获取模块72，用于在上述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；第二获取模块74，用于基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

采用图7所示的装置，基于多角度、多分辨率的遥感图像超分辨率重采样方案，实现了多分辨率、多角度图像超分辨率重建，提高了超分辨率图像重建的信息完整度。

优选地，如图8所示，该配准处理模块70包括：均值获取单元700，用于分别获取前视图像、后视图像以及正视图像的灰度均值；图像获取单元702，用于通过以下公式获取全局辐射配准之后的前视图像、后视图像：

If′＝If×mean(In)/mean(If)；

Ib′＝Ib×mean(In)/mean(Ib)；

其中，If和Ib表示全局辐射配准前的前视图像、后视图像，If′和Ib′表示全局辐射配准之后的前视图像、后视图像，mean(In)表示正视图像的灰度均值，mean(If)和mean(Ib)分别表示前视和后视的灰度均值。

优选地，如图8所示，上述第一获取模块72，用于通过以下公式确定多分辨率的图像的像素几何对应关系：

$rf=fix\left(\frac{rn\&times;Rn-fx}{Rf}\right)+1;$

$cf=fix\left(\frac{cn\&times;Rn-fy}{Rf}\right)+1;$

$rb=fix\left(\frac{rn\&times;Rn-bx}{Rb}\right)+1;$

$cb=fix\left(\frac{rn\&times;Rn-by}{Rb}\right)+1;$

其中，Rn表示正视图像的空间分辨率，Rf表示前视图像的空间分辨率，Rb表示后视图像的空间分辨率，(fx,fy)表示前视图像与正视图像的相对亚像素位移，(bx，by)表示后视图像与正视图像的相对亚像素位移，用rn、cn表示正视图像像素的行和列号，rf、cf表示前视图像像素的行和列号、rb、cb表示后视图像像素的行和列号，fix表示取整运算。

优选地，当空间关系上正视图像的一个像素对应重建后图像的N个像素时，上述空间约束准则包括：正视图像的上述一个像素的灰度值与该像素对应的重建后图像的N个像素的灰度值均值保持一致，其中，N为正整数；重建后图像的N个像素中同一对角线上像素的灰度值变化趋势与上述一个像素的多个邻域像素的灰度值变化趋势一致。

优选地，如图8所示，上述第二获取模块74，进一步用于：对正视图像In进行双立方插值，获取内插图像Ic；分别对前视图像或后视图像Ix、正视图像In和内插图像Ic进行小波分解，提取Ix、In的高频图像Ixhigh、Inhigh和Ic的高频图像Ichigh和低频图像Iclow；利用Ixhigh、Inhigh和Ichigh的高频图像，通过差值重采样得到高频图像Ishigh；对Ishigh图像执行总变分去噪处理；将Iclow和Ishigh进行加权迭代叠加运算，得到前视图像与正视图像的超分辨率重建图像Isf，并得到后视图像与正视图像的超分辨率重建图像Isb。

优选地，如图8所示，上述装置还可以包括：图像构建模块76，用于按照行列分别遍历上述获取到的超分辨率重建图像，从上述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像。

优选地，上述图像构建模块76，用于通过以下公式从上述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像Is：

Is_ij＝Isf_ij(Sub_Isf≥Sub_Isb)；

Is_ij＝Isb_ij(Sub_Isf<Sub_Isb)；

其中，Isf为获取到的前视图像与正视图像的超分辨率重建图像，Isb为获取到的后视图像与正视图像的超分辨率重建图像，Sub_Isf表示以(i，j)像元为中心，边长为s的Isf影像块灰度值的均值，Sub_Isb表示以(i，j)像元为中心，边长为s的Isb影像块灰度值得均值。

需要说明的是，上述装置中各模块相互结合的优选实施方式，具体可以参见图1至图6，此处不再赘述。

综上所述，借助本发明提供的实施例，为多角度、多分辨率遥感影像超分辨率影像重建提供了技术性框架。所述方法在确定多分辨率影像间的像素几何对应关系，通多建立影像局部自适应空间约束准则，融合多分辨率遥感影像，充分利用多分辨率影像之间的互补信息，在提高影像重建信息完整度的同时也使影像重建中的信息补完更加精确。同时，所述方法使用多角度补偿策略，充分利用多角度遥感影像之间的互补信息，进一步提高影像重建的信息完整度。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多角度、多分辨率的影像超分辨率重建方法，其特征在于，包括：

对用于重建的多幅图像执行全局辐射配准处理；

在所述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；

基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

2.根据权利要求1所述的方法，其特征在于，对用于重建的多幅图像执行全局辐射配准处理包括：

分别获取前视图像、后视图像以及正视图像的灰度均值；

通过以下公式获取全局辐射配准之后的前视图像、后视图像：

If′＝If×mean(In)/mean(If)；

Ib′＝Ib×mean(In)/mean(Ib)；

其中，If和Ib表示全局辐射配准前的前视图像、后视图像，If′和Ib′表示全局辐射配准之后的前视图像、后视图像，mean(In)表示正视图像的灰度均值，mean(If)和mean(Ib)分别表示前视和后视的灰度均值。

3.根据权利要求1所述的方法，其特征在于，通过以下公式确定多分辨率的图像的像素几何对应关系：

$rf=fix\left(\frac{rn\&times;Rn-fx}{Rf}\right)+1;$

$cf=fix\left(\frac{cn\&times;Rn-fy}{Rf}\right)+1;$

$rb=fix\left(\frac{rn\&times;Rn-bx}{Rb}\right)+1;$

$cb=fix\left(\frac{rn\&times;Rn-by}{Rb}\right)+1;$

其中，Rn表示正视图像的空间分辨率，Rf表示前视图像的空间分辨率，Rb表示后视图像的空间分辨率，(fx,fy)表示前视图像与正视图像的相对亚像素位移，(bx，by)表示后视图像与正视图像的相对亚像素位移，用rn、cn表示正视图像像素的行和列号，rf、cf表示前视图像像素的行和列号，rb、cb表示后视图像像素的行和列号，fix表示取整运算。

4.根据权利要求1所述的方法，其特征在于，当空间关系上正视图像的一个像素对应重建后图像的N个像素时，所述空间约束准则包括：

正视图像的所述一个像素的灰度值与该像素对应的重建后图像的N个像素的灰度值均值保持一致，其中，N为正整数；

重建后图像的N个像素中同一对角线上像素的灰度值变化趋势与所述一个像素的多个邻域像素的灰度值变化趋势一致。

5.根据权利要求1所述的方法，其特征在于，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像包括：

对正视图像In进行双立方插值，获取内插图像Ic；

分别对前视图像或后视图像Ix、正视图像In和内插图像Ic进行小波分解，提取Ix、In的高频图像Ix_high、In_high和Ic的高频图像Ic_high和低频图像Ic_low；

利用Ix_high、In_high和Ic_high的高频图像，通过差值重采样得到高频图像Is_high；

对Is_high图像执行总变分去噪处理；

将Ic_low和Is_high进行加权迭代叠加运算，得到前视图像与正视图像的超分辨率重建图像Isf，并得到后视图像与正视图像的超分辨率重建图像Isb。

6.根据权利要求1至5中任一项所述的方法，其特征在于，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像之后，还包括：

按照行列分别遍历所述获取到的超分辨率重建图像，从所述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像。

7.根据权利要求6所述的方法，其特征在于，通过以下公式从所述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像Is：

Is_ij＝Isf_ij (Sub_Isf≥Sub_Isb)；

Is_ij＝Isb_ij (Sub_Isf<Sub_Isb)；

其中，Isf为获取到的前视图像与正视图像的超分辨率重建图像，Isb为获取到的后视图像与正视图像的超分辨率重建图像，Sub_Isf表示以(i，j)像元为中心，边长为s的Isf影像块灰度值的均值，Sub_Isb表示以(i，j)像元为中心，边长为s的Isb影像块灰度值得均值。

8.一种基于多角度、多分辨率的影像超分辨率重建装置，其特征在于，包括：

配准处理模块，用于对用于重建的多幅图像执行全局辐射配准处理；

第一获取模块，用于在所述多幅图像中确定多分辨率的图像的像素几何对应关系，获取非正视角度图像对应的几何纠正后图像；

第二获取模块，用于基于预定的空间约束准则，通过图像外推分别获取各个非正视角度图像与正视图像的超分辨率重建图像。

9.根据权利要求8所述的装置，其特征在于，

所述第一获取模块，用于通过以下公式确定多分辨率的图像的像素几何对应关系：

$rf=fix\left(\frac{rn\&times;Rn-fx}{Rf}\right)+1;$

$cf=fix\left(\frac{cn\&times;Rn-fy}{Rf}\right)+1;$

$rb=fix\left(\frac{rn\&times;Rn-bx}{Rb}\right)+1;$

$cb=fix\left(\frac{rn\&times;Rn-by}{Rb}\right)+1;$

其中，Rn表示正视图像的空间分辨率，Rf表示前视图像的空间分辨率，Rb表示后视图像的空间分辨率，(fx,fy)表示前视图像与正视图像的相对亚像素位移，(bx，by)表示后视图像与正视图像的相对亚像素位移，用rn、cn表示正视图像像素的行和列号，rf、cf表示前视图像像素的行和列号、rb、cb表示后视图像像素的行和列号，fix表示取整运算；

当空间关系上正视图像的一个像素对应重建后图像的N个像素时，所述空间约束准则包括：正视图像的所述一个像素的灰度值与该像素对应的重建后图像的N个像素的灰度值均值保持一致，其中，N为正整数；重建后图像的N个像素中同一对角线上像素的灰度值变化趋势与所述一个像素的多个邻域像素的灰度值变化趋势一致；

所述第二获取模块，进一步用于：对正视图像In进行双立方插值，获取内插图像Ic；分别对前视图像或后视图像Ix、正视图像In和内插图像Ic进行小波分解，提取Ix、In的高频图像Ix_high、In_high和Ic的高频图像Ic_high和低频图像Ic_low；利用Ix_high、In_high和Ic_high的高频图像，通过差值重采样得到高频图像Is_high；对Is_high图像执行总变分去噪处理；将Ic_low和Is_high进行加权迭代叠加运算，得到前视图像与正视图像的超分辨率重建图像Isf，并得到后视图像与正视图像的超分辨率重建图像Isb。

10.根据权利要求8或9所述的装置，其特征在于，还包括：

图像构建模块，用于按照行列分别遍历所述获取到的超分辨率重建图像，从所述获取到的超分辨率重建图像中执行重采样，构建最终的超分辨率重建图像。