CN105046651A - 一种图像的超分辨率重构方法和装置 - Google Patents

Abstract

本发明提供了一种图像的超分辨率重构方法，包括：获取多幅低分辨图像，进行图像配准；将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；对所述低频系数序列和高频系数序列分别进行插值，将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。本发明所述重构方法能够保持尺度不变性和多方向性，其重构计算过程简单，并且重构图像质量更优。

Description

一种图像的超分辨率重构方法和装置

技术领域

本发明属于图像处理领域，尤其涉及一种图像的超分辨率重构方法和装置。

背景技术

图像的分辨率是指对不同大小对象的表现能力，特别是对较小对象的表现能力，其直观的反映了图像的清晰度，质量等重要特征。高分辨率图像意味着可以获取更多的细节信息，从而可以更好的处理问题，但是在数字图像的采集与处理过程中，很多因素都影响了图像分辨率的提高。

图像超分辨率重构是以一幅或者多幅低分辨率图像为研究对象，通过对已知的低分辨率图像所包含的信息进行综合研究，以得到一幅更加清晰的描述实际场景的高分辨率图像。超分辨率图像重构是目前提高图像分辨率的有效方法，它只需要通过计算机处理，不需要通过硬件设备质量的提高就可以获取高分辨率的图像，所以成本很低。图像超分辨率重构综合了图像处理、信号处理、传感器和人工智能等各方面技术，应用的范围十分广泛。

目前图像的超分辨率重构方法中，包括基于多尺度变换域的重构方法，其基本思想是首先将图像通过多尺度变换，对变换后的相应系数进行处理，得到用于重构的系数，然后通过逆变换过程得到高分辨率图像。

目前的方法主要通过在小波变换域和Contourlet变换域以及对其发展的NSCT变换域中通过相应的重构算法来实现。小波变换是近几年迅速发展的一种信号分析方法，其在时域和频域都具有良好的局部变化性质。目前提出了一种基于小波插值方法进行超分辨率重构，其算法的基本思想是将多帧低分辨率图像进行小波变换到不同的尺度空间中，然后在这些尺度空间中对分解得到的小波系数进行插值处理，最后进行小波逆变换得到最终的高分辨率图像，但是因为小波其方向的局限性，并且由于在图分解时采用下采样，因此不具有平移不变性，会产生伪吉布斯现象，所以重构的图像效果不理想。

Contourlet变换是一种全新的图像多尺度几何分析方法。Contourlet变换是对小波变换的一种拓展，通过不可分散的方向滤波器组，在多尺度，多方向上利用稀疏的系数表示图像中的轮廓，具有很好的特性。Contourlet虽然比小波分解方向多，但是由于其采用了下采样处理，也不具有平移不变性。

NSCT在继承Contourlet变换的多方向性，各向异性及方向分解与多尺度分解分离特性同时，重构过程中舍弃了采样操作，所以NSCT能在很大程度上消减由插补操作而引起的振铃现象。廖宇提出了一种基于NSCT的插值方法，将图像进行NSCT变换，然后对分解得到的系数进行双线性插值，最后进行NSCT逆变换得到最终的高分辨率图像，取得了不错的效果。NSCT虽然可以克服小波以及Contourlet变换的缺点，但是其算法的复杂度很大，导致其算法运算时间很长，难以在实际中得到应用。

发明内容

本发明的目的在于提供一种图像的超分辨率重构方法，以解决现有技术进行图像重构时，算法的复杂度较大，算法运算时间长的问题。

第一方面，本发明实施例提供了一种图像的超分辨率重构方法，所述方法包括：

获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列；

将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；

对所述低频系数序列和高频系数序列分别进行插值，得到放大后的低频系数序列和放大后的高频系数序列；

将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；

根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

结合第一方面，在第一方面的第一种可能实现方式中，所述对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列步骤包括：

基于图像的灰度信息对图像进行配准；

或者基于变换域的配准方法在变换域中对图像进行配准；

或者基于特征的配准方法，通过提取特征、特征匹配和图像转换对图像进行配准。

结合第一方面的第一种可能实现方式，在第一方面的第二种可能实现方式中，所述基于图像的灰度信息对图像进行配准步骤包括：

S0，对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S1，对待配准的参考图像和浮动图像进行低通滤波处理；

S2，根据预先设置的初始点和初始搜索方向，对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值；

S3，根据鲍威尔POWELL算法，根据最大互信息理论，判断得到的参数是否最优，

S4，如果参数不是最优，则重新对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值，并返回步骤S3；

S5，根据得到的最优参数输出配准图像。

结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列步骤具体为：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.$ 对配准后的图像序列中的每幅图进行非抽样形态小波分解，对分解后的值取平均得到非抽样形态小波的低频分量，对分解后的值在各个方向的梯度值为非抽样形态小波的高频分量，其中：X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，INT()是向下取整的运算，为卷积运算。

结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像步骤具体为：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.$ 进行非抽样形态小波逆变换，得到重构后的图像，其中，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器。

第二方面，本发明实施例提供了一种图像的超分辨率重构装置，其特征在于，所述装置包括：

配准单元，用于获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列；

分解单元，用于将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；

插值单元，用于对所述低频系数序列和高频系数序列分别进行插值，得到放大后的低频系数序列和放大后的高频系数序列；

融合单元，用于将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；

重构单元，用于根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

结合第二方面，在第二方面的第一种可能实现方式中，所述配准单元包括：

第一配准子单元，用于基于图像的灰度信息对图像进行配准；

或者，第二配准子单元，用于基于变换域的配准方法在变换域中对图像进行配准；

或者，第三配准子单元，用于基于特征的配准方法，通过提取特征、特征匹配和图像转换对图像进行配准。

结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述第一配准子单元具体用于：

S0，对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S1，对待配准的参考图像和浮动图像进行低通滤波处理；

S2，根据预先设置的初始点和初始搜索方向，对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值；

S3，根据鲍威尔POWELL算法，根据最大互信息理论，判断得到的参数是否最优，

S4，如果参数不是最优，则重新对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值，并返回步骤S3；

S5，根据得到的最优参数输出配准图像。

结合第二方面，在第二方面的第三种可能实现方式中，所述分解单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.$ 对配准后的图像序列中的每幅图进行非抽样形态小波分解，对分解后的值取平均得到非抽样形态小波的低频分量，对分解后的值在各个方向的梯度值为非抽样形态小波的高频分量，其中：X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，INT()是向下取整的运算，为卷积运算。

结合第二方面，在第二方面的第四种可能实现方式中，所述重构单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.$ 进行非抽样形态小波逆变换，得到重构后的图像，得到融合后的系数，其中，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器。

在本发明中，通过对多个低分辨率图像进行非配准后，对低分辨率图像序列进行非抽样形态小波变换，对得到的低频系数序列和高频系数序列进行插值放大后融合，最后通过非抽样形态小波逆变换得到重构图像，和现有的重构方法相比，本发明所述重构方法能够保持尺度不变性和多方向性，其重构计算过程简单，并且重构图像质量更优。

附图说明

图1是本发明实施例提供的图像的超分辨率重构方法的实现流程图；

图2是本发明实施例提供的基于灰度互信息的配准流程图；

图3是本发明实施例提供的二维四通道可分离形态小波变换的分解和重构的统一框图；

图4为本发明实施例提供的非抽样二维四通道不可分离形态小波变换的分解和重构的统一框图；

图5为本发明实施例提供的图像的超分辨率重构装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为本发明实施例提供的图像的超分辨率重构方法的实现流程，详述如下：

在步骤S101中，获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列。

具体的，一般情况下，不同传感器或者同一传感器在不同时间、不同视点所获得的图像在空间上一般会存在差异，因此在对图像进行融合之前就需要进行图像的配准处理，以消除原始图像之间的差异。所以图像配准是图像融合的重要前提，配准精度的高低决定了图像融合的质量，对不同的图像，适用的配准方法有很大的差别，应根据图像的特点和应用角度选择合适的配准方法。

图像配准通常包括以下三个步骤：特征空间、搜索策略和相似性准则。特征空间是指从图像中提取用于配准的相关信息，搜索策略是指从图像转换集中选择用于匹配的转换方式，相似性准则决定配准的相对数值，然后基于这些数值继续搜索，直至获得相似性达到满意的结果为止。

目前的图像配准方法主要分为三个基本类别：基于灰度信息的配准方法、基于变换域的配准方法和基于特征的配准方法。

1、基于灰度信息的配准方法一般不需要对图像进行复杂的预先处理，而是直接利用图像灰度信息的统计信息来度量图像的相似程度。

2、基于变换域的配准方法是在变换域中对图像进行配准，如基于傅里叶变换的配准方法、基于小波变换的配准方法。

3、基于特征的配准方法通过特征提取、特征匹配和图像转换进行图像配准。

在使用基于灰度信息的配准方法时，因为其只需要图像的灰度信息，可以避免主观因素的影响，配准的结果只依赖于配准方法本身，同时也可以避免因图像分割带来的误差，实现自动配准。

基于互信息的图像配准方法是灰度信息配准方法中的一种，因为其可以用在不同模态图像的配准适用性很广。基于灰度互信息的配准流程图如图2所示，配准算法步骤如下所述：

S200、对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S201、首先对参考图像和浮动图像通过低通滤波预处理，按照给定的初始点使用PV插值法统计联合直方图，并计算互信息值；

S202、然后利用鲍威尔POWELL算法依据最大互信息理论判断所得参数是否达到最优；

S203，若参数不是最优，则返回步骤S201，继续搜索较优参数，在搜索时会不断重复“空间几何变换(affine)-统计联合直方图(PV插值法)-计算互信息值-最优化判断”的过程，直至搜索到满足精度要求的参数；

S204，输出配准图像。

在步骤S102中，将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列。

根据小波与形态小波的统一框架，可以构造出一种二维四通道的形态小波分解与重构框架。如图3所示，为二维四通道不可分离小波(形态小波)变换的分解和重构的统一框图：

其中X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器，将这些滤波器用非线性滤波器替代，则就获得形态小波，X'是是重构图像。

公式(1)表示Chanda形态小波的分解过程，公式(2)表示重构过程。

$\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X\right)=X\⊕B\\ {{\mathrm{\ω}}_v}^{\↑}\left(X\right)\left(r,c\right)=\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right)-X\left(r,c+1\right),{\mathrm{if\ψ}}^{\↑}\left(X\right)\left(r,c\right)>X\left(r,c+1\right)\\ X\left(r,c\right)-{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right),else\end{array}\right.\\ {{\mathrm{\ω}}_h}^{\↑}\left(X\right)\left(r,c\right)=\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right)-X\left(r+1,c\right),{\mathrm{if\ψ}}^{\↑}\left(X\right)\left(r,c\right)>X\left(r+1,c\right)\\ X\left(r,c\right)-{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right),else\end{array}\right.\\ {{\mathrm{\ω}}_d}^{\↑}\left(X\right)\left(r,c\right)=\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right)-X\left(r+1,c+1\right),{\mathrm{if\ψ}}^{\↑}\left(X\right)\left(r,c\right)>X\left(r+1,c+1\right)\\ X\left(r,c\right)-{\mathrm{\ψ}}^{\↑}\left(X\right)\left(r,c\right),else\end{array}\right.\end{array}\right.---\left(1\right)$

其中，⊕代表膨胀算子，∧代表取下操作，(r,c)代表图像像素的位置。

将图3中的下采样部分去掉就可以得到非抽样的二维四通道不可分离小波(形态小波)变换的统一框图，如图4所示，为非抽样二维四通道不可分离小波(形态小波)变换的分解和重构的统一框图：

将其中的滤波器换成如公式(3)所示的非线性滤波器就得到了本发明所采用的非抽样形态小波变换，这种非抽样形态小波变换的构造方法符合形态小波自身的特点，同时又兼备不可分离小波变换的优点，因此非常适合图像处理。

根据这种理论，提出了一种不可分离S-变换的非抽样形态小波，公式(3)表示分解过程，公式(4)表示重构过程。

$\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.---\left(3\right)$

$\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.---\left(4\right)$

其中INT()是向下取整的运算，这种非抽样形态小波的低频分量取得是平均，而高频分量是各个方向上的梯度值，因此具有清晰的物理意义，兼顾图像平滑和边缘保持的特性，重构时只保留ψ^↓，ω₀ ^↓重构滤波器的结果并相加。本发明将这种S-变换的非抽样形态小波应用于超分辨率重构中。

在步骤S103中，对所述低频系数序列和高频系数序列分别进行双线性插值，得到放大后的低频系数序列和放大后的高频系数序列。

在步骤S104中，将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数。

在融合过程中，对于低频系数序列，采用取平均值的方法，得到融合后的低频系数；对于高频系数序列，采用取平均值的方法，得到融合后的高频系数。

在步骤S105中，根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

根据上述公式(4)，即可完成高分辨率图像的重构。

本发明所述非抽样形态小波变换最大的优势在于，计算比较简单，不涉及乘除运算，内存需求低，易于硬件实现，能够很好的应用在图像超分辨率领域。下面通过一组实验数据证明非抽样形态小波变换在图像超分辨重构领域中运行效率上的优势，通过对不同大小的低分辨图像进行超分辨率重构。

将低分辨率图像按照本发明所述重构方法，以及现有技术中的NSCT变换重构方法进行比较：

其中，NSCT变换重构方法包括：

1.先对低分辨率图像序列进行图像配准，得到配准后的低分辨率图像序列；

2.初始时i＝1；将第i幅和第i+1幅图像进行NSCT分解，得到低频和高频系数，分别对低频系数进行平均融合，对高频系数进行绝对值取大融合，得到融合的低频和高频系数；

3.对融合后的系数进行NSCT逆变换得到融合后的图像F；

4.融合图像作为新的一帧图像，下一帧图像按照2，3步骤进行融合，最终得到一幅融合的图像G；

5.对G图像进行NSCT分解，将分解得到的低频和高频系数进行插值，得到插值后的系数；

6.对插值获得的系数进行NSCT逆变换得到最终的高分辨率图像。

通过对lena、peppers、barbara、couple、finger和cameraman这六幅标准的高分辨率图像进行平滑滤波以及降采样操作，获得用于实验的低分辨率图像序列，根据本发明所述重构方法，以及NSCT重构方法，得到的峰值信噪比PSNR与运算时间如表1和表2所示。

表1PSNR比较结果(单位：dB)

表2运算时间比较(单位：s)

如果从主观评价，根据两种算法的重构结果图上，主观视觉上差别比较小。而从客观评价上，通过表1的峰值信噪比PSNR的比较中可以明显看出，在六组图像的重构中，本发明提出的方法在PSNR值的表现上除了finger这组图像上小于基于NSCT变换插值的结果外，其余重构图像的PSNR值都要比基于NSCT变换插值的要高，平均提高了0.4dB左右，说明本发明的算法在图像的重构质量上比相应的基于NSCT的重构算法要高，说明了本算法的有效性。

通过表2运算时间的比较上可以明显的看出本发明提出的重构算法的运算时间远远小于基于NSCT变换的重构算法，说明本发明的算法在运行效率上具有很好的表现，保证了实时性。所以从综合考虑图像的重构质量和算法的运行效率上，本发明的算法表现最好。

图5为本发明实施例提供的图像的超分辨率重构装置的结构示意图，详述如下：

本发明实施例所述图像的超分辨率重构装置，包括：

配准单元501，用于获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列；

分解单元502，用于将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；

插值单元503，用于对所述低频系数序列和高频系数序列分别进行插值，得到放大后的低频系数序列和放大后的高频系数序列；

融合单元504，用于将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；

重构单元505，用于根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

优选的，所述配准单元包括：

第一配准子单元，用于基于图像的灰度信息对图像进行配准；

或者，第二配准子单元，用于基于变换域的配准方法在变换域中对图像进行配准；

或者，第三配准子单元，用于基于特征的配准方法，通过提取特征、特征匹配和图像转换对图像进行配准。

优选的，所述第一配准子单元具体用于：

S0，对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S1，对待配准的参考图像和浮动图像进行低通滤波处理；

S2，根据预先设置的初始点和初始搜索方向，对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值；

S3，根据鲍威尔POWELL算法，根据最大互信息理论，判断得到的参数是否最优，

S4，如果参数不是最优，则重新对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值，并返回步骤S3；

S5，根据得到的最优参数输出配准图像。

优选的，所述分解单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.$ 对配准后的图像序列中的每幅图进行非抽样形态小波分解，对分解后的值取平均得到非抽样形态小波的低频分量，对分解后的值在各个方向的梯度值为非抽样形态小波的高频分量，其中：X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，INT()是向下取整的运算，为卷积运算。

优选的，所述重构单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.$ 进行非抽样形态小波逆变换，得到重构后的图像，得到融合后的系数，其中，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像的超分辨率重构方法，其特征在于，所述方法包括：

获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列；

将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；

对所述低频系数序列和高频系数序列分别进行插值，得到放大后的低频系数序列和放大后的高频系数序列；

将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；

根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

2.根据权利要求1所述方法，其特征在于，所述对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列步骤包括：

基于图像的灰度信息对图像进行配准；

或者基于变换域的配准方法在变换域中对图像进行配准；

或者基于特征的配准方法，通过提取特征、特征匹配和图像转换对图像进行配准。

3.根据权利要求2所述方法，其特征在于，所述基于图像的灰度信息对图像进行配准步骤包括：

S0，对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S1，对待配准的参考图像和浮动图像进行低通滤波处理；

S2，根据预先设置的初始点和初始搜索方向，对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值；

S3，根据鲍威尔POWELL算法，根据最大互信息理论，判断得到的参数是否最优；

S4，如果参数不是最优，则重新对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值，并返回步骤S3；

S5，根据得到的最优参数输出配准图像。

4.根据权利要求1所述方法，其特征在于，所述将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列步骤具体为：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.$ 对配准后的图像序列中的每幅图进行非抽样形态小波分解，对分解后的值取平均得到非抽样形态小波的低频分量，对分解后的值在各个方向的梯度值为非抽样形态小波的高频分量，其中：X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，INT()是向下取整的运算，为卷积运算。

5.根据权利要求4所述方法，其特征在于，所述根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像步骤具体为：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.$ 进行非抽样形态小波逆变换，得到重构后的图像，其中，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器。

6.一种图像的超分辨率重构装置，其特征在于，所述装置包括：

配准单元，用于获取多幅低分辨图像，对所述多幅低分辨率图像进行图像配准，得到配准后的图像序列；

分解单元，用于将配准后的图像序列中的每幅图进行非抽样形态小波分解，得到对应的低频系数序列和高频系数序列；

插值单元，用于对所述低频系数序列和高频系数序列分别进行插值，得到放大后的低频系数序列和放大后的高频系数序列；

融合单元，用于将所述放大后的低频系数序列和放大后的高频系数序列融合，得到融合后的系数；

重构单元，用于根据融合后的系数进行非抽样形态小波逆变换，得到重构后的图像。

7.根据权利要求6所述装置，其特征在于，所述配准单元包括：

第一配准子单元，用于基于图像的灰度信息对图像进行配准；

或者，第二配准子单元，用于基于变换域的配准方法在变换域中对图像进行配准；

或者，第三配准子单元，用于基于特征的配准方法，通过提取特征、特征匹配和图像转换对图像进行配准。

8.根据权利要求7所述装置，其特征在于，所述第一配准子单元具体用于：

S0，对一幅高分辨率图像先进行平滑滤波处理，然后隔行隔列进行下采样，获取四幅低分辨率图像，选取其中第一幅低分辨率图像为参考图像，然后对其它三幅图像按照随机的一个角度进行旋转用于模拟实际场景中从不同角度的传感器获得的图像，作为浮动图像；

S1，对待配准的参考图像和浮动图像进行低通滤波处理；

S2，根据预先设置的初始点和初始搜索方向，对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值；

S3，根据鲍威尔POWELL算法，根据最大互信息理论，判断得到的参数是否最优，

S4，如果参数不是最优，则重新对低通滤波处理后的浮动图像进行PV插值法统计联合直方图，并计算互信息值，并返回步骤S3；

S5，根据得到的最优参数输出配准图像。

9.根据权利要求6所述装置，其特征在于，所述分解单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↑}\left(X_j\right)=X_{j+1}=INT(X_j\⊗\left[\begin{array}{cc}1/4& 1/4\\ 1/4& 1/4\end{array}\right])\\ {{\mathrm{\ω}}_v}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 1\\ 0& -1\end{array}\right]\\ {{\mathrm{\ω}}_h}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}0& 0\\ 1& -1\end{array}\right]\\ {{\mathrm{\ω}}_d}^{\↑}\left(X_j\right)=X_j\⊗\left[\begin{array}{cc}1& 0\\ 0& -1\end{array}\right]\end{array}\right.$ 对配准后的图像序列中的每幅图进行非抽样形态小波分解，对分解后的值取平均得到非抽样形态小波的低频分量，对分解后的值在各个方向的梯度值为非抽样形态小波的高频分量，其中：X代表输入图像，ψ^↑、ω_v ^↑、ω_h ^↑和ω_d ^↑分别是低通和三个高通方向的分析滤波器，INT()是向下取整的运算，为卷积运算。

10.根据权利要求9所述装置，其特征在于，所述重构单元具体用于：

根据公式： $\left\{\begin{array}{c}{\mathrm{\ψ}}^{\↓}\left(X_{j+1}\right)=X_{j+1}\\ {{\mathrm{\ω}}_0}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v+Y_{j+1}^d\]/4\right)\\ {{\mathrm{\ω}}_h}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^v+Y_{j+1}^d-3Y_{j+1}^h\]/4\right)\\ {{\mathrm{\ω}}_v}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^d-3Y_{j+1}^v\]/4\right)\\ {{\mathrm{\ω}}_d}^{\↓}\left(Y_{j+1}^v,Y_{j+1}^h,Y_{j+1}^d\right)=-INT\left(\[Y_{j+1}^h+Y_{j+1}^v-3Y_{j+1}^d\]/4\right)\end{array}\right.$ 进行非抽样形态小波逆变换，得到重构后的图像，得到融合后的系数，其中，ψ^↓、ω₀ ^↓、ω_v ^↓、ω_h ^↓和ω_d ^↓是综合滤波器。