CN102354394B - 图像超分辨方法及系统 - Google Patents

Abstract

一种图像超分辨方法，其包括如下步骤：获取原始图像，对所述原始图像进行上采样，得到初始结果；采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果；及对所述中间结果进行重建约束，得到高分辨率图像。所述上采样算法同时考虑图像空间信息及强度信息的，利用双边滤波的方法来平滑当前像素；所述复数冲击滤波能增强图像的边缘；最后重建获得高分辨率图像。由此产生的高分辨率图像过渡平滑，并能有效的避免明显的边界瑕疵。此外，还提供一种图像超分辨系统。

Description

图像超分辨方法及系统

【技术领域】

本发明涉及图片处理技术，特别是涉及一种图像超分辨方法及系统。 

【背景技术】

图像超分辨算法在多媒体领域有很多重要的应用，例如在高分辨率硬件设备上播放低分辨率的视频。虽然存在很多超分辨算法，但是超分辨问题还没有被很好的解决。低分辨率图像的产生可以认为由高分辨率图像通过平滑和降采样得到，因此可以利用一幅低分辨率图像重建对应的高分辨率图像，这种算法称为图像超分辨算法。传统的图像超分辨方法可以分为三类：基于插值、基于重建和基于学习的。 

然而传统的这些图像超分辨方法中，基于插值的算法由于高分辨率图像没有引入高频信息，所以最终的高分辨率图像过于平滑而且图像边缘存在锯齿瑕疵；基于重建的方法的缺点是人为强加的图像先验不一定适合任意图像，因此高分辨率图像经常出现很多瑕疵，例如振铃效应；基于学习的算法的时间复杂度比较高。另外，由于不足够的训练样本，高频瑕疵常常出现基于学习算法的结果中。 

因此，上述三种传统的图像超分辨方法都没有很好的解决图像边界出现瑕疵的问题。 

【发明内容】

鉴于上述状况，有必要提供一种能够避免明显边界瑕疵的图像超分辨方法及系统。 

一种图像超分辨方法，其包括如下步骤： 

获取原始图像，对所述原始图像进行上采样，得到初始结果； 

采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果；及 

对所述中间结果进行重建约束，得到高分辨率图像。 

进一步地，所述对原始图像进行上采样的步骤为： 

对所述原始图像进行均值平移图像分割，得到分割后的原始图像； 

通过双边滤波对所述原始图像及分割后的原始图像进行上采样。 

进一步地，所述双边滤波的定义如下： 

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right))$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W（p）表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数。 

进一步地，所述复数冲击滤波的定义如下： 

$I_S^{t+1}=I_S^t+I_t*d_t$

其中d_t表示在第t+1次迭代的迭代步长，所述上采样得到的初始结果作为迭代的初始值；I_t通过如下公式获得： 

$I_t=-\frac{2}{\mathrm{\π}}\arctan \left(\mathrm{aIm}\left(\frac{I}{\mathrm{\θ}}\right)\right)\left|\right|\▿\left|\right|I+{\mathrm{\λI}}_{\mathrm{\η\η}}+\widetilde{\mathrm{\λ}}{I}_{\mathrm{\ξ\ξ}}$

其中和λ＝re^iθ是复数，表示一个实数，参数a控制斜率接近于0的程度，θ用来表示复数的复部相位角，表示的复部。 

进一步地，所述复部相位角θ的取值为π/1000，所述迭代步长d_t取值为d_t＝0.1。 

进一步地，所述重建约束采用的是反向投影算法，所述反向投影算法的公式如下： 

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。 

进一步地，设置所述空间滤波器g和所述高斯反向投影滤波器f的标准差为s/2。 

此外，本发明还提供一种图像超分辨系统，包括： 

上采样模块，用于获取原始图像，对所述原始图像进行上采样，得到初始结果； 

冲击滤波模块，用于采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果；及 

重建模块，用于对所述中间结果进行重建约束，得到高分辨率图像。 

进一步地，所述上采样模块还包括： 

图像分割模块，用于对原始图像进行均值平移图像分割，得到分割后的原始图像；及 

双边滤波模块，通过双边滤波对所述原始图像及分割后的原始图像进行上采样。 

进一步地，所述双边滤波的定义如下： 

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right))$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W（p）表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数； 

进一步地，所述复数冲击滤波的定义如下： 

$I_S^{t+1}=I_S^t+I_t*d_t$

其中d_t表示在第t+1次迭代的迭代步长，所述上采样得到的初始结果作为迭代的初始值；I_t通过如下公式获得： 

$I_t=-\frac{2}{\mathrm{\π}}\arctan \left(\mathrm{aIm}\left(\frac{I}{\mathrm{\θ}}\right)\right)\left|\right|\▿\left|\right|I+{\mathrm{\λI}}_{\mathrm{\η\η}}+\widetilde{\mathrm{\λ}}{I}_{\mathrm{\ξ\ξ}}$

其中和λ＝re^iθ是复数，表示一个实数，参数a控制斜率接近于0的程度，θ用来表示复数的复部相位角，表示的复部。 

进一步地，所述复部相位角θ的取值为π/1000，所述迭代步长d_t取值为d_t＝0.1。 

进一步地，所述重建模块包含空间滤波器和高斯反向投影滤波器，对所述中间结果进行重建约束的方式如下： 

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。 

进一步地，设置所述空间滤波器g和所述高斯反向投影滤波器f的标准差为s/2。 

上述图像超分辨方法及系统，采用同时考虑空间信息及强度信息的上采样算法，利用双边滤波的方法来平滑当前像素；然后采用复数冲击滤波来增强图像的边缘；最后重建获得高分辨率图像。由此产生的高分辨率图像过渡平滑，并能有效的避免明显的边界瑕疵。 

【附图说明】

图1为一实施例中图像超分辨方法的流程图； 

图2为图1中步骤S110的流程图； 

图3为一实施例中图像超分辨系统的模块图； 

图4为图3中上采样模块的示意图。 

【具体实施方式】

下面主要结合附图说明本发明的具体实施方式。 

请参阅图1，一种图像超分辨方法，其包括如下步骤： 

步骤S110，获取原始图像，对所述原始图像进行上采样，得到初始结果。传统的上采样算法中，滤波器设计方法中都只考虑了空间信息而把有用的图像强度信息丢弃了。在本实施例中，提出了一种新的同时考虑空间信息和图像强 度信息的上采样方法。 

请参阅图2，对图像进行上采样的步骤包括： 

步骤S111，对所述原始图像进行均值平移图像分割，得到分割后的原始图像。在本实例中，选择和目标像素位置相邻而且色彩相似的像素给目标像素插值，首先利用均值平移（mean shift）算法对图像进行分割，然后对每个像素只取位于同一个分割区域的像素给当前像素插值。例如，一个图像将其分成若干块，每个块里面包含了若干个像素点，在对目标像素点进行插值时，仅选择位于同一块中的像素点给所述目标像素点插值。 

步骤S113，通过双边滤波对所述原始图像及分割后的原始图像进行上采样。在本实施例中，双边滤波的定义如下： 

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right))$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W（p）表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数。 

双边滤波的思想是用和当前像素在空间上相近而且图像强度相似的像素来平滑当前像素。在对原始图像进行均值平移分割后，再按照上述方法进行双边滤波，则得到最后上采样的表达式如下： 

$I_B\left(p_h\right)=\frac{1}{W\left(p_h\right)+\mathrm{\β}}(\underset{q\∈\mathrm{\Ω}}{\mathrm{\Σ}}\mathrm{BF}(p_l,q)M(p_l,q)I_L\left(q\right)+{\mathrm{\βI}}_L\left(p_l\right))$

其中， 

$\mathrm{BF}(p_l,q)=G_{{\mathrm{\σ}}_s}\left(\right||p_l-q|\left|\right)G_{{\mathrm{\σ}}_r}(I_L\left(p_l\right)-I_L\left(q\right))$

$M(p_l,q)=\left\{\begin{array}{cc}1& \mathrm{if}{I}_M\left(p_l\right)=I_M\left(q\right)\\ 0& \mathrm{if}{I}_M\left(p_l\right)\≠I_M\left(q\right)\end{array}\right.$

其中，β是一个平衡参数，p_h和p_l分别表示重建后的高分辨率图像中的像素以及其在输入低分辨率图像中对应的像素。如果对应的p_l不是整数位置，I_L(p_l)和I_M(p_l)通过在低分辨率图像中最近邻插值得到。I_M为均值图像平移分割的结果。 

步骤S120，采用复数冲击滤波对上采样的初始结果进行滤波，得到中间结果。传统的冲击滤波很容易受噪声的影响。在本实施例中，复数冲击滤波的定义如下： 

$I_S^{t+1}=I_S^t+I_t*d_t$

其中d_t表示在第t+1次迭代的迭代步长，所述上采样得到的初始结果作为迭代的初始值；I_t通过如下公式获得： 

$I_t=-\frac{2}{\mathrm{\π}}\arctan \left(\mathrm{aIm}\left(\frac{I}{\mathrm{\θ}}\right)\right)\left|\right|\▿\left|\right|I+{\mathrm{\λI}}_{\mathrm{\η\η}}+\widetilde{\mathrm{\λ}}{I}_{\mathrm{\ξ\ξ}}$

其中和λ＝re^iθ是复数，表示一个实数，参数a控制斜率接近于0的程度，θ用来表示复数的复部相位角，表示的复部。 

步骤S130，对所述中间结果进行重建约束，得到高分辨率图像。在本实施例中，重建约束采用的是反向投影算法，所述反向投影算法的公式如下： 

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。 

在本实施例中，复部相位角θ的取值为π/1000，所述迭代步长d_t取值为d_t＝0.1。可以理解，复部相位角可变动，迭代步长不限于0.1，迭代步长越短，结果越精确。 

在本实施例中，设置所述空间滤波器g和所述高斯反向投影滤波器f的标准差为s/2。可以理解，标准差不限于s/2。 

上述图像超分辨方法，采用同时考虑空间信息及强度信息的上采样算法，利用双边滤波的方法来平滑当前像素；然后采用复数冲击滤波来增强图像的边缘；最后重建获得高分辨率图像。由此产生的高分辨率图像过渡平滑，并能有效的避免明显的边界瑕疵。 

请参阅图3，本发明还提供一种图像超分辨系统，该系统包括：上采样模块 110、冲击滤波模块120及重建模块130。其中： 

上采样模块110，用于获取原始图像，对原始图像进行上采样，得到初始结果。请参阅图4，上采样模块110包括： 

图像分割模块111，用于对原始图像进行均值平移图像分割，得到分割后的原始图像。 

双边滤波模块113，用于通过双边滤波对原始图像及分割后的原始图像进行上采样。 

在一个实施例中，双边滤波的定义如下： 

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right))$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W（p）表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数。 

冲击滤波模块120，用于采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果。 

在一个实施例中，复数冲击滤波的定义如下： 

$I_S^{t+1}=I_S^t+I_t*d_t$

其中，d_t表示在第t+1次迭代的迭代步长，所述上采样得到的初始结果作为迭代的初始值；I_t通过如下公式获得： 

$I_t=-\frac{2}{\mathrm{\π}}\arctan \left(\mathrm{aIm}\left(\frac{I}{\mathrm{\θ}}\right)\right)\left|\right|\▿\left|\right|I+{\mathrm{\λI}}_{\mathrm{\η\η}}+\widetilde{\mathrm{\λ}}{I}_{\mathrm{\ξ\ξ}}$

其中和λ＝re^iθ是复数，表示一个实数，参数a控制斜率接近于0的程度，θ用来表示复数的复部相位角，表示的复部。 

重建模块130，包含空间滤波器和高斯反向投影滤波器，用于对所述中间结果进行重建约束，得到高分辨率图像。 

在本实施例中，高斯反向投影滤波器采用的反向投影算法公式如下： 

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。 

在本实施例中，复部相位角θ的取值为π/1000，所述迭代步长d_t取值为d_t＝0.1。可以理解，复部相位角可变动，迭代步长不限于0.1，迭代步长越短，结果越精确。 

在本实施例中，所述空间滤波器g和高斯反向投影滤波器f的标准差为s/2。可以理解，标准差不限于s/2。 

上述图像超分辨系统，上采样模块110同时考虑图像的空间信息及强度信息，利用双边滤波的方法来平滑当前像素；然后采用复数冲击滤波模块120来增强图像的边缘；最后通过重建模块130获得高分辨率图像。由此产生的高分辨率图像过渡平滑，并能有效的避免明显的边界瑕疵。 

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。 

Claims (6)

1.一种图像超分辨方法，其包括如下步骤：

获取单幅原始图像，对所述原始图像进行同时考虑空间信息和图形强度信息的上采样，得到初始结果；其中所述对原始图像进行同时考虑空间信息和图形强度信息的上采样的步骤为：

对所述原始图像进行均值平移图像分割，得到分割后的原始图像；

对每个像素只取位于同一分割区域的像素给当前像素插值；及

通过双边滤波对所述原始图像及分割后的原始图像进行上采样；

采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果；及

对所述中间结果进行重建约束，得到高分辨率图像，其中所述重建约束采用的是反向投影算法，所述反向投影算法的公式如下：

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，I_L表示获取的原始低分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。

2.根据权利要求1所述的图像超分辨方法，其特征在于，所述双边滤波的定义如下：

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right)),$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W(p)表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数。

3.如权利要求1所述的图像超分辨方法，其特征在于，设置所述空间滤波器g和所述高斯反向投影滤波器f的标准差为s/2。

4.一种图像超分辨系统，其特征在于，包括：

上采样模块，用于获取单幅原始图像，对所述原始图像进行同时考虑空间信息和图形强度信息的上采样，得到初始结果；其中所述同时考虑空间信息和图形强度信息的上采样模块还包括：

图像分割模块，用于对原始图像进行均值平移图像分割，得到分割后的原始图像；

插值模块，用于对每个像素只取位于同一分割区域的像素给当前像素插值；及

双边滤波模块，通过双边滤波对所述原始图像及分割后的原始图像进行上采样；

冲击滤波模块，用于采用复数冲击滤波对所述上采样的初始结果进行滤波，得到中间结果；及

重建模块，用于对所述中间结果进行重建约束，得到高分辨率图像，其中所述重建约束采用的是反向投影算法，所述反向投影算法的公式如下：

$I_H^{t+1}=I_H^t+\left(((I_H^t\⊗g){\↓}_s-I_L){\↑}_s\right)\⊗f$

其中表示第t迭代时高分辨率图像，I_L表示获取的原始低分辨率图像，表示卷积操作，g和f分别表示空间滤波器和高斯反向投影滤波器，↓_s↑_s分别表示比例为s的降采样和升采样，s表示采样比例，所述中间结果作为迭代的初始值。

5.如权利要求4所述的图像超分辨系统，其特征在于，所述双边滤波的定义如下：

$B\left(p\right)=\frac{1}{W\left(p\right)}\underset{q\⋐\mathrm{\Ω}}{\mathrm{\Σ}}I\left(q\right)G_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}(I\left(p\right)-I\left(q\right)),$

其中，I表示输入图像，Ω表示图像的所有像素集合，p和q表示像素在图像中位置，W(p)表示像素p的归一化常量，和表示两个标准差分别为σ_s和σ_r的高斯函数。

6.如权利要求4所述的图像超分辨系统，其特征在于，设置所述空间滤波器g和所述高斯反向投影滤波器f的标准差为s/2。