CN105118025A - 基于软阈值编码的快速图像超分辨方法 - Google Patents

Abstract

本发明公开了一种基于软阈值编码的快速图像超分辨方法。其步骤为：(1)输入待处理的低分辨图像；(2)获得待处理的低分辨图像块集；(3)获得高和低分辨训练图像块集；(4)计算高和低分辨字典；(5)获得高分辨图像块集；(6)获得高分辨图像。本发明将软阈值编码引入到图像超分辨领域来，克服了现有技术中采用稀疏表示从而导致的重构时间过程、引入噪声和不必要信息的缺陷，超分辨恢复的图像轮廓更加清晰，更加真实自然。

Description

基于软阈值编码的快速图像超分辨方法

技术领域

本发明属于图像处理技术领域，更进一步涉及自然图像处理技术领域中的基于软阈值编码的快速图像超分辨方法。本发明是将低分辨的图像进行超分辨，以得到一幅清晰的高分辨图像，以便为图像后续的解译、目标识别、目标检测提供更准确、全面的信息。

背景技术

图像超分辨技术是指从单幅或多幅低分辨率的图像中重建出一幅清晰的高分辨率的图像的过程。在实际成像中，受成像系统物理分辨率限制，以及场景变化与天气等诸多因素的影响，这导致成像系统只能得到质量较差、分辨率较低的图像，影响了对景物更全面、清晰的描述。图像超分辨的目的是为了得到高分辨图像，增强和丰富了景物的细节内容，以便为后续的图像处理与解译提供更准确、全面的信息。图像超分辨技术主要可以分为基于插值、基于重建和基于学习三大类。目前单幅图像主要是基于低分辨-高分辨图像块之间映射关系学习来实现图像的超分辨。

Yang,Wright等人发表的论文“ImageSuper-ResolutionViaSparseRepresentation”(IEEETrans.onImageProcessingvol.19no.11pp.2861-2873.2010)中提出一种基于稀疏表示的图像超分辨方法。该方法将压缩感知的思想引入超分辨重构中，通过稀疏表示的方法来获得低分辨和高分辨的字典对。当低分辨图像的稀疏表示通过压缩感知的方法得到时，则高分辨图像的稀疏表示也相应的得到，从而可以有效地对低分辨图像进行重建。但是该方法仍然存在的不足之处是，该方法是通过对低分辨图像进行完全重构式地编码，造成在编码过程中引入噪声和不必要的信息，使得低分辨-高分辨图像块之间映射不准确，严重影响了图像整体的恢复效果，同时该方法图像重建时间过长，导致效率偏低。

Zeyde,Elad等人发表的论文“OnSingleImageScale-UpUsingSparseRepresentations”(SpringerCurvesandSurfaces,pp.711-730.2012)中提出一种基于稀疏表示的快速图像超分辨方法。该方法提出了先训练低分辨字典，进而通过稀疏表示关系推导高分辨字典的超分辨方法，取得了较快的重建速度。但是该方法仍然存在的不足之处是，该方法也是对低分辨图像进行完全重构式地编码，造成在编码过程中引入噪声和不必要的信息，使得低分辨-高分辨图像块之间映射不准确，严重影响了图像整体的恢复效果。同时，虽然该方法图像重建时间有明显的缩短，但是仍然无法满足实时图像超分辨的要求。

发明内容

本发明的目的在于克服上述现有技术的缺陷，提出一种基于软阈值编码的快速图像超分辨方法，以在图像超分辨重建中，能够去除振铃和块效应这些人工痕迹，图像边缘锐化明显，最终超分辨结果更加真实自然，同时该发明大大减少了图像超分辨的时间，达到了实时图像超分辨的目的。

本发明的具体步骤如下：

(1)输入待处理的低分辨图像：

输入一幅待处理的低分辨图像，设定待处理的低分辨图像的放大倍数为3；

(2)得到待处理的低分辨图像块集：

对待处理的低分辨图像进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到待处理的低分辨图像块集；

(3)得到高和低分辨训练图像块集：

(3a)输入5幅高分辨训练图像，进行大小为9×9像素的分块，相邻块之间重叠3个像素，得到Y个高分辨训练图像块，其中200000≤Y≤300000；

(3b)输入5幅低分辨训练图像，进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到Y个低分辨训练图像块，其中200000≤Y≤300000；

(3c)从Y个高分辨训练图像块中随机抽取10万个高分辨训练图像块，相应地从Y个低分辨训练图像块相同位置随机抽取10万个低分辨训练图像块，得到高分辨训练图像块集和低分辨训练图像块集；

(4)计算高和低分辨字典：

(4a)输入高分辨训练图像块集和低分辨训练图像块集，利用K-SVD的方法来初始化高分辨字典和低分辨字典；

(4b)利用梯度下降的方法，按照下式，求解高分辨字典和低分辨字典：

$min\left\{\right||H-B\·S_{\mathrm{\θ}}\left(A^{T}L\right)|{|}_F^2\}$

其中，min{·}表示最小化操作，H表示高分辨训练图像块集，B表示待求解的高分辨字典，S_θ(·)表示输入为A^TL的软阈值函数，θ表示阈值参数，θ＝0.02，A表示待求解的低分辨字典，T表示转置操作，L表示低分辨训练图像块集，表示矩阵的弗罗贝尼乌斯范数；

(5)获得高分辨图像块集：

(5a)按照下式，求解得到待处理的低分辨图像块集的软阈值编码系数：

Z＝S_θ(A^TX)

其中，Z表示待处理的低分辨图像块集的软阈值编码系数，S_θ(·)表示输入为A^TX的软阈值函数，θ表示阈值参数，θ＝0.02，A表示低分辨字典，T表示的转置操作，X表示待处理的低分辨图像块集；

(5b)按照下式，求解高分辨图像块集：

K＝BZ

其中，K表示高分辨图像块集，B表示高分辨字典，Z表示待处理的低分辨图像块集的软阈值编码系数；

(6)获得高分辨图像：

按照阵列式扫描方式，依次将高分辨图像块放入各自对应的高分辨图像位置中，得到高分辨图像。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用软阈值函数来编码低分辨图像块集，克服了现有技术中采用稀疏表示从而引入噪声和不必要的信息的缺陷，使得本发明能够成功地抑制噪声，可以得到丰富的恢复图像细节信息，增强了恢复图像的清晰度。

第二，由于本发明采用软阈值函数来编码低分辨图像块集，克服了现有技术中采用稀疏表示从而导致重构时间过长的缺陷，使得本发明能够快速地进行图像超分辨，达到实时图像超分辨的目的。

第三，由于本发明采用K-SVD方法来初始化高和低分辨字典，然后采用梯度下降的方法进一步求解高和低分辨字典，克服了现有技术中仅通过K-SVD方法来求解高和低分辨字典导致高和低分辨图像块映射关系不准确的缺陷，使得本发明恢复的图像轮廓更清晰，更加真实自然。

附图说明

图1是本发明的流程图；

图2是本发明在仿真实验中使用的Butterfly低分辨测试图像；

图3是本发明在仿真实验中得到的Butterfly高分辨重建图像；

图4是使用现有技术的基于稀疏表示的图像超分辨方法，在仿真实验中得到的Butterfly高分辨重建图像；

图5是使用现有技术的基于稀疏表示的快速图像超分辨方法，在仿真实验中得到的Butterfly高分辨重建图像。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照附图1，本发明具体实施方式如下。

步骤1，输入待处理的低分辨图像。

输入一幅待处理的低分辨图像，设定待处理的低分辨图像的放大倍数为3。

本发明实施例中输入的待恢复的低分辨图像大小为86×86像素，参见附图2。

步骤2，得到待处理的低分辨图像块集。

对待处理的低分辨图像进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到待处理的低分辨图像块集。

步骤3，得到高和低分辨训练图像块集。

第1步，输入5幅高分辨训练图像，进行大小为9×9像素的分块，相邻块之间重叠3个像素，得到Y个高分辨训练图像块，其中200000≤Y≤300000。

第2步，输入5幅低分辨训练图像，进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到Y个低分辨训练图像块，其中200000≤Y≤300000。

第3步，从Y个高分辨训练图像块中随机抽取10万个高分辨训练图像块，相应地从Y个低分辨训练图像块相同位置随机抽取10万个低分辨训练图像块，得到高分辨训练图像块集和低分辨训练图像块集。

步骤4，计算高和低分辨字典。

第1步，输入高分辨训练图像块集和低分辨训练图像块集，利用K-SVD的方法来初始化高分辨字典和低分辨字典。

初始化低分辨字典和高分辨字典具体步骤如下：

第一步，对高分辨训练图像块集中的所有图像块和低分辨训练图像块集中的所有图像块进行向量化，随机抽取1万个高分辨训练图像块和与之相同位置的1万个低分辨训练图像块。

第二步，按照下式，初始化低分辨字典和高分辨字典：

$min\left\{\right||\left[\begin{array}{c}P\\ Q\end{array}\right]-\left[\begin{array}{c}A\\ B\end{array}\right]\mathrm{\α}|{|}_2^2\}$

$\mathrm{Subject\; to}\∀i,{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤T_0$

其中，min{·}表示最小化操作，P表示1万个高分辨训练图像块，Q表示1万个低分辨训练图像块，A表示待求解的高分辨字典，B表示待求解的低分辨字典，α表示稀疏系数矩阵，表示矩阵的2范数，Subjectto表示||α_i||₀为求解min{·}的限制条件，表示稀疏系数矩阵的任意第i列，i＝1,…,10000，||α_i||₀表示第i列稀疏系数矩阵的0范数，T₀表示稀疏度控制系数，T₀＝10。

第2步，利用梯度下降的方法，按照下式，求解高分辨字典和低分辨字典：

$min\left\{\right||H-B\·S_{\mathrm{\θ}}\left(A^{T}L\right)|{|}_F^2\}$

其中，min{·}表示最小化操作，H表示高分辨训练图像块集，B表示待求解的高分辨字典，S_θ(·)表示输入为A^TL的软阈值函数，θ表示阈值参数，θ＝0.02，A表示待求解的低分辨字典，T表示转置操作，L表示低分辨训练图像块集，表示矩阵的弗罗贝尼乌斯范数。

软阈值函数如下：

S_θ(g)＝max(|g|-θ,0)sign(g)

其中，S_θ(·)表示软阈值函数，θ表示阈值参数，θ∈(10^-2,10^-1)，g表示软阈值函数的输入，max(·)表示取最大值操作，|·|表示绝对值操作，sign(·)表示符号函数。

步骤5，获得高分辨图像块集。

第1步，按照下式，求解得到待处理的低分辨图像块集的软阈值编码系数：

Z＝S_θ(A^TX)

其中，Z表示待处理的低分辨图像块集的软阈值编码系数，S_θ(·)表示输入为A^TX的软阈值函数，θ表示阈值参数，θ＝0.02，A表示低分辨字典，T表示转置操作，X表示待处理的低分辨图像块集。

软阈值函数如下：

S_θ(g)＝max(|g|-θ,0)sign(g)

其中，S_θ(·)表示软阈值函数，θ表示阈值参数，θ∈(10^-2,10^-1)，g表示软阈值函数的输入，max(·)表示取最大值操作，|·|表示软阈值函数的输入的绝对值操作，sign(·)表示符号函数。

第2步，按照下式，求解高分辨图像块集：

K＝BZ

其中，K表示高分辨图像块集，B表示高分辨字典，Z表示待处理的低分辨图像块集的软阈值编码系数。

步骤6，获得高分辨图像。

按照阵列式扫描方式，依次将高分辨图像块放入各自对应的高分辨图像位置中，得到高分辨图像。

本发明的效果可以通过以下仿真实验作进一步说明。

1.仿真实验条件：

本发明的实验仿真环境为：

软件：MATLABR2012a

处理器：Intel(R)Core(TM)i5-3470MCPU3.20GHz

内存：4GBRAM

仿真实验所用到的图像：来源于标准图像库。

2.仿真实验内容：

本实验具体分为三个仿真实验。

仿真实验一：利用本发明对低分辨图像进行超分辨重建，结果如图3所示。

仿真实验二：利用现有的基于稀疏表示图像超分辨方法对低分辨图像进行超分辨重建，结果如图4所示。

仿真实验三：利用现有的基于稀疏表示的快速图像超分辨方法对低分辨图像进行超分辨重建，结果如图5所示。

仿真实验中，应用峰值信噪比PSNR评价指标来评价超分辨结果的优劣，其PSNR定义为：

$PSNR=10{\log }_{10}\left(\frac{{255}^2\×M\×N}{\mathrm{\Σ}\left|\right|u-v|{|}^2}\right)$

其中，u为清晰图像，v为重建后的图像，M表示清晰图像u的像素行数，N为清晰图像u的像素列数。

采用本发明与现有技术的基于稀疏表示图像超分辨方法、基于稀疏表示的快速图像超分辨方法，分别对图像Butterfly，Leaves进行超分辨重建仿真。应用峰值信噪比PSNR对重建结果图进行评价，评价结果如表1所示，表1中Alg1是本发明的方法，Alg2是基于稀疏表示图像超分辨方法，Alg3是基于稀疏表示的快速图像超分辨方法。

表1.本发明和两种对比方法在仿真实验中得到的PSNR值(单位为dB)

采用本发明与现有技术的基于稀疏表示图像超分辨方法、基于稀疏表示的快速图像超分辨方法，分别对图像Butterfly，Leaves进行超分辨重建仿真。应用重构所用的时间对重建结果进行评价，评价结果如表2所示，表2中Alg1是本发明的方法，Alg2是基于稀疏表示图像超分辨方法，Alg3是基于稀疏表示的快速图像超分辨方法。

表2.本发明和两种对比方法在仿真实验中所用的时间(单位为秒)

3.实验结果分析

从图3可以看出，本发明得到的Butterfly的重建结果不但有效地补充了高频细节信息，而且成功地抑制了噪声，使图像边缘清晰。

从图4可以看出，现有的基于稀疏表示的方法得到的高频细节信息丢失严重，恢复的图像噪声明显，严重地影响了图像恢复质量。

从图5可以看出，现有的基于稀疏表示的快速图像超分辨方法得到的恢复图像表面比较平滑，模糊，图像恢复效果不明显。

Claims (3)

1.一种基于软阈值编码的快速图像超分辨方法，包括以下步骤：

(1)输入待处理的低分辨图像：

输入一幅待处理的低分辨图像，设定待处理的低分辨图像的放大倍数为3；

(2)获得待处理的低分辨图像块集：

对待处理的低分辨图像进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到待处理的低分辨图像块集；

(3)获得高和低分辨训练图像块集：

(3a)输入5幅高分辨训练图像，进行大小为9×9像素的分块，相邻块之间重叠3个像素，得到Y个高分辨训练图像块，其中200000≤Y≤300000；

(3b)输入5幅低分辨训练图像，进行大小为3×3像素的分块，相邻块之间重叠1个像素，得到Y个低分辨训练图像块，其中200000≤Y≤300000；

(3c)从Y个高分辨训练图像块中随机抽取10万个高分辨训练图像块，相应地从Y个低分辨训练图像块相同位置随机抽取10万个低分辨训练图像块，得到高分辨训练图像块集和低分辨训练图像块集；

(4)计算高和低分辨字典：

(4a)输入高分辨训练图像块集和低分辨训练图像块集，利用K-SVD的方法来初始化高分辨字典和低分辨字典；

(4b)利用梯度下降的方法，按照下式，求解高分辨字典和低分辨字典：

$min\left\{{\left|\right|H-B\·S_{\mathrm{\θ}}\left(A^{T}L\right)\left|\right|}_F^2\right\}$

其中，min{·}表示最小化操作，H表示高分辨训练图像块集，B表示待求解的高分辨字典，S_θ(·)表示输入为A^TL的软阈值函数，θ表示阈值参数，θ＝0.02，A表示待求解的低分辨字典，T表示转置操作，L表示低分辨训练图像块集，表示矩阵的弗罗贝尼乌斯范数；

(5)获得高分辨图像块集：

(5a)按照下式，求解得到待处理的低分辨图像块集的软阈值编码系数：

Z＝S_θ(A^TX)

其中，Z表示待处理的低分辨图像块集的软阈值编码系数，S_θ(·)表示输入为A^TX的软阈值函数，θ表示阈值参数，θ＝0.02，A表示低分辨字典，T表示转置操作，X表示待处理的低分辨图像块集；

(5b)按照下式，求解高分辨图像块集：

K＝BZ

其中，K表示高分辨图像块集，B表示高分辨字典，Z表示待处理的低分辨图像块集的软阈值编码系数；

(6)获得高分辨图像：

按照阵列式扫描方式，依次将高分辨图像块放入各自对应的高分辨图像位置中，得到高分辨图像。

2.根据权利要求1所述的基于软阈值编码的快速图像超分辨方法，其特征在于：步骤(4a)所述K-SVD的方法来初始化低分辨字典和高分辨字典具体步骤如下：

第一步，对高分辨训练图像块集中的所有图像块和低分辨训练图像块集中的所有图像块进行向量化，随机抽取1万个高分辨训练图像块和与之相同位置的1万个低分辨训练图像块；

第二步，按照下式，初始化低分辨字典和高分辨字典：

$\min \left\{{\left|\right|\left[\begin{array}{c}P\\ Q\end{array}\right]-\left[\begin{array}{c}A\\ B\end{array}\right]\mathrm{\α}\left|\right|}_2^2\right\}$

$Subjectto\∀i,\left|\right|{\mathrm{\α}}_i|{|}_0\≤T_0$

其中，min{·}表示最小化操作，P表示1万个高分辨训练图像块，Q表示1万个低分辨训练图像块，A表示待求解的高分辨字典，B表示待求解的低分辨字典，α表示稀疏系数矩阵，表示2范数操作，Subjectto表示||α_i||₀为求解min{·}的限制条件，表示稀疏系数矩阵的任意第i列，i＝1,...,10000，||α_i||₀表示第i列稀疏系数矩阵的0范数，T₀表示稀疏度控制系数，T₀＝10。

3.根据权利要求1所述的基于软阈值编码的快速图像超分辨方法，其特征在于：步骤(4b)、步骤(5a)所述的软阈值函数如下：

S_θ(g)＝max(|g|-θ,0)sign(g)

其中，S_θ(·)表示软阈值函数，θ表示阈值参数，θ∈(10^-2,10^-1)，g表示软阈值函数的输入，max(·)表示取最大值操作，|·|表示绝对值操作，sign(·)表示符号函数。