CN103295192B - 基于gpu加速的图像实时超分辨重建方法 - Google Patents

Abstract

本发明公开一种基于GPU加速的图像实时超分辨重建方法，主要解决现有高质量图像超分辨重建串行算法难以实时处理的问题。其实现步骤为：（1）输入一幅低分辨图像；（2）对该低分辨图像进行双三次插值上采样得到插值图像；（3）对所得插值图像进行基于梯度一致和方向异性约束的图像去卷积运算，并在GPU上对去卷积运算进行并行化加速，从而在极短的时间内得到输出的超分辨图像。实验表明，本发明能在非常短的计算时间内获得包含良好细节、纹理清晰、结构自然合理的高质量超分辨结果，可广泛应用于图像分辨率改变的相关应用领域中。

Description

基于GPU加速的图像实时超分辨重建方法

技术领域

本发明属于数字图像、视频处理领域，特别涉及一种基于GPU加速的图像空间分辨率重建方法，可用于图像、视频分辨率改变的相关应用领域中的问题，如医学、卫星图像成像和目标检测与识别。

背景技术

超分辨(super-resolution,SR)技术是计算机视觉与数字图像处理中最基本的问题之一，它是指由一幅或多幅低分辨率(low-resolution,LR)图像恢复出高分辨率图像的过程和技术。这里所说的分辨率不仅单指图像的物理分辨率大小，而且更为重要的是强调图像在细节、边缘、清晰度方面的视觉质量。随着如高清电视，高端手机等设备中显示部件质量和分辨率的提升以及在某些像医学、合成孔径雷达这类特殊应用场合中，视频、图像的高分辨率、高视觉质量成为一个普遍需求。然而，传统图像插值算法虽然简单易行，但在满足高分辨率的同时却带来了图像模糊，难以满足视觉质量的要求。因而，超分辨算法逐渐受到人们的关注。如基于机器学习、多帧重建以及利用额外的硬件设备等各种各样的方法被提出，但是这些方法往往或者受限于额外条件或者耗时巨大从而难以实时实现，并且他们往往由于难以保证视频帧序列中的帧间一致性出现闪烁效应而难于直接应用于视频中。

将各种图像、视频算法从理论研究转向实际应用时都希望他们能够快速甚至是实时的进行处理。传统的图像、视频实时处理的主要实现方式有：1）基于通用PC机；2）基于DSP；3）基于FPGA。基于通用PC机方式最为直接、通用，开发难度也最低，但在同成本条件实现下的速度也最低。基于DSP和基于FPGA方式，虽说运行效率高、速度快，但对开发人员的要求相对较高，并且开发周期长、专用性强、成本高。因此，在借助于特殊硬件的专用开发与基于个人电脑的通用实现之间，需要一种具有高通用性、低成本、快速度、易开发的折中实现方式。近年来，随着图形处理单元（GraphicsProcessingUnit，GPU）在通用计算相关领域的研究，渐渐为各种理论的实时应用提供了一条崭新而强有力的处理途径。

GPU是目前普遍存在于超级计算机、服务器工作站、个人电脑甚至是手机等设备中的图形协处理器，它的传统任务是完成系统的绘图任务，尤其是计算机图形的3维渲染任务。由于GPU的设计目标与中央处理器CPU不同，其往往具有几十甚至上百个处理核心来满足绘图任务的大量并行数据处理，而CPU一般只有数个线程处理核心。近年来，GPU的性能以两倍于摩尔定律的速度飞升，而价格却在不断降低。同时期主流GPU的计算能力可以达到同时期主流CPU的数十倍之多。GPU强大的计算能力早已远远超过了图形绘制任务的要求，因而，将潜藏在GPU中的能力释放出来进行通用的计算而非单单的完成绘图任务，成为了势在必行的趋势。尽管由于各方面原因，早期利用GPU进行通用计算非常困难，但经过了数年的摸索与努力，如今可以方便地使用GPU来实现计算任务。

由于图像数据量本身就比较庞大，加之超分辨重建技术往往不惜提高算法复杂度换取高结果质量。由于处理时间太长，现有的基于CPU串行实现的超分辨方法往往在获得良好处理结果的同时难以进行实时处理。这在一定程度上限制了超分辨技术应用的范围和普及。文献“快速图像/视频上采样（Q.Shan,Z.Li,J.Jia,andC.Tang,“Fastimage/videoupsampling,”ACMTransactionsonGraphics27,(2008).”中提到了一种快速且高质量的图像、视频分辨率重建方法，并且尝试使用GPU来加速计算过程，但由于其未能对该方法的串行计算中存在的计算瓶颈进行合理的并行化加速，因而该方法的GPU并行实现只能相对CPU串行实现获得较低的加速比，与实时处理相差甚远。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于GPU加速的图像实时超分辨重建方法，在不受多帧、额外硬件、图像类别这些条件限制的情况下，从单幅图像中实时地恢复出最大分辨率为全高清1920×1080，且具有清晰图像结构的超分辨图像结果。

实现本发明目的的技术思路是：利用GPU并行化实现一种高质量图像超分辨重建串行算法中的核心计算步骤，使并行实现时间较串行实现时间大大缩短从而达到实时处理性能。主要步骤包括如下：

1）将需要重建的低分辨图像I₀从RGB颜色空间转换为YUV颜色空间，得到YUV颜色空间下的低分辨图像I₁，其中R代表红色分量图像，G代表绿色分量图像，B代表蓝色分量图像，Y代表亮度分量图像，UV代表色度分量图像；

2）采用双三次插值方法对低分辨图像I₁上采样，得到YUV颜色空间下插值图像I₂；

3）在电子装置的GPU上对插值图像I₂中的Y分量图像进行并行快速图像去卷积运算求出超分辨图像的Y分量图像：

3a）采用梯度一致约束项与方向异性约束项得到目标能量函数，表达形式如下：

式中为梯度一致约束项，

为方向异性约束项，f表示模糊卷积核，H^*表示输出的超分辨图像的Y分量图像，H^～表示已知的插值图像I₂的Y分量图像，表示水平方向的图像梯度算子，表示垂直方向的图像梯度算子，n表示图像矩阵所有元素的总个数，i用来表示相应图像矩阵的第i个元素，k₁是用来调节梯度一致约束项的权值，k₂是用来调节方向异性约束项的权值，ο表示图像矩阵点乘运算，M是一个与插值图像I₂的Y分量图像H^～同大小的二值矩阵，如果插值图像I₂的Y分量图像H^~中像素的水平梯度和垂直梯度的平方和不大于预先设定的阈值，即满足不等式：（T是一个人工设定的阈值），则M中对应元素m_i=1,否则m_i=0；

3b）用水平替换变量ψ_x与垂直替换变量ψ_y替换上式中超分辨图像的Y分量图像H^*的水平图像梯度与垂直图像梯度；

3c）将超分辨图像的Y分量图像H^*看成是上次迭代产生的已知常量，其值保持不变，在GPU上并行求解本次迭代的水平替换变量和垂直替换变量其中t表示当前迭代次数，t=1,2,3,4；

3d）将水平替换变量ψ_x和垂直替换变量ψ_y看成是步骤3c）所得的两个已知的常量，其值保持不变，在GPU上并行求解本次迭代的超分辨图像的Y分量图像H^*t；

3e）判断是否满足迭代终止条件t=4，如果不满足，则转向步骤3c）继续进行迭代，如果满足，则结束迭代，并将最后一次迭代中步骤3d）产生的H^*4做为输出的超分辨图像的Y分量图像H^*，执行步骤4）；

4）将插值图像I₂中的UV分量图像和步骤3）求出的超分辨图像的Y分量图像进行合成，得到YUV颜色空间下重建的超分辨图像I₃；

5）将超分辨图像I₃转换回RGB颜色空间，得到RGB颜色空间下重建的超分辨图像S。

本发明与现有技术相比具有以下优点：

1．本发明由于采用了一种简单的并行超分辨重建框架，对串行算法中存在的计算瓶颈实现了并行化加速，大大缩短了算法执行所需的运行时间，实现了最大分辨率为全高清1920×1080的超分辨图像的实时重建；

2．由于在并行快速图像去卷积运算中采用了有效的梯度一致和方向异性约束项，保证了输出超分辨图像与输入低分辨图像的结构一致性从而避免了环状效应的产生，使得本方法能产生出包含良好细节、纹理清晰、结构自然合理的高质量超分辨结果。

仿真实验结果表明，本发明是一种简单、有效、实时的高质量图像超分辨重建方法，在极短的时间内能够有效恢复低分辨图像中的细节信息，产生结构自然合理的高质量超分辨结果。

附图说明

图1是本发明的流程图；

图2是本发明实验中使用的4幅测试图像；

图3是用现有方法和本发明在第一幅测试图像上实验的视觉效果比较图；

图4是用现有方法和本发明在第二幅测试图像上实验的视觉效果比较图；

图5是用现有方法和本发明在第三幅测试图像上实验的视觉效果比较图；

图6是用现有方法和本发明在第四幅测试图像上实验的视觉效果比较图。

具体实施方式

以下参照附图对本发明的具体实现及效果作进一步详细表述。

参照图1，本发明的具体实现如下：

步骤1，输入一幅低分辨图像I₀和目标空间分辨率，并将该低分辨图像I₀从RGB颜色空间转换为YUV颜色空间，得到YUV颜色空间下的低分辨图像I₁，其中R代表红色分量图像，G代表绿色分量图像，B代表蓝色分量图像，Y代表亮度分量图像，UV代表色度分量图像。

步骤2，内存分配及初始化。

根据低分辨图像I₁和目标空间分辨率的大小统一分配CPU和GPU端内存并进行初始化，此后一直到运行结束前不再进行内存分配。

步骤3，计算最优的傅里叶变换大小。

根据低分辨图像I₁和目标空间分辨率的大小计算最优的傅里叶变换大小，此后将在这个最优的傅里叶变换大小下进行傅里叶变换。

所述的计算最优的傅里叶变换大小的方法采用开源函数库“开放的计算机视觉（OpenCV）”中的函数cvGetOptimalDFTSize实现。

步骤4，采用双三次插值方法对低分辨图像I₁在目标空间分辨率下的未知像素进行插值完成图像上采样，得到YUV颜色空间下目标空间分辨率大小的插值图像I₂。

步骤5，在GPU上对插值图像I₂中的Y分量图像进行并行快速图像去卷积运算求出超分辨图像的Y分量图像：

5.1）采用梯度一致约束项与方向异性约束项得到目标能量函数，表达形式如下：

式中为梯度一致约束项，为方向异性约束项，f表示模糊卷积核，H^*表示输出的超分辨图像的Y分量图像，H^～表示已知的插值图像I₂的Y分量图像，表示水平方向的图像梯度算子，表示垂直方向的图像梯度算子，n表示图像矩阵所有元素的总个数，i用来表示相应图像矩阵的第i个元素，k₁是用来调节梯度一致约束项的权值且实验中k₁=15，k₂是用来调节方向异性约束项的权值且实验中k₂=2，ο表示图像矩阵点乘运算，M是一个与插值图像I₂的Y分量图像H^～同大小的二值矩阵，如果插值图像I₂的Y分量图像H^～中像素的水平梯度和垂直梯度的平方和不大于预先设定的阈值，即满足不等式：（T是一个人工设定的阈值且实验中T=42），则M中对应元素m_i=1,否则m_i=0;

5.2）通过最小化目标能量函数(1)求出超分辨图像的Y分量图像H^*，以使最小化过程能够在GPU上有效并行执行：

5.2a）采用变量替换方法：用水平替换变量ψ_x与垂直替换变量ψ_y替换式（1）中超分辨图像的Y分量图像H^*的水平图像梯度与垂直图像梯度为了保证变量替换前后的目标能量函数等价，增加约束项因此将式(1)写成式(2)：

其中k₃是用来调节增加的约束项的权值，并且k₃在随后的迭代优化过程中逐渐增大；

5.2b)为了得到能够在GPU上执行的并行算法以提高运算速度，对式（2）进行分步迭代优化：

5.2b1)将式（2）中超分辨图像的Y分量图像H^*看成是上次迭代产生的已知常量，其值保持不变，最优化求解水平替换变量ψ_x与垂直替换变量ψ_y，再将式(2)写成式(3)：

由于式(3)这个方程对于图像中的所有元素都是变量独立的,因此有又由于E((ψ_x)_i)与E((ψ_y)_i)彼此独立,因此可以把这个多变量优化问题转化成单变量优化问题，得到本次迭代的水平替换变量元素的能量函数和垂直替换变量元素的能量函数

$E\left({\left({\mathrm{\ψ}}_x^t\right)}_i\right)=k_1{m}_i{({\left({\mathrm{\ψ}}_x^t\right)}_i-{\left({\∂}_x{H}^{~}\right)}_i)}^2+k_2\frac{{\left({\mathrm{\ψ}}_x^t\right)}_i^2}{1+{\left({\∂}_x{H}^{~}\right)}_i^2}+k_3^t{({\left({\mathrm{\ψ}}_x^t\right)}_i-{\left({\∂}_x{H}^{*t-1}\right)}_i)}^2---\left(4\right)$

$E\left({\left({\mathrm{\ψ}}_y^t\right)}_i\right)=k_1{m}_i{({\left({\mathrm{\ψ}}_y^t\right)}_i-{\left({\∂}_y{H}^{~}\right)}_i)}^2+k_2\frac{{\left({\mathrm{\ψ}}_y^t\right)}_i^2}{1+{\left({\∂}_y{H}^{~}\right)}_i^2}+k_3^t{({\left({\mathrm{\ψ}}_y^t\right)}_i-{\left({\∂}_y{H}^{*t-1}\right)}_i)}^2---\left(5\right)$

式中t表示当前迭代次数，t=1,2,3,4，H^*t-1表示上一次迭代重建的超分辨图像的Y分量图像，表示需要求解的本次迭代的水平替换变量，表示需要求解的本次迭代的垂直替换变量，H^*t-1的迭代初始值H^*0为插值图像I₂的Y分量图像H^～，，其中λ为控制递增速率的权值，实验中λ=40，

通过计算水平替换变量元素的能量函数和垂直替换变量元素的能量函数的导数为零点，得到本次迭代最小化的水平替换变量元素和垂直替换变量元素

${\left({\mathrm{\ψ}}_x^t\right)}_i=\frac{k_1{m}_i{\left({\∂}_x{H}^{~}\right)}_i+k_3^t{\left({\∂}_x{H}^{*t-1}\right)}_i}{k_1{m}_i+k_2{\left({\∂}_x{H}^{~}\right)}_i+k_3^t}---\left(6\right)$

${\left({\mathrm{\ψ}}_y^t\right)}_i=\frac{k_1{m}_i{\left({\∂}_y{H}^{~}\right)}_i+k_3^t{\left({\∂}_y{H}^{*t-1}\right)}_i}{k_1{m}_i+k_2{\left({\∂}_y{H}^{~}\right)}_i+k_3^t}---\left(7\right)$

由于经过处理后的各元素之间的最优化计算互不相关，此步最优化过程可以直接并行映射到GPU执行；

根据式（6）和式（7）并行求解本次迭代的水平替换变量和垂直替换变量即在GPU上采用二维的线程块组织二维的线程网格，线程网格中的第i个线程P_i计算本次迭代的水平替换变量的第i个元素和垂直替换变量的第i个元素，通过线程网格所有线程P的并行计算，得到本次迭代的水平替换变量和垂直替换变量

5.2b2)将式（2）中水平替换变量ψ_x和垂直替换变量ψ_y看成是步骤5.2b1)所得的两个已知的常量，其值保持不变，最优化求解超分辨图像的Y分量图像H^*，再将式(2)写成式(8)：

$E\left(H^{*}\right)={\left|\right|f\⊗H^{*}-H^{~}\left|\right|}_2^2+k_3*({\left|\right|{\mathrm{\ψ}}_x-{\∂}_x{H}^{*}\left|\right|}_2^2+{\left|\right|{\mathrm{\ψ}}_y-{\∂}_y{H}^{*}\left|\right|}_2^2)---\left(8\right)$

根据帕萨瓦尔定理（Plancherel）定理并使，其中F表示傅里叶正变换，求出本次迭代重建的超分辨图像的Y分量图像H^*t的频域最优解F(H^*t)，频域最优解F(H^*t)如式(9)：

式中表示矩阵求共轭，ο表示图像矩阵点乘运算；

由于矩阵各元素点乘运算之间是相互独立的，因而此步计算是可以直接映射到GPU上执行的并行算法，再将式(9)写成式(10)：

${\left(F\left(H^{*t}\right)\right)}_i=\frac{{\left(\stackrel{\‾}{F\left(f\right)}\right)}_i*{\left(F\left(H^{~}\right)\right)}_i+k_3^t{\left(\stackrel{\‾}{F\left({\∂}_x\right)}\right)}_i*{\left(F\left({\mathrm{\ψ}}_x^t\right)\right)}_i+k_3^t{\left(\stackrel{\‾}{F\left({\∂}_y\right)}\right)}_i*{\left(F\left({\mathrm{\ψ}}_y^t\right)\right)}_i}{{\left(\stackrel{\‾}{F\left(f\right)}\right)}_i*{\left(F\left(f\right)\right)}_i+k_3^t{\left(\stackrel{\‾}{F\left({\∂}_x\right)}\right)}_i*{\left(F\left({\∂}_x\right)\right)}_i+k_3^t{\left(\stackrel{\‾}{F\left({\∂}_y\right)}\right)}_i*{\left(F\left({\∂}_y\right)\right)}_i}---\left(10\right)$

根据式（10）并行求解本次迭代的超分辨图像的Y分量图像H^*t，即在GPU上采用二维的线程块组织二维的线程网格，线程网格中的第i个线程P_i计算本次迭代的超分辨图像频域最优解的第i个元素(F(H^*t))_i，通过线程网格中所有线程P的并行计算，得到本次迭代的超分辨图像的频域最优解F(H^*t)，再对频域最优解F(H^*t)采用傅立叶反变换H^*t=F^-1(F(H^*t))，其中F^-1表示傅里叶反变换，从而求出本次迭代重建的超分辨图像的Y分量图像H^*t；

5.2b3)判断是否满足迭代终止条件t=4，如果不满足，则转向步骤5.2b1)继续进行迭代，如果满足，则结束迭代，并将最后一次迭代中步骤5.2b2)产生的H^*4做为输出的超分辨图像的Y分量图像H^*，执行步骤6。

步骤6，将插值图像I₂中的UV分量图像和步骤5所得的超分辨图像的Y分量图像H^*进行合成，得到YUV颜色空间下重建的超分辨图像I₃。

步骤7，将超分辨图像I₃转换回RGB颜色空间，得到RGB颜色空间下重建的超分辨图像S。

输入一幅低分辨图像I₀和目标空间分辨率，通过以上步骤就可求出重建的超分辨图像S。

本发明的效果可以通过以下实验进一步说明：

1．实验平台条件：

CPU为IntelCorei7-3930k，GPU为NVIDIAGeForceGTX580，操作系统为Windows7SP1，执行函数库包括开放的计算机视觉库OpenCV2.3和并行傅里叶变换库CUFFT4.2。

实验选择图2所示的4幅测试图像，其中，图2(a)为蝴蝶图像，图2(b)为老虎图像，图2(c)为陶瓷图像，图2(d)为椅子图像。

2．实验内容：

实验中，为了验证本发明所得结果的视觉质量，实验1，实验2，实验3，实验4利用本发明方法与现有的双三次插值方法、林方法和祁方法这三种方法在图2所示的4幅测试图像上进行图像超分辨实验，并对比所得结果的视觉质量；为了验证本发明的实时处理性能及GPU加速的有效性，实验5利用本发明方法与现有的林方法、祁方法和CPU串行实现方法这三种方法进行图像超分辨实验，并记录所需的处理时间。

林方法参见文献：“基于梯度先验快速去卷积的图像超分辨（Lin,C.Y.,Hsu,C.C.,Lin,C.W.,Kang,L.W,“Fastdeconvolutionbasedimagesuper-resolutionusinggradientprior,”Proc.VCIP,pp.1-4(2011).）”。

祁方法参见文献：“快速图像/视频上采样（Q.Shan,Z.Li,J.Jia,andC.Tang,“Fastimage/videoupsampling,”ACMTransactionsonGraphics27,(2008).”。

具体实验内容如下：

实验1，利用本发明方法与现有的双三次插值方法、林方法和祁方法分别对图2(a)所示的蝴蝶图像进行超分辨，结果如图3，其中图3(a)是利用双三次插值方法得到的超分辨结果，图3(b)是利用林方法得到的超分辨结果，图3(c)是利用祁方法得到的超分辨结果，图3(d)是利用本发明方法得到的超分辨结果。

从图3可见，本发明方法能有效恢复图像的细节信息，图像边缘纹理清晰，整体效果更加自然，能有效的对低分辨图像进行超分辨。双三次插值方法由于高频信息的丢失，导致高分辨图像过平滑现象的出现，整幅图像呈现一种“雾蒙蒙”的感觉，比较明显的是蝴蝶翅膀的纹理模糊；林方法得到的结果虽然效果优于双三次插值方法，但是仍然存在上述问题，超分辨结果有待提高；祁方法图像整体较清晰，但是仍不能很好的恢复高频细节信息，尤其在图3(c)中圈出的区域出现了明显的振铃效应，导致了结构不合理的图像纹理，超分辨结果有待提高。

实验2，利用本发明方法与现有的双三次插值方法、林方法和祁方法分别对图2(b)所示的老虎图像进行超分辨，结果如图4，其中图4(a)是利用双三次插值方法得到的超分辨结果，图4(b)是利用林方法得到的超分辨结果，图4(c)是利用祁方法得到的超分辨结果，图4(d)是利用本发明方法得到的超分辨结果。

从图4可见，本发明方法能把老虎的头像真实、自然的进行超分辨，超分辨结果的纹理十分清晰，整体效果非常自然逼真，振铃效应很小，超分辨结果良好。双三次插值方法的超分辨结果出现过平滑现象，清晰度不高;林方法和祁方法的超分辨结果虽然都优于双三次插值方法，纹理较清晰，边界的高频信息保持较好，但在包含图像细节信息区域里和在图像整体效果上,这两种方法都不如本发明方法产生的超分辨结果自然、清晰，超分辨结果有待提高。

实验3，利用本发明方法与现有的双三次插值方法、林方法和祁方法分别对图2(c)所示的陶瓷图像进行超分辨，结果如图5，其中图5(a)是利用双三次插值方法得到的超分辨结果，图5(b)是利用林方法得到的超分辨结果，图5(c)是利用祁方法得到的超分辨结果，图5(d)是利用本发明方法得到的超分辨结果。

从图5可见，本发明方法能有效的对陶瓷图像进行超分辨，恢复了图像的细节信息，保持了低频图像信息一致性，输出结果图像整体更加自然、清晰，超分辨结果良好。双三次插值方法的超分辨结果出现过平滑现象，清晰度不高;林方法和祁方法的超分辨结果虽然优于双三次插值方法，但是仍然存在上述问题，在包含图像细节信息区域里和在图像整体效果上,其它两种方法不如本发明方法产生的图像自然、清晰，超分辨结果有待提高。

实验4，利用本发明方法与现有的双三次插值方法、林方法和祁方法分别对图2(d)所示的椅子图像进行超分辨，结果如图6，其中图6(a)是利用双三次插值方法得到的超分辨结果，图6(b)是利用林方法得到的超分辨结果，图6(c)是利用祁方法得到的超分辨结果，图6(d)是利用本发明方法得到的超分辨结果。

从图6可见，本发明方法能有效的对椅子图像进行超分辨，超分辨后的椅子、地砖纹理清晰，边缘明显，振铃效应很小，保持了低频图像信息一致性，有效恢复了图像的细节信息，超分辨结果较好；双三次插值方法的超分辨结果整体比较模糊，清晰度不高;林方法的超分辨结果虽然优于双三次插值方法，但是仍然存在上述问题，超分辨结果有待提高；祁方法超分辨结果纹理较清晰，边界的高频信息保持较好，但是椅子边缘产生了较明显的振铃效应，且整体效果仍然不如本发明方法清晰自然，超分辨结果有待提高。

实验5，利用本发明方法与现有的林方法、祁方法和CPU串行实现方法，对4幅测试图像进行目标空间分辨率为1024×768，1280×1024，1920×1080的超分辨实验，并将所需的处理时间记录于表1中。

表1

从表1可见，本发明方法所需的处理时间均极大的短于其他方法，并且相比于本方法的CPU串行实现方法，GPU并行实现获得了良好的加速比。更为重要和具有意义的是，在1024×768的高清分辨率，甚至在1920×1080的全高清分辨率下本发明方法所需处理时间均在60毫秒以内，无论对于图像还是视频处理，都已达到实时处理的要求。这表明本发明对GPU加速的有效性以及实时的处理性能。

Claims (3)

1.一种基于GPU加速的图像实时超分辨重建方法，其特征在于，包括如下步骤：

1)将需要重建的低分辨图像I₀从RGB颜色空间转换为YUV颜色空间，得到YUV颜色空间下的低分辨图像I₁，其中R代表红色分量图像，G代表绿色分量图像，B代表蓝色分量图像，Y代表亮度分量图像，UV代表色度分量图像；

2)采用双三次插值方法对低分辨图像I₁上采样，得到YUV颜色空间下插值图像I₂；

3)在电子装置的GPU上对插值图像I₂中的Y分量图像进行并行快速图像去卷积运算求出超分辨图像的Y分量图像：

3a)采用梯度一致约束项与方向异性约束项得到目标能量函数，表达形式如下：

式中为梯度一致约束项，为方向异性约束项，f表示模糊卷积核，H^*表示输出的超分辨图像的Y分量图像，H^～表示已知的插值图像I₂的Y分量图像，表示水平方向的图像梯度算子，表示垂直方向的图像梯度算子，n表示图像矩阵所有元素的总个数，i用来表示相应图像矩阵的第i个元素，k₁是用来调节梯度一致约束项的权值，k₂是用来调节方向异性约束项的权值，ο表示图像矩阵点乘运算，M是一个与插值图像I₂的Y分量图像H^～同大小的二值矩阵，如果插值图像I₂的Y分量图像H^～中像素的水平梯度和垂直梯度的平方和不大于预先设定的阈值，即满足不等式：

T是人工设定的阈值，则M中对应元素m_i＝1,否则m_i＝0；

3b)用水平替换变量ψ_x与垂直替换变量ψ_y替换上式中超分辨图像的Y分量图像H^*的水平图像梯度与垂直图像梯度

3c)将超分辨图像的Y分量图像H^*看成是上次迭代产生的已知常量，其值保持不变，在GPU上并行求解本次迭代的水平替换变量和垂直替换变量其中t表示当前迭代次数，t＝1,2,3,4；

3d)将水平替换变量ψ_x和垂直替换变量ψ_y看成是步骤3c)所得的两个已知的常量，其值保持不变，在GPU上并行求解本次迭代的超分辨图像的Y分量图像H^*t；

3e)判断是否满足迭代终止条件t＝4，如果不满足，则转向步骤3c)继续进行迭代，如果满足，则结束迭代，并将最后一次迭代中步骤3d)产生的H^*4做为输出的超分辨图像的Y分量图像H^*，执行步骤4)；

4)将插值图像I₂中的UV分量图像和步骤3)求出的超分辨图像的Y分量图像进行合成，得到YUV颜色空间下重建的超分辨图像I₃；

5)将超分辨图像I₃转换回RGB颜色空间，得到RGB颜色空间下重建的超分辨图像S。

2.根据权利要求1所述的基于GPU加速的图像实时超分辨重建方法，其特征在于：步骤3c)所述的在GPU上并行求解本次迭代的水平替换变量和垂直替换变量即在GPU上采用二维的线程块组织二维的线程网格，线程网格中的第i个线程P_i计算本次迭代的水平替换变量的第i个元素和垂直替换变量的第i个元素通过线程网格所有线程P的并行计算，得到本次迭代的水平替换变量和垂直替换变量

3.根据权利要求1所述的基于GPU加速的图像实时超分辨重建方法，其特征在于：步骤3d)所述的在GPU上并行求解本次迭代的超分辨图像的Y分量图像H^*t，即在GPU上采用二维的线程块组织二维的线程网格，线程网格中的第i个线程P_i计算本次迭代的超分辨图像频域最优解的第i个元素(F(H^*t))_i，其中F表示傅里叶正变换，通过线程网格中所有线程P的并行计算，得到本次迭代的超分辨图像的频域最优解F(H^*t)，再对频域最优解F(H^*t)采用傅立叶反变换H^*t＝F^-1(F(H^*t))，其中F^-1表示傅里叶反变换，从而求出本次迭代重建的超分辨图像的Y分量图像H^*t。