CN106709872B - 一种快速图像超分辨率重构方法 - Google Patents

Abstract

一种快速图像超分辨率重构方法，该方法利用自然图像纹理具有相似性这一先验，将训练图像数据库中的图像分割为图像块，并拉伸为向量；然后利用这些向量训练稀疏编码字典；对对应的高低分辨率图像数据集训练稀疏编码字典，可以得到对应的高、低分辨率字典；对于新输入的低分辨率图像，先利用低分辨率字典计算稀疏编码，而后用高分辨率字典乘以此编码得到高分辨率图像。在稀疏系数求解过程中，先对固定字典计算标准正交基的稀疏系数，对于新输入的稀疏系数采用标准正交基的稀疏系数加权求和的方式快速求取。在图像块处理过程中，采用CUDA技术并行处理各个图像块，可将处理时间缩短为传统CPU计算的万分之一。本发明用于快速获取单幅图像的超分辨率图像。

Description

一种快速图像超分辨率重构方法

技术领域

本发明涉及一种快速图像超分辨率重构方法，属于计算机视觉技术领域，具体涉及稀疏表示理论、快速稀疏编码求解技术、CUDA并行加速技术和单图像超分辨率方法。

背景技术

人们对于图像质量的追求是没有止境的，而决定图像质量的关键因素是图像分辨率。单图像超分辨率就是利用单帧低分辨率图像重构出高分辨率图像。超分辨率图像不仅是图像大小变大，其结构信息和纹理细节应当比有图像有更好的辨识性。传统图像插值算法假设图像具有连续性，使得计算出的高分辨率图像在高频区域产生模糊。

为了获得更好的高频细节，必须引入更多的先验信息。Yang等人(参考文献Jianchao,Yang,John Wright,Thomas Huang,and M.Yi."Image super-resolution assparse representation of raw image patches."In Proc.IEEE Conf.on ComputerVision and Pattern Recognition,pp.1-8.2008.)提出了利用自然图像训练对应的高低分辨率字典的方法来学习自然图像的纹理先验，并用此先验补充单幅图像超分辨率的高频细节。此方法设计大量图像块的稀疏编码求解，计算量大，耗时长。

Yang的方法耗时长的原因在于：一是稀疏编码求解是一个优化过程，求解步骤中需要迭代多次。二是对于图像块的操作虽然是简单重复，但是没有一个很好的并行方法，导致处理时间上堆叠。

发明内容

针对Yang方法耗时长的问题，本发明提出了一种快速图像超分辨率重构方法。本发明提出一种全新的稀疏编码求解思路，并用CUDA并行求解图像块的稀疏编码和高分辨率重构，极大加速了求解过程。

本发明的技术方案是：

一种快速图像超分辨率重构方法，包括如下步骤：

S1.准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像。

随机选取任一自然图像测试集中的不少于50张图像，选取的这些图像组成高分辨率图像数据库；然后将选取的所有图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库；

将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块，其中N为高、低分辨率图像分块的像素数。

S2.利用划分的图像块，分别训练低分辨率字典D_l∈R^N×n和高分辨率字典D_h∈R^N×n，其中N为高、低分辨率图像分块的像素数，n为字典宽度，且n＞＞N。训练方法为求解如下优化问题：

D＝arg min_D,α||Y-DX||+λ||X||₀s.t.||x_i||₀≤1

其中Y＝(y₁,...,y_p)为训练图像块向量为列构成的矩阵，X＝(x₁,...,x_p)为解向量构成的矩阵。

当Y分别为高分辨率、低分辨率图像块向量构成的矩阵时，便可分别得到高、低分辨率字典。

S3.设高、低分辨率字典D_h和D_l所在空间的标准正交基集合为{e_k}，k＝1,...,N，求出{e_k}的低分辨率字典稀疏编码集合{α_l ^k}。

对于已知字典D_l和标准正交基向量e_k，e_k的编码向量为

其中α是arg min中待优化的变量，λ是常数，||·||₁表示1-范数。

S4.输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核函数并行计算实现以下操作：

a.图像块向量y表示为其中x_k为系数，e_k为标准正交基向量，所以有y＝(x₁,x₂,...,x_N)^T。

b.已知低分辨率字典D_l和图像块向量y，估计稀疏编码优化问题

上述优化问题的解α_l的估计值为

其中||·||₁表示1-范数，表示2-范数的平方，λ为预设常数。

c.计算每一个图像块向量y对应的高分辨率图像块x，计算方式为x＝D_hα^*；将图像块x放入高分辨率图像X₀中，图像块x放入的位置与其对应的原始图像中的图像块所在位置对应；放入图像块x的高分辨率图像区域中每一个像素被认为填充了一次，用矩阵M记录高分辨率图像X₀中每一个像素被填充的次数；所有图像块x放入完毕后即得到高分辨率图像X₀。

S5.输出超分辨率图像X^*＝X₀./M，其中./表示元素除法。

本发明利用自然图像纹理具有相似性这一先验，将训练图像数据库中的图像分割为图像块，并拉伸为向量；然后利用这些向量训练稀疏编码字典；对对应的高低分辨率图像数据集训练稀疏编码字典，可以得到对应的高、低分辨率字典。

对于新输入的低分辨率原始图像，先利用低分辨率字典计算稀疏编码，而后用高分辨率字典乘以此编码得到高分辨率图像。在稀疏系数求解过程中，先对固定字典计算标准正交基的稀疏系数，对于新输入的稀疏系数采用标准正交基的稀疏系数加权求和的方式快速求取。

附图说明

图1是本发明方法的整体流程图，包含训练过程和单帧图像超分辨率过程；

图2是CUDA内核函数并行原理图；

图3是本发明的CUDA内核函数设计图；

图4是本发明超分辨率结果与三次插值和Yang方法的对比；

图5是本发明超分辨率执行时间与三次插值与Yang方法的对比。

图6是图像分块方式示意图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1展示了字典训练和单帧图像超分辨率的整体流程。

步骤一：1)准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像。随机选取任一自然图像测试集(如ImageNet)中的不少于50张图像，选取的这些图像组成高分辨率图像数据库。将选取的这些图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库；由于本发明的图像超分辨率基于图像的亮度信息，而非色彩信息，故高、低分辨率图像数据库的色彩信息无需保留，直接将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块。其中N＝25为高、低分辨率图像分块的像素数。设图像块对的数目为p。

步骤二：利用划分的图像块，分别训练低分辨率字典D_l∈R^N×n和高分辨率字典D_h∈R^N×n。其中n＝100为字典宽度。训练方法为求解如下优化问题：

D＝arg min_D,α||Y-DX||+λ||X||₀s.t.||x_i||₀≤1

其中Y＝(y₁,...,y_p}为训练图像块向量为列构成的矩阵，X＝(x₁,...,x_p)为解向量构成的矩阵。当Y分别为高分辨率、低分辨率图像块向量构成的矩阵时，便可分别得到高、低分辨率字典。

步骤三：设高、低分辨率字典D_h和D_l所在空间的标准正交基集合为{e_k}，k＝1,...,N，求出{e_k}的低分辨率字典稀疏编码{α_l ^k}。

具体地，对于已知字典D_l和标准正交基向量e_k，e_k的编码向量为

其中α是arg min中待优化的变量，λ是常数，||·||₁表示1-范数。

步骤四：输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核函数并行计算实现以下操作：

a.图像块向量y表示为其中x_k为系数，e_k为标准正交基向量，所以有y＝(x₁,x₂,...,x_N)^T。

b.已知低分辨率字典D_l和图像块向量y，估计稀疏编码优化问题

上述优化问题的解α_l的估计值为

其中||·||₁表示1-范数，表示2-范数的平方，λ为预设常数。

c.计算每一个图像块向量y对应的高分辨率图像块x，计算方式为x＝D_hα^*；将图像块x放入高分辨率图像X₀中，图像块x放入的位置与其对应的原始图像中的图像块所在位置对应，如图6所示。放入图像块x的高分辨率图像区域中每一个像素被认为填充了一次，用矩阵M记录高分辨率图像X₀中每一个像素被填充的次数；所有图像块x放入完毕后即得到高分辨率图像X₀；

图2展示了CUDA并行加速的原理。其核心思想是GPU多线程具有相同的函数体和不同的数据。CUDA可以利用GPU上千个核心创建众多线程并行计算。图3展示了本发明CUDA内核的设计思路。直接利用一维线程编组方式并行执行多图像块处理过程。

步骤五：输出超分辨率图像X^*＝X₀./M。其中./表示元素除法。图4和图5的分别展示了本发明方法在超分辨率效果和运行时间上的优越性。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应该提出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种快速图像超分辨率重构方法，其特征在于，包括如下步骤：

S1.准备对应的高、低分辨率图像数据库，将彩色图像转化为灰度图像。

随机选取任一自然图像测试集中的不少于50张图像，选取的这些图像组成高分辨率图像数据库；然后将选取的所有图像按照β:1比例降采样得到对应的低分辨率图像，这些低分辨率图像组成低分辨率图像数据库；

将高、低分辨率图像数据库中的图像转化为灰度图像，并将得到的高、低分辨率的灰度图像分别划分为的图像块，其中N为高、低分辨率图像分块的像素数；

S2.利用划分的图像块，分别训练低分辨率字典D_l∈R^N×n和高分辨率字典D_h∈R^N×n，其中N为高、低分辨率图像分块的像素数，n为字典宽度，且n＞＞N；

S3.设高、低分辨率字典D_h和D_l所在空间的标准正交基集合为{e_k}，k＝1,...,N，求出{e_k}的低分辨率字典稀疏编码集合{α_l ^k}；

对于已知字典D_l和标准正交基向量e_k，e_k的编码向量为

其中λ是常数，||·||₁表示1-范数；

S4.输入待处理的低分辨率彩色图像Y，将彩色图像Y转换到YCbCr空间，对其亮度通道进行以下操作：从图像的左上角开始每间隔1个像素分割出一个的图像块，并将其均拉伸成向量，对每个图像块向量y用CUDA内核函数并行计算实现以下操作：

a.图像块向量y表示为其中x_k为系数，e_k为标准正交基向量，所以有y＝(x₁,x₂,...,x_N)^T；

b.已知低分辨率字典D_l和图像块向量y，估计稀疏编码优化问题

上述优化问题的解α_l的估计值为

其中||·||₁表示1-范数，表示2-范数的平方，λ为预设常数；

c.计算每一个图像块向量y对应的高分辨率图像块x，计算方式为x＝D_hα^*；将图像块x放入高分辨率图像X₀中，图像块x放入的位置与其对应的原始图像中的图像块所在位置对应；放入图像块x的高分辨率图像区域中每一个像素被认为填充了一次，用矩阵M记录高分辨率图像X₀中每一个像素被填充的次数；所有图像块x放入完毕后即得到高分辨率图像X₀；

S5.输出超分辨率图像X^*＝X₀./M，其中./表示元素除法。

2.根据权利要求1所述的快速图像超分辨率重构方法，其特征在于，S2中训练低分辨率字典D_l∈R^N×n和高分辨率字典D_h∈R^N×n方法为求解如下优化问题：

D＝argmin_D,α||Y-DX||+λ||X||₀s.t.||x_i||₀≤1

其中Y＝(y₁,...,y_p)为训练图像块向量为列构成的矩阵，X＝(x₁,...,x_p)为解向量构成的矩阵；

当Y分别为高分辨率、低分辨率图像块向量构成的矩阵时，便可分别得到高、低分辨率字典。