CN107194877A - 一种基于单幅图像的保边插值超分辨率计算方法 - Google Patents

Abstract

本发明公开了一种基于单幅图像的保边插值超分辨率算法，能有效改善图像在放大后的失真现象，实现快速单幅低分辨率的图像构建高分辨率图像，包括以下步骤：采用Canny算子提取图像边信息，分离出边部分与非边部分，图像的非边缘部分采用双三次插值方法；图像的边缘部分根据梯度矩阵实现边缘锐化。通过上述步骤处理过后的单幅图像可以有效提高分辨率。本发明支持对任意单幅图像进行一次或多次处理，并获得正确的提高分辨率图像的结果。

Description

一种基于单幅图像的保边插值超分辨率计算方法

技术领域

本发明涉及基于单幅图像的保边插值超分辨率计算方法，具体是提出图像处理中利用双三次插值、边缘检测和梯度锐化，选择和设计特定的算子和算法矩阵获得高效、轻量的能面向移动设备的算法，在速度和处理质量上能达到一个适于移动设备使用的平衡。

背景技术

随着移动互联网技术的迅猛发展现代科技的发展，人们在日常生活中会越来越多从互联网上的获取到各种各样的图像信息。但一幅图像的分辨率通常是固定的，一旦放大后就会出现锯齿、马赛克或图像变形等一系列的问题。严重影响到视觉效果。然而从硬件设备角度提高成像质量面临着高精度元件所带来的昂贵成本。如果能通过软件的算法把快速高效的把图像低分辨率转换成人们视觉上可以接受的清晰的高分辨率图像是目前非常需要的。这种基于软件的超分辨率技术的成果在移动设备、遥感、医学成像、公共安全监控系统等很多领域都有非常重要的应用价值，但目前尚未见有这方面的研究成果。

发明内容

发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种有效的单幅图像保边插值的计算方法，快速保质的超分辨率图像，支持在容量小、内核处理能力较低的移动电子设备上，存储低分辨率的图像，显示高分辨率图像。

技术方案：为实现上述发明目的，本发明采用的技术方案为一种基于单幅图像的保边插值超分辨率计算方法，能为移动设备提供高分辨率的图像，包括以下步骤：

1)采用Canny算子提取图像边信息，分离边部分与非边部分；

2)非边部分采用双三次插值方法保证质量与速度；

3)为边部分处理设计梯度矩阵；

4)根据梯度矩阵进行边缘修正，实现边部分锐化还原；

在上述步骤被处理后，即可把单幅图像转化成一幅高分辨率的图像。

进一步的，所述步骤1)采用Canny算子提取图像边信息，分离边部分与非边部分。指定两个阈值参数来控制边的检测，其中一个阈值控制初始图像的分割(基础分割)，另一个阈值控制初始分割后的细节分割。Canny算子还使用卷积去除噪声，在平滑的图像上利用图像的边缘梯度来判断边的趋向性。这是一种使用是最广泛、效果最优的边缘检测算法之一。

11)选取一张需要进行超分辨率处理的图像；

12)直接将彩色图像转换成灰度图像，或使用分离RGB颜色通道分离出3幅灰度图；

13)选择Canny算子检测出灰度图像的边；

在Matlab中，采用edge(Image,’Canny’)函数计算；

进一步的，所述步骤2)中采用非边部分采用双三次插值方法，保证图像的质量与处理速度的均衡。包括如下步骤：

21)在非边部分选用不易出现马赛克和锯齿，以及处理时间较快的双三线性插值算法；

22)根据已有离散数据集推断出新的数据点，每1像素点扩展出周围8个像素点；每个新像素点由周边最邻近的四个旧像素点以及像素变化率生成；

23)最终获得放大2倍，但轮廓模糊的图像。

进一步的，所述步骤3)中，设计出隔行求差的梯度矩阵，为边部分处理做准备。包括如下步骤：

31)如果中心点为需要判断梯度方向的点，根据周围的8个点的像素值判断该点向8个方向的趋近度；

32)通过加大垂直方向上的权重，弱化倾斜方向的权重，设计出隔行求差梯度矩阵；

33)获得垂直向上、垂直向下、水平向左、水平向右、右上方、右下方、左上方、左下方8个方向的梯度矩阵：分别为H1、H2、H3、H4、H5、H6、H7、H8；

进一步的，所述步骤4)中，选取适当的锐化参数，根据梯度矩阵进行边缘修正，实现边部分锐化还原。部分使用梯度矩阵计算每一个点与其周边8个点的像素值的梯度，计算出边沿的法向，依据锐化参数，从而根据该方向对插值过后的图像在边部分进行锐化还原。最终获得超分辨率的目标图像。包括如下步骤：

41)依次选取图像中每一个像素点根据1)分离边信息，和2)双三线性插值处理后该点，判断是否是边缘两侧像素点，直到处理完整幅图像的所有的像素点。

42)如果是边像素点，转向43)，如果是非边像素点，转向41)；

43)边缘两侧的像素点与这些梯度矩阵做卷积运算

44)采用冒泡算法确定梯度值最大的方向，使该像素点趋近于反方向；

45)使用修正公式：Ai＝(Ai*f-P*g)/(f-g)，其中P为边缘两侧的像素点，Ai为P点最大梯度方向上生成的新像素点，并选取锐化参数f＝8；g＝1。

46)选取需要修正的像素点，计算梯度差值(Ai*f-P*g)，若(Ai*f-P*g)>0，则需要按照修正公式修正该方向上的梯度差，否则不需要修正，转向41)，直到所有的像素点都被修正完成，返回超分辨率图像。

如果采用分离RGB颜色通道，需要在调用算法前利用MATLAB图像存储原理，分离原三维图像矩阵的RGB颜色通道为三个二维图像矩阵；在算法处理完成后利用reshape函数将输出的三个二维图像矩阵合并成三维矩阵。即可获得超分辨率图像。

有益效果：本发明通过围绕边读取算子的选取，梯度矩阵的设计，锐化参数的选择，采用Canny算子提取图像边信息，高效分离出图像的边部分与非边部分。对于非边部分采用双三次插值方法同时保证图像质量与处理速度，为边部分设计梯度矩阵，计算出每一个像素点与其周边8个点的像素值的梯度，并计算出边沿的法向，通过增大边缘像素之间的梯度差来使边缘轮廓更清晰，因此设计一组修正因子，保证了边缘像素能过较好地保持了原有的像素梯度，实现了图像的锐化还原。对任意单幅彩色图像输入算法进行多次处理，也可以获得相应放大任意倍数的超高分辨率图像。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成本发明的不当限定。在附图中：

图1是本发明提供的一种基于单幅图像的保边插值超分辨率计算方法的算法处理基本流程图；

图2是本发明提供的一种基于单幅图像的保边插值超分辨率计算方法的8个方向上的梯度矩阵。

图3是本发明提供的一种基于单幅图像的保边插值超分辨率计算方法的锐化处理流图。

图4是本发明提供的一种基于单幅图像的保边插值超分辨率计算方法的算法处理效果图a)采样原始图(396*396)b)减半采样图(198*198)c)本算法处理放大后的结果图(396*396)

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不限定本发明。

本发明一种基于单幅图像的保边插值超分辨率计算方法，其中，边缘检测采用的是基于canny算子的边缘检测算法，插值放大采用的是双三次插值算法，边缘锐化处理采用的是梯度边缘法向修正处理方案。为了能够有真实值验证算法的有效性，我们都是对输入的原图像减少采样到原图的一半，然后再使用超分辨率处理算法放大到2倍率大。这样可以用原始输入的图来验证超分辨率处理的效果。本发明中讨论的算法的具体实现都是基于放大两倍来验证的，其它倍率的放大，可以根据2倍率放大后，再次调用该算法，实现任意倍率的放大。本发明实现单幅低分辨率的图像快速构建高分辨率图像，避免图像在放大后失真。

算法使用Matlab平台，因此所有函数实现都是基于Matlab库构建的。下面介绍的是详细的算法设计以及函数使用。

首先，我们需要从图片测试集文件夹中读入测试图片进入文件，我们可以使用imread函数控制图片路径和扩展名。获取图片后，用size函数存储图像的大小，将原图片用imresize函数缩小2倍。这样做是为了完成超分辨率处理时，可以有图片真实值进行质量评估。接下来就是对图像进行边检测，Matlab提供edge函数来实现边检测，在调用edge函数时我们可以选择不同的算子处理，这里选择的是Canny算子。在edge函数的边检测过程中，输入的是灰度图像，因此这里的策略也产生了分歧。方法将RGB图像在R、G、B三个维度上进行分离，分离成三幅灰度图像分别检测边和锐化，之后再将三幅图像通过reshape函数合并为一幅图像。

由于Matlab处理中将彩色图像按照三维的矩阵存放Img＝[sizeX,sizeY,3]，保持前两维度不变，将三维矩阵分离成三个[sizeX,sizeY,1]的矩阵即可。理论上来说，RGB三通道分离处理的图像质量会比不分离的效果要好。直接进行rgb2gray函数，该函数会根据公式：Grey＝0.299*R+0.587*G+0.114*B转化图片，会造成部分像素信息的损失，相对的边检测也就会与真实值有偏差。同样的，通过实验数据也可以很好地证明这一点。

完成边检测的操作之后，我们需要设置梯度矩阵来对边缘像素进行卷积操作。这里需要注意讨论的梯度矩阵设置是基于一种求梯度的公式和权重设置来设计的，在实际的操作中我们也可以选择多组梯度矩阵，测试最适合本算法的梯度矩阵组。卷积的操作在Matlab中根据filter2函数设置滤波器实现，将梯度矩阵Hi和源图像作为函数的输入，即可获得一个代表每个像素点经过卷积操作后某个方向的梯度大小的二维矩阵，本算法设置了一个三维矩阵G来存放八个方向的像素梯度差值。

接着是边缘像素的梯度判断和锐化，遍历图像的所有像素点，当像素点处于边位置时，利用冒泡算法求解该像素点梯度最大的方向。由于edge函数输出的边缘图像为二值化图像，非边部分为0，边部分唯一，则只需要运用if判断语句判断edgeImg(i,j)是否为真之后再遍历G(i,j,m)即可实现。寻找到像素的最大梯度方向后，设置switch语句判断，进入这个方向的锐化操作流程。

锐化操作在实现的时候我们需要注意超分辨处理前后新旧点之间的对应关系，根据Matlab的下标处理是从1开始的，我们可以带入一部分真实对应值反推映射公式，图上的任意一点P是未经过插值处理的点，假设它的位置P(i,j)＝(1,1)。则插值过后八个方向的新像素点为A1(1,1)，A2(1,2)，A3(1,3)，A4(2,1)，P’(2,2)，A5(2,3)，A6(3,1)，A7(3,2)，A8(3,3)。不难推断出，当P＝(i,j)时，P’＝(2i,2j)，因此其余点根据P’即可求出A1＝(2i-1,2j-1)，A2(2i-1,2j)，A3(2i-1,2j+1)，A4(2i,2j-1)，A5(2i,2j+1)，A6(2i+1,2j-1)，A7(2i+1,2j)，A8(2i+1,2j+1)，之后再根据阈值判断，按照修正公式进行像素修正。

经过以上操作流程，我们所得到的输出图像就是完成基于单幅图像的保边超分辨率处理算法后的图像。经过上述计算方法的修正，图像的马赛克和边缘模糊问题可以得到较好的解决。

例如我们选一幅尺寸大小为396x396彩色图片作为采样，如图4a，减半采样后获得尺寸大小为198x198，如图4b，经过我们优化保边插值超分辨率算法处理后，获得放大后尺寸为396x396的图片。最后采用评价图像的客观标准PSNR峰值信噪比来进行算法评价。由下表中的数据可以看出，本算法的PSNR峰值信噪比更大，因此生成的图像质量也更好。

表1

为了更具有客观性，采用专业图片测试数据集，在加州大学伯克利分校计算机视觉实验室专用数据集BSD500中随机选择了100张大小包含160×240和320×480的图像构成了BSD100，作为数据测试集。我们的保边插值算法在质量上超过了普通的双三次插值算法，完全满足用户的视觉体验，单幅图像的平均处理速度均<1s，完全能够满足移动设备图像处理应用的高效需求。

图1是本计算方法的算法处理流程图，方法的输入是低分辨率原图，输出是放大2倍后的高分辨率目标图。原图经过基于canny算子的边缘检测算法，双三次插值算法放大，以及边缘锐化处理获得放大2倍后的高分辨率目标图。

图2是隔行梯度矩阵，H1、H2、H3、H4、H5、H6、H7、H8分别表示垂直向上、垂直向下、水平向左、水平向右、右上方、右下方、左上方、左下方8个方向的梯度矩阵。

图3是锐化处理流图，输入插值放大后的图像，逐一判断像素点是否是边缘像素点，如果为真，边像素点与梯度矩阵做卷积运算，采用冒泡算法确定周围8个像素点梯度值最大的方向，使该像素点趋近于反方向。值得注意的是进行插值算法时，梯度差值容易被减小导致边缘模糊。修正时若计算出的梯度差值小于设定值，则需要进行修正。

图4是算法处理效果图a)采样原始图b)减半采样图c)本算法放大处理结果图。

本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。

Claims (5)

1.一种基于单幅图像的保边插值超分辨率计算方法，其特征在于，包括以下步骤：

1)采用Canny算子提取图像边信息，分离出边部分与非边部分；

2)非边部分采用双三次插值方法放大图像；

3)为边部分处理设计梯度矩阵；

4)根据梯度矩阵进行边缘修正，实现边部分锐化还原。

2.根据权利要求1所述的基于单幅图像的保边插值超分辨率计算方法，其特征在于，所述步骤1)包括以下步骤：

11)选取一张需要进行超分辨率处理的彩色图像；

12)直接将所述彩色图像转换成灰度图像，或使用分离RGB颜色通道分离出3幅灰度图；

13)选择Canny算子检测出灰度图像的边。

3.根据权利要求1所述的基于单幅图像的保边插值超分辨率计算方法，其特征在于，所述步骤2)中，增加图像的像素点，把图像尺寸和分辨率放大两倍。包括如下步骤：

21)在非边部分选用双三线性插值算法；

22)根据已有离散数据集推断出新的数据点，每个新像素点由周边最邻近的四个旧像素点以及像素变化率生成；

23)最终获得放大2倍，但轮廓模糊的图像。

4.根据权利要求1所述的基于单幅图像的保边插值超分辨率计算方法，其特征在于，所述步骤3)中，包括以下步骤：

31)如果中心点为需要判断梯度方向的点，根据周围的8个点的像素值判断该中心点向8个方向的趋近度；

32)通过加大垂直方向上的权重，减少倾斜方向的权重，设计出隔行求差梯度矩阵；

33)获得垂直向上、垂直向下、水平向左、水平向右、右上方、右下方、左上方、左下方8个方向的梯度矩阵。

5.根据权利要求1所述的基于单幅图像的保边插值超分辨率计算方法，其特征在于，所述步骤4)中，包括以下步骤：

41)依次选取图像中每一个像素点，判断是否是边缘两侧的像素点，直到处理完整幅图像的所有的像素点；

42)如果是边缘两侧的像素点，转向步骤43)，如果不是边缘两侧的像素点，转向步骤41)；

43)边缘两侧的像素点与所述梯度矩阵做卷积运算；

44)采用冒泡算法确定梯度值最大的方向，利用修正公式还原插值过程中被减小的最大梯度值；

45)使用修正公式：Ai＝(Ai*f-P*g)/(f-g)，其中P为边缘两侧的像素点，Ai为P点最大梯度方向上生成的新像素点，并选取锐化参数f＝8；g＝1。

46)选取需要修正的像素点，计算梯度差值(Ai*f-P*g)，若(Ai*f-P*g)>0,则需要按照修正公式修正该方向上的梯度差，否则不需要修正，转向步骤41)，直到所有的像素点都被修正完成，返回超分辨率图像。