CN111652800B - 一种单张图像超分辨的方法及计算机可读存储介质 - Google Patents

Abstract

本发明提供一种单张图像超分辨的方法及计算机可读存储介质，方法包括：对单张低分辨率图像进行上采样得到第一高分辨率图像；将所述第一高分辨率图像分割成多个小图像块，逐一计算每个所述小图像块的平均梯度及结构张量，并通过结构张量判定小图像块属于平滑块还是非平滑块；获取所有属于非平滑块的小图像块的位置并根据位置通过聚类方法得到非平滑区域，单张低分辨率图像的其余区域为平滑区域；对非平滑区域采用滑窗取样的方式对所有像素点多次取样进行重建得到第二高分辨率图像对应位置的第一对应区域；对平滑区域的边缘处做平滑处理得到第二高分辨率图像的对应位置的第二对应区域；第一对应区域和第二对应区域拼接得到第二高分辨率图像。

Description

一种单张图像超分辨的方法及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种单张图像超分辨的方法及计算机可读存储介质。

背景技术

对图像进行超分辨的方法，一直是计算机视觉领域中一个很热门的方向，首先此法不受拍摄图像的硬件设施的制约，仅依靠软件算法来提升图像的分辨率，并在保持图像特征不变的同时恢复其细节纹理，在成本上有很大优势。因此广泛应用于高清数字电视、监控设备、采集军事与气象遥感图像、医学成像系统、图像压缩等领域中。

图像超分辨问题本质上是一个病态问题，重构的约束不唯一，方法也不唯一。传统的图像超分辨率重建方法可分为几大类：(1)基于插值的方法；(2)基于学习的方法；(3)基于重建的方法。

基于插值的方法优点是简单快速，计算量小。但重建的质量很粗糙，存在大量的块效应、振铃或锯齿伪影，图像过于平滑，高频的纹理细节丢失等现象严重。所以重构图像的质量下降。

基于学习的方法主要指由机器学习引入的稀疏字典学习方法，首先通过高分辨率图像集合经过某种退化模型得到其对应的低分辨率图像集，二者共同作为训练集进行训练，学习可以描述图像特征的字典，并通过字典的映射来重构高分辨率图像。优点是恢复效果较好，但生成字典的映射质量严重依赖训练集的数量和质量，并且计算量很大，处理效率偏低。

基于重建的方法也称基于模型的方法，通过研究图像的高分辨率细节在低分辨率下的表现，建立二者的对应关系，并利用某种模型来刻画这种映射，解决过程相当于信息提取与信息融合的问题。优点是不需要附加的背景知识，但是重建效果有限，依赖于模型及其参数的选择。

现有技术中缺乏一种单张图像超分辨率的效果好、速度快的方法。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

本发明为了解决现有的问题，提供一种单张图像超分辨的方法及计算机可读存储介质。

为了解决上述问题，本发明采用的技术方案如下所述：

一种单张图像超分辨的方法，包括如下步骤：S1：对单张低分辨率图像进行上采样得到第一高分辨率图像；S2：将所述第一高分辨率图像分割成多个小图像块，逐一计算每个所述小图像块的平均梯度及结构张量，并通过所述结构张量判定所述小图像块属于平滑块还是非平滑块；S3：获取所有属于非平滑块的所述小图像块的位置并根据所述位置通过聚类方法得到非平滑区域，所述单张低分辨率图像的其余区域为平滑区域；S4：对所述非平滑区域采用滑窗取样的方式对所有像素点多次取样进行重建得到第二高分辨率图像对应位置的第一对应区域；对所述平滑区域的边缘处做平滑处理得到所述第二高分辨率图像的对应位置的第二对应区域；S5：所述第一对应区域和所述第二对应区域拼接得到所述第二高分辨率图像。

优选地，所述上采样的方法包括：双三次插值或者多项式插值；将所述第一高分辨率图像通过非重叠方式分割成多个所述小图像块。

优选地，所述结构张量的计算方法包括计算所述小图像块的一阶梯度的平均值：

然后，由所述一阶梯度的平均值计算所述小图像块的结构张量矩阵：

其中，Ip是所述小图像块中的任一像素点的梯度，I是所述小图像块的像素点梯度的均值，Ix、Iy分别代表所述小图像块的像素点的行梯度和列梯度的均值；其中所述像素点的行梯度是所述像素点右侧相邻的像素点的像素值与所述像素点的像素值的差值，最右侧的像素点和其左侧像素点取相同的行梯度；所述像素点的列梯度是以所述像素点的下方的相邻的像素点的像素值与所述像素点的像素值的差值。

优选地，通过所述结构张量判定所述小图像块属于平滑块还是非平滑块包括：计算所述小图像块的结构张量矩阵的值T＝tr(Sw)以及行列式的值H＝|Sw|；若所述结构张量矩阵的值和所述行列式的值均小于预先设置的阈值，则所述小图像块属于平滑块；反之，属于非平滑块。

优选地，采用k-means聚类方法得到非平滑区域包括如下步骤：S31：确定所述k-means聚类方法中k的值，将所述非平滑块作为样本，所述非平滑块在所述低分辨率图像中的坐标作为样本值；S32：随机初始化k个聚类中心并根据距离最近原则将所述样本分配到最近的所述聚类中心；S33：更新所述聚类中心的位置坐标，以类中所述样本的样本值的均值为更新点。

优选地，采用手肘法确定所述k-means聚类方法中k的值，具体公式如下：

其中，i为样本的编号，j为类编号，μ_c`为质心，x为样本坐标；选取得到最小J的k值为最终的选择。

优选地，采用图论方法进行重建得到第二高分辨率图像的第一对应区域；以所述小图像块的像素点作为图的顶点，边的权重W通过如下热核高斯公式计算：

其中，i,j代表顶点，x代表像素点的位置坐标，n代表两个像素点连线上非平滑点的个数，δ是高斯函数所覆盖的宽度；

根据所述顶点和所述边的权重，计算相应的度矩阵：

并进一步计算图的拉普拉斯矩阵：L＝D-W

其中，D和L都是实对称矩阵，D是对角阵；

所述第一对应区域由下式计算得到：

Y＝H^TH-λL

其中，H是下采样矩阵，H^T是下采样矩阵的转置，λ为修正系数。

优选地，所述第一对应区域和所述第二对应区域拼接时，出现重叠像素则按照重叠次数求所述重叠像素的平均值，所述平均值为所述第二高分辨率图像的像素值。

优选地，对所述平滑区域的边缘处使用高斯滤波器或双边滤波器做平滑处理得到所述第二高分辨率图像的第二对应区域。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。

本发明的有益效果为：提供一种单张图像超分辨的方法及计算机可读存储介质，通过图像块的结构张量将低分率图片自适应的划分为平滑块和非平滑块，根据聚类方法将非平滑块聚类成非平滑区域，其余区域为平滑区域；对于非平滑区域与平滑区域采用不同的方式进行超分辨率重建，在非平滑区域的预处理中加入滑窗取样的方式，来对非平滑区域的所有像素点多次取样，提高重建效果，且处理速度快。

更进一步的，本发明对于选定的非平滑区域进行重建时权重函数作出改进，以图拉普拉斯方法为基础，结合图片区域边缘点、角点相对密集的情况下，通过对函数附加修正系数来提高细节纹理的保留度，进一步提升超分辨率重建的算法性能。

附图说明

图1是本发明实施例中一种单张图像超分辨的方法的示意图。

图2是本发明实施例中采用k-means聚类方法得到非平滑区域的方法示意图。

图3(a)-图3(d)分别是本发明实施例中采用双线性插值法、双三次插值法、最近邻插值法、以及本发明的方法进行处理后得到的图片。

图4(a)-图4(d)分别是本发明实施例中采用双线性插值法、双三次插值法、最近邻插值法、以及本发明的方法进行处理后得到的图片。

具体实施方式

为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。

需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

如图1所示，本发明提供一种单张图像超分辨的方法，包括如下步骤：

S1：对单张低分辨率图像进行上采样得到第一高分辨率图像；

S2：将所述第一高分辨率图像分割成多个小图像块，逐一计算每个所述小图像块的平均梯度及结构张量，并通过所述结构张量判定所述小图像块属于平滑块还是非平滑块；

S3：获取所有属于非平滑块的所述小图像块的位置并根据所述位置通过聚类方法得到非平滑区域，所述单张低分辨率图像的其余区域为平滑区域；

S4：对所述非平滑区域采用滑窗取样的方式对所有像素点多次取样进行重建得到第二高分辨率图像对应位置的第一对应区域；

对所述平滑区域的边缘处做平滑处理得到所述第二高分辨率图像的对应位置的第二对应区域；

S5：所述第一对应区域和所述第二对应区域拼接得到所述第二高分辨率图像。

在本发明的一种实施例中，平滑区域的边缘处使用高斯滤波器或双边滤波器做平滑处理得到第二高分辨率图像的第二对应区域。

本发明的目的是采用一种新的选取图像非平滑区域的方法，即先将整张图像分割成小图像块并使用经典图像处理中的结构张量的概念改进来判定小图像块属于平滑块还是非平滑块；然后使用机器学习领域中的聚类方法来判断需要进行精细操作的非平滑区域。本发明虽然是基于模型的方式，但是在模型构建上与现有技术的方法有所不同，加入了机器学习的自适应选择性。

现有技术中已经存在针对同一张图像的不同区域采用不同重建方式的方法，并且无论在经典图像处理或者是深度学习方法中都有使用。基于模型重建的方法，大体思路都是先将整张分成小图像块，然后通过某种筛选方式将小图像块分为两类，一类是非平滑块，另一类是平滑块，其中非平滑块中通常代表着整张图像需要描述的主要信息，即图像内容为主，因此需要使用某种算法进行精细化处理，期望在图像超分辨的过程中尽量保留图像的边缘点以及细节信息；与上述类似，平滑块通常不包含图像的主要信息，通常是图像的背景信息，因此采用比较简单的方式进行超分辨，目的是节省计算量，以提高整体任务的效率。

本发明的优势在于需要精细化处理的非平滑区域的选择，是通过引入聚类方法来自动选择需要精细处理的非平滑区域。在现有技术的方法中，通常是在判定子块为非平滑块之后，对所有非平滑块逐个处理，并且不考虑此非平滑子块在整张图像中的位置因素。而聚类方法所做的是将整张图像中所有的非平滑子块按照其位置进行一个聚类，个别非平滑子块如果距离其他非平滑子块的距离较远，类似于孤点，则不会被包含进任一位置类中。因此本发明的目的是在尽量保留图像有用信息的基础上，提高任务的处理速度。在原则上速度会比逐个图像块计算的方法要快很多，充分体现了实现效果与处理速度上的折中。

综上，本发明的方法以图像块的结构张量为依据将图片自适应的划分为平滑块和非平滑块，根据聚类方法将非平滑块聚类成非平滑区域，其余区域为平滑区域；对于非平滑区域与平滑区域采用不同的方式进行超分辨率重建，在非平滑区域的预处理中加入滑窗取样的方式，来对非平滑区域的所有像素点多次取样，提高重建效果，且处理速度快。

在本发明的一种实施例中，上采样的方法包括：双三次插值或者多项式插值；或者是现有技术中其他快速简单的方法。

在本发明的又一种实施例中，将第一高分辨率图像通过非重叠方式分割成多个所述小图像块。将整张低分辨率图片分割为3*3或者4*4的小图像块。如果无法整齐分割，可以个别的采用重叠像素的方式。图片分割尺寸太小，计算量会大幅升高，并且效果提升不大而且在之后的拼接时易发生块效应；若图片分割尺寸太大，则无法保证算法效果，因为分割尺寸越小，处理越精细，之后的k均值聚类时分类越准确。因此采用图像处理领域最常用的按照3*3或者4*4像素尺寸的分割方式来分块。但理论上，尺寸可以任意选择。

在本发明的一种实施例中，结构张量的计算方法包括计算所述小图像块的一阶梯度的平均值：

然后，由所述一阶梯度的平均值计算所述小图像块的结构张量矩阵：

其中，Ip是所述小图像块中的任一像素点的梯度，I是所述小图像块的像素点梯度的均值，Ix、Iy分别代表所述小图像块的像素点的行梯度和列梯度的均值；其中所述像素点的行梯度是所述像素点右侧相邻的像素点的像素值与所述像素点的像素值的差值，最右侧的像素点和其左侧像素点取相同的行梯度；所述像素点的列梯度是以所述像素点的下方的相邻的像素点的像素值与所述像素点的像素值的差值。

通过所述结构张量判定所述小图像块属于平滑块还是非平滑块包括：

计算所述小图像块的结构张量矩阵的值T＝tr(Sw)以及行列式的值H＝|Sw|；

若所述结构张量矩阵的值和所述行列式的值均小于预先设置的阈值，则所述小图像块属于平滑块；反之，属于非平滑块。

阈值大小可以根据经验和实际需要来设置，通过目前实验判定的阈值是：若经过计算某小图像块满足T小于40以及H的绝对值小于10^-10两个条件下，则认为是平滑块，否则认为是非平滑块。

在本发明的另一种实施例中，当所述小图像块的结构张量矩阵的值T＝tr(Sw)以及行列式的值H＝|Sw|都约为0，则判定为平滑块，反之，属于非平滑块。

本发明对非平滑块的聚类方式采用机器学习中被广泛使用的k-means聚类方法，可以理解的是，也可以采用其他的聚类方法。k-means聚类方法是一种迭代聚类方法，可以将性质(这里指坐标)相近的样本点划分为一类。首先根据具体的低分率图片和经验设置k的值。然后将n个非平滑块作为样本点在低分率图像中的坐标I_i(x,y)作为样本值输入。聚类算法会随机初始化k个中心点

并根据距离最近原则将样本分配到最近的聚类中心。之后更新聚类中心的位置坐标，以类中样本位置均值为更新点，直至迭代自动结束，或者设置截止误差。

如图2所示，采用k-means聚类方法得到非平滑区域包括如下步骤：

S31：确定所述k-means聚类方法中k的值，将所述非平滑块作为样本，所述非平滑块在所述低分辨率图像中的坐标作为样本值；

S32：随机初始化k个聚类中心并根据距离最近原则将所述样本分配到最近的所述聚类中心；

S33：更新所述聚类中心的位置坐标，以类中所述样本的样本值的均值为更新点。

在本发明的一种实施例中，采用手肘法确定所述k-means聚类方法中k的值，具体公式如下：

其中，i为样本的编号，j为类编号，μ_c`为质心，x为样本坐标；选取得到最小J的k值为最终的选择。

更进一步的，本发明对于选定的非平滑区域进行重建时权重函数作出改进。

首先，滑窗采样具体是指使用尺寸为3*3的滑窗，以步长为1的方式遍历所有的非平滑区域，并得到3*3的小块，判定所有像素的类属于平滑点、边缘点还是角点。不同类型的点在权重分配时的情况不同，如果一个像素点和另一个像素点中间有很多边缘点或者角点，会很大程度上拉大二者之间的距离，因此不仅是空间上的欧式距离这么简单的。这样可以做到对非平滑区域中每个像素的多次采样并计算平均值。由于同一像素在不同图像块中位置不同，通过图论方法超分辨后效果也不同。虽然增大了计算量，但同时增强了结果图像的边缘纹理，提高图像超分辨的质量。

其次，采用图论方法进行重建得到第二高分辨率图像的第一对应区域；图论是借助机器学习中流形学习的方法。流形的局部邻域内可看作欧式空间。在超分辨的过程中，假设邻域内的样本点间的相似性以及线性关系不变，用图拉普拉斯矩阵来描述流形并进行特征转换，以实现低维流形点的高维内嵌。以所述小图像块的像素点作为图的顶点，边的权重W以改进的高斯热核函数为原则，即在标准高斯热核函数的基础上，加入附加系数，若两像素的连线上共有n个非平滑点，则附加系数为0.5ⁿ。具体的，通过如下热核高斯公式计算：

其中，i,j代表顶点，x代表像素点的位置坐标，n代表两个像素点连线上非平滑点的个数，由于小图像块上边缘点或角点密度很高，连线上每多一个非平滑点，便将权重调小，代表两像素的相似性变小；δ是高斯函数所覆盖的宽度，数值越小，宽度越窄；在一种具体的实施例中，δ取3。

本发明中以小图像块的像素做顶点，介于小图像块的边缘点的密度较大，使用修改的热核高斯函数做权重，构建图模型，并使用图拉普拉斯特征提取的方式计算对应的第一对应区域，所述拉普拉斯法操作包括如下步骤：

根据所述顶点和所述边的权重，计算相应的度矩阵：

并进一步计算图的拉普拉斯矩阵：L＝D-W

其中，D和L都是实对称矩阵，D是对角阵；

所述第一对应区域由下式计算得到：

Y＝H^TH-λL

其中，H是下采样矩阵，H^T是下采样矩阵的转置，λ为修正系数，可根据经验选择。

以图拉普拉斯方法为基础，结合图片区域边缘点、角点相对密集的情况下，通过对函数附加修正系数来提高细节纹理的保留度，进一步提升超分辨率重建的算法性能。

在本发明的一种实施例中，第一对应区域和第二对应区域拼接时，出现重叠像素则按照重叠次数求所述重叠像素的平均值，平均值为所述第二高分辨率图像的像素值。

在本发明的一种具体实施例中，对于图像的处理过程未：首先时将图片转化为灰度图像，之后通过结构张量特性进行边缘非平滑块的筛选，第三步是将非平滑块的位置作为样本进行聚类学习，目的是以尽量小的尺寸内，保留尽量多的内容；找信息量密度最大的地方并分为大致几类，然后再确定每一类样本点的外框边界的位置，本发明可以通过调整框内样本总数百分比的方式来随时调整框的大小，以适应不同情况下的要求。最后再对框内像素进行精细化复原，得到原高清图像的估计图像。

如图3(a)-图3(d)所示，分别是采用双线性插值法、双三次插值法、最近邻插值法、以及本发明的方法进行处理后得到的图片。

如图4(a)-图4(d)所示，分别是采用双线性插值法、双三次插值法、最近邻插值法、以及本发明的方法进行处理后得到的图片。可以看到本文算法在保留图像纹理上较之前者有一定的优势。这里由于原始图片尺寸过大，因此缩放状态下可能看起来区分度不强，但若将图片进行局部放大处理，就可以看到相比其他三种方法，本发明的方法能够更加清晰的看清蟹腿上的毛茸。

本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述方法。

本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述方法。

本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述方法。

所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double DataRateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (8)

1.一种单张图像超分辨的方法，其特征在于，包括如下步骤：

S1：对单张低分辨率图像进行上采样得到第一高分辨率图像；

S2：将所述第一高分辨率图像分割成多个小图像块，逐一计算每个所述小图像块的平均梯度及结构张量，并通过所述结构张量判定所述小图像块属于平滑块还是非平滑块；

所述结构张量的计算方法包括计算所述小图像块的一阶梯度的平均值：

然后，由所述一阶梯度的平均值计算所述小图像块的结构张量矩阵：

其中，Ip是所述小图像块中的任一像素点的梯度，I是所述小图像块的像素点梯度的均值，Ix、Iy分别代表所述小图像块的像素点的行梯度和列梯度的均值；其中所述像素点的行梯度是所述像素点右侧相邻的像素点的像素值与所述像素点的像素值的差值，最右侧的像素点和其左侧像素点取相同的行梯度；所述像素点的列梯度是以所述像素点的下方的相邻的像素点的像素值与所述像素点的像素值的差值；

通过所述结构张量判定所述小图像块属于平滑块还是非平滑块包括：

计算所述小图像块的结构张量矩阵的值T＝tr(Sw)以及行列式的值H＝Sw；

若所述结构张量矩阵的值和所述行列式的值均小于预先设置的阈值，则所述小图像块属于平滑块；反之，属于非平滑块；

S3：获取所有属于非平滑块的所述小图像块的位置并根据所述位置通过聚类方法得到非平滑区域，所述单张低分辨率图像的其余区域为平滑区域；

S4：对所述非平滑区域采用滑窗取样的方式对所有像素点多次取样进行重建得到第二高分辨率图像对应位置的第一对应区域；

对所述平滑区域的边缘处做平滑处理得到所述第二高分辨率图像的对应位置的第二对应区域；

S5：所述第一对应区域和所述第二对应区域拼接得到所述第二高分辨率图像。

2.如权利要求1所述单张图像超分辨的方法，其特征在于，所述上采样的方法包括：双三次插值或者多项式插值；

将所述第一高分辨率图像通过非重叠方式分割成多个所述小图像块。

3.如权利要求1所述单张图像超分辨的方法，其特征在于，采用k-means聚类方法得到非平滑区域包括如下步骤：

S31：确定所述k-means聚类方法中k的值，将所述非平滑块作为样本，所述非平滑块在所述低分辨率图像中的坐标作为样本值；

S32：随机初始化k个聚类中心并根据距离最近原则将所述样本分配到最近的所述聚类中心；

S33：更新所述聚类中心的位置坐标，以所述聚类中心中所述样本的样本值的均值为更新点。

4.如权利要求3所述单张图像超分辨的方法，其特征在于，采用手肘法确定所述k-means聚类方法中k的值，具体公式如下：

其中，i为样本的编号，j为类编号，

为质心，x为样本坐标；选取得到最小J的k值为最终的选择。

5.如权利要求1所述单张图像超分辨的方法，其特征在于，采用图论方法进行重建得到第二高分辨率图像的第一对应区域；以所述小图像块的像素点作为图的顶点，边的权重W通过如下热核高斯公式计算：

其中，i,j代表顶点，x代表像素点的位置坐标，n代表两个像素点连线上非平滑点的个数，δ是高斯函数所覆盖的宽度；

根据所述顶点和所述边的权重，计算相应的度矩阵：

并进一步计算图的拉普拉斯矩阵：L＝D-W

其中，D和L都是实对称矩阵，D是对角阵；

所述第一对应区域由下式计算得到：

Y＝H^TH-λL

其中，H是下采样矩阵，H^T是下采样矩阵的转置，λ为修正系数。

6.如权利要求1-5任一所述单张图像超分辨的方法，其特征在于，所述第一对应区域和所述第二对应区域拼接时，出现重叠像素则按照重叠次数求所述重叠像素的平均值，所述平均值为所述第二高分辨率图像的像素值。

7.如权利要求1-5任一所述单张图像超分辨的方法，其特征在于，对所述平滑区域的边缘处使用高斯滤波器或双边滤波器做平滑处理得到所述第二高分辨率图像的第二对应区域。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一所述方法的步骤。

Images