CN107633482B - 一种基于序列图像的超分辨率重建方法 - Google Patents

Abstract

本发明涉及一种基于序列图像的超分辨率重建方法，包括：确定图像的运动场景；判断相邻图像的相似性；根据所述运动场景通过所述相邻图像的相似性判定结果确定图像重建的方式。本发明在基于稀疏表示的字典学习超分辨率重建方法针对序列图像进行重建时，利用相邻图像间重叠及相似信息，减少了大量重复性较强的数据计算，节约了CPU的运算资源，从而使得算法速度较快，可以在计算性能普遍不强的嵌入式硬件中使用。

Description

一种基于序列图像的超分辨率重建方法

技术领域

本发明涉及图像视频领域，特别涉及一种基于序列图像的超分辨率重建方法。

背景技术

随着数字成像技术在卫星遥感、生物医疗、公共安全等领域的广泛应用，人们对数字图像质量的要求也越来越高，现有成像设备的分辨率往往不能满足实际需求。超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。

图像超分辨率重建技术能够在不改变现有成像设备的前提下，只采用合适的数字信号处理方法，即可提升图像的分辨率，在成本上具有很大的优势，因此近年来受到了广泛的关注。

然而，大部分的超分辨率重建技术都需要借助计算机来完成，在易用性、便携性以及功耗上均有一定缺陷，极大地限制了该技术的应用范围。因此，将超分辨率技术与嵌入式系统结合，研发小型化、便携式的图像处理产品，具有重要的实用意义。嵌入式系统运算性能普遍较差，但超分辨率算法时间计算复杂度较高，难以实时化应用，极大地限制了算法的应用范围。

发明内容

因此，为解决现有技术存在的技术缺陷和不足，本发明提出一种基于序列图像的超分辨率重建方法。

具体地，本发明一个实施例提出的一种基于序列图像的超分辨率重建方法，包括：

确定图像的运动场景；

判断相邻图像的相似性；

根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建的方式。

在本发明的一个实施例中，确定图像的运动场景，包括：

根据运动估计算法确定图像的运动场景。

在本发明的一个实施例中，所述运动估计算法为块匹配法。

在本发明的一个实施例中，所述块匹配法包括：

将当前图像划分成多个互不相交的当前图像块；

根据最小误差匹配准则，采用菱形法匹配方法，在参考图像的搜索区查找所述当前图像块的图像匹配块。

在本发明的一个实施例中，根据所述当前图像块的所述图像匹配块确定所述当前图像块的运动矢量，判断出所述当前图像块的所述运动场景。

在本发明的一个实施例中，所述运动场景包括静止不动场景、微小移动场景和明显移动场景。

在本发明的一个实施例中，判断相邻图像的相似性，包括：

根据绝对误差和判断所述相邻图像的相似性。

在本发明的一个实施例中，根据绝对误差和判断所述相邻图像的相似性，包括：

将相邻图像分别划分成多个相邻图像块矩阵；

将所述相邻图像块矩阵的差值绝对值求和，获取的绝对误差和；

定义标准误差；

比对所述绝对误差和与所述标准误差，若所述绝对误差和小于所述标准误差，则所述相邻图像相似。

在本发明的一个实施例中，根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建方式，包括：

确定待重建的当前图像的运动场景，分别判断所述运动场景下的所述当前图像与所述相邻图像的相似性，根据所述相邻图像的相关性确定待重建的所述当前图像的重建方式。

在本发明的一个实施例中，根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建方式，还包括：

在所述静止不动场景中，对于相似的相邻图像，其中，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；

在所述微小移动场景中，对于相似的相邻图像，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像或图像的所述特征信号的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；在所述微小移动场景中，相似的相邻图像是相邻图像中相似的对应图像特征信号；

在所述明显移动场景中，采用双三次插值方法进行超分辨率重建。

基于此，本发明具备如下优点：

本发明提出了的基于序列图像的超分辨率重建方法，能够较好的降低运算复杂度，提高实时性，扩大超分辨率技术的应用范围。

通过以下参考附图的详细说明，本发明的其它方面和特征变得明显。但是应当知道，该附图仅仅为解释的目的设计，而不是作为本发明的范围的限定，这是因为其应当参考附加的权利要求。还应当知道，除非另外指出，不必要依比例绘制附图，它们仅仅力图概念地说明此处描述的结构和流程。

附图说明

下面将结合附图，对本发明的具体实施方式进行详细的说明。

图1为本发明实施例提供的一种基于序列图像的超分辨率重建方法的示意图。

图2为本发明一实施例的单一信号实现OMP求解稀疏表示的示意图；

图3为本发明一实施例的连续帧图像中相邻图像对比图；

图4为本发明一实施例的9个检测点的大菱形模板；

图5为本发明一实施例的5个检测点的小菱形模板；

图6为本发明一实施例的基于稀疏表示的字典学习超分辨率重建方法流程图；

图7为本发明实施例的一种基于序列图像的超分辨率重建方法的流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。

实施例一

请参见图1，图1为本发明实施例提供的一种基于序列图像的超分辨率重建方法的示意图。该方法包括如下步骤：

步骤1、确定图像的运动场景；

步骤2、判断相邻图像的相似性；

步骤3、根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建的方式。

其中，对于步骤1，可以包括：

根据运动估计算法确定图像的运动场景。

其中，对于步骤1中运动估计算法为块匹配法。

进一步地，对于块匹配法，可以包括：

将当前图像划分成多个互不相交的当前图像块；

根据最小误差匹配准则，采用菱形法匹配方法，在参考图像的搜索区查找所述当前图像块的图像匹配块。

进一步地，根据所述当前图像块的所述图像匹配块确定所述当前图像块的运动矢量，判断出所述当前图像块的所述运动场景。

其中，对于步骤1中运动场景，可以包括静止不动场景、微小移动场景和明显移动场景。

其中，对于步骤2，可以包括：

根据绝对误差和判断所述相邻图像的相似性。

进一步地，对于根据绝对误差和判断所述相邻图像的相似性，包括：

将相邻图像分别划分成多个相邻图像块矩阵；

将所述相邻图像块矩阵的差值绝对值求和，获取的绝对误差和；

定义标准误差；

比对所述绝对误差和与所述标准误差，若所述绝对误差和小于所述标准误差，则所述相邻图像相似。

其中，对于步骤3，可以包括：

确定待重建的当前图像的运动场景，分别判断所述运动场景下的所述当前图像与所述相邻图像的相似性，根据所述相邻图像的相关性确定待重建的所述当前图像的重建方式。

进一步地，对于步骤3，还可以包括：

在所述静止不动场景中，对于相似的相邻图像，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；

在所述微小移动场景中，对于相似的相邻图像，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像或图像的所述特征信号的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；在所述微小移动场景中，相似的相邻图像是相邻图像中相似的对应图像特征信号。

其中，图像特征信号指图像的高频信息块按照一定规律重新组合后的一维信号。详细来讲，图像滤波得到高频部分，插值后将该图像分成12*12的小块，每个12*12的小块按列重排，得到的就是该12*12小块的图像特征信号即1*144大小的信号。所有的1*144信号一列一列排布起来就得到n*144大小的矩阵就是图像的特征矩阵。

在所述明显移动场景中，采用双三次插值方法进行超分辨率重建。

请参见图6，图6为基于稀疏表示的字典学习超分辨率重建方法流程图。

其中，基于稀疏表示的字典学习超分辨率重建方法可以包括：

将大量高分辨率图像的图像库和图像退化后的低分辨率图像库，通过一定的学习算法获得高低分辨率图像之间的映射关系即获得互相对应的高低分辨率字典，对单帧图像进行稀疏表示求解、字典替换和信号重组，得到高分辨率图像。该方法重建效果较为良好，在单帧重建领域具有较为广泛的应用。该重建方法分为两个部分：字典学习部分和重建部分。

字典学习部分通过对已知的图像集进行下采样得到低分辨率图像块，通过一一对应的高低分辨率图像块进行字典训练得到低分辨率字典和高分辨率字典供重建过程使用。

重建过程是使用低分辨率图像进行差值得到差值图像，作为低频特征留待使用，同时低分辨率图像和低分辨率字典进行特征提取和稀疏表示求解，得到稀疏系数，再与高分辨率字典运算得到图像的高分辨率特征，高分辨率特征与低分辨率特征合并得到最终的高分辨率重建图像。

本发明的有益效果具体为：

1、使用相邻图像之间的相关性，提高计算效率。

2、使用运动估计的方式对图像进行相应位置的相似度求解。

3、使用差值绝对值求和及其它简单方法判断图像相似性进行信号替代的方法，降低计算量，提高计算结果的利用率。

实施例二

请参见图2，图2为单一信号实现OMP求解稀疏表示的示意图。其中，OMP为orthogonal matching pursuit。左侧向量a代表待求信号，中间矩阵b代表字典，右侧向量c代表稀疏表示系数。对于特征矩阵只需将待求矩阵分为多个列向量求得相应稀疏表示系数。具体为特征矩阵可以分解为多列向量组成，每个列向量可以认为是左侧向量a，低分辨率字典相当于中间矩阵b，求解出来多个列向量分别对应每个左侧向量a的稀疏表示稀疏，即右侧向量c。求解出来的各列向量拼起来形成稀疏表示矩阵。由此可见，图像中的信息可以分离处理，进行分块求稀疏表示系数。

其中，特征矩阵表征了图像中高频信息。即对图像块进行滤波得到图像特征矩阵。

待求矩阵是特征矩阵针对低分辨率字典的稀疏表示系数。即对每个特征矩阵的信号按列排布(例如，宽方向任意选择，高方向为4*4，每列为一个向量，插值后列向量维度则为4*4*3*3，因为是宽高方向均3倍插值)，并对每列求解稀疏表示系数，所有稀疏表示系数按列拼接得到待求矩阵。

这也为图像帧间信息利用提供了理论依据。当前图像分块后每块信息与相应的上帧图像块进行比较，若相似，直接利用上帧图像块稀疏表示系数替代当前图像块的稀疏表示系数，无需重复计算稀疏表示系数。

同时对整幅图像进行分块，可以更有利的区分背景和运动目标，使单一图像块的运动矢量一致性更加明显和突出，图像块中相应信息去寻找上帧对应位置的相应信息时有更大概率匹配，从而进一步提升算法效率。

请参见图3，图3为连续帧图像中相邻图像对比图，每列为一组，第一二行为相邻两帧图像，第三行为第二行减去第一行得到的差值的绝对值图像。其中，浅灰色部分1代表两幅图差值绝对值相同的区域；深灰色部分2代表两幅图差值绝对值小于10的区域；其它颜色代表灰度差别大于10的区域，存在明显差别，为需要重点观看的区域。由此表明，连续帧图像中相邻图像相似度很大，有必要提高对帧间图像相似图像块的利用率。

本发明改进了基于稀疏表示的字典学习超分辨率重建方法针对序列图像进行重建时，未考虑帧间重叠及相似信息，对帧间计算结果没有进行充分利用，计算了大量重复性较强甚至完全重复的数据的缺点。减少了CPU的运算资源，从而使得算法速度较快，可以在计算性能普遍不强的嵌入式硬件中使用。

相邻图像相似性判定：

使用绝对误差和(Sum of Absolute Differences，简称SAD)判定相似性。取前后连续帧图像的待重建主成分矩阵的每一列进行差值绝对值求和，设每一列维度为n，设每一行中相同位置前后帧的运动矢量差的绝对值为|r_i|，(i＝1，2，3…n)，对其求和得每一列的误差和为

设标准误差为T，T由工程需要可以自行定义，T越小精度越高。则当

时，图像块不相似，对此图像块进行字典学习超分辨率重建，反之认为图像块相似，直接用上一帧对应图像块重建数据作为重建参数，进行超分辨率重建。

差值绝对值计算时间复杂度为O(n)，n为每个列向量的维度，信号重建的复杂度为O(n*m)，m为字典的列数，m远远大于n，因此差值计算时间复杂度远小于重建的时间复杂度，所以存在大量相似图像块的时候进行筛选重建可以大大提高算法的实时性。

运动估计：

运动估计是用数字图像处理算法估算出当前图像与参考图像的相对运动矢量。目前已经有多种运动估计算法：光流法是较早提出来的，但效果较差；块匹配法、灰度投影法、特征点匹配法是最常用的算法；此外，还有相位相关法、代表点匹配法等。

优选地，采用块匹配法进行运动矢量的计算。

块匹配法，是最常用的一种运动估计算法。将当前图像分成若干个大小为M×N，且互不相交的图像块，并且假设图像块内所有像素都作相同的运动。然后，对每一个图像块(当前图像块)，分别在参考图像中的搜索区域内，按照一定的匹配准则搜索与之最匹配的图像块，称为预测图像块。预测图像块与当前图像块间的位移称为运动矢量。

优选地，匹配准则为最小块误差(Mininum Block Distortion简称MBD)，即绝对误差和SAD的最小值，匹配方法采用菱形搜索(Diamond Search，简称DS)算法。

菱形搜索算法采用了两种搜索模扳，分别是有9个检测点的大菱形模板(LargeDiamond Search Pattern，简称LDSP)和有5个检测点的小菱形模板(Small DiamondSearch Pattern，简称SDSP)，如图4和图5所示，图4为9个检测点的大菱形模板，图5为5个检测点的小菱形模板。搜索时先用大模板计算，当最小块误差MBD(即为SAD值最小点)点出现在中心点处时，将LDSP换为SDSP，再进行匹配计算，这时5个点中的MBD即为最优匹配点。具体步骤如下：

步骤1、将当前图像帧(第k帧)划分为固定大小M×N的图像块，在参考图像帧(k-1帧)的一定范围内搜索最优匹配。设可能的最大位移矢量为(dx，dy)，则搜索范围为(M+2dx)×(N+2dy)。

优选地，当前图像帧划分为16×16的图像块。

步骤2、用LDSM在搜索区域中心及周围八个点处进行匹配计算。如果MBD点位于中心点，则跳转步骤4；否则进行步骤3。

步骤3、以上一次找到的MBD点作为中心点，用新的LDSM来计算，如果MBD点位于中心点，则进行步骤4；否则重复步骤3；

步骤4、以上一次找到的MBD点作为中心点，将LDSM换为SDSM，在五个点处计算，找到MBD点，该点位置即对应最佳运动矢量位置。

实验表明人眼对像素位移非常敏感，对于同一个块中的不同区域，即使只偏移一个像素，人眼也能轻易观察到，因此认为运动矢量为0的时候将该块分类为静止不动块。相邻帧运动矢量小于等于3的时候认为其为慢速移动块，否则为快速移动块。相邻帧运动较大时容易造成拖影、亮度受影响、且更容易出现画面中物体形变等现象。实验表明，像素运动速度大于10像素每百毫秒时就认为运动较快，对周围区域和和图像本身影响较大，人眼细节捕捉能力已无法清楚关注。

实施例三现有的基于稀疏表示的字典学习超分辨率重建方法需要对图像中的各小块进行信号的特征提取、信号降维和稀疏表示求解，计算复杂度高，实际应用中，在专业计算机上对分辨率较小的视频进行处理可以达到实时的要求，但在嵌入式硬件平台中难以得到广泛应用，这主要是嵌入式平台计算能力弱于PC，同时该算法时间复杂度过高引起的。为获取更高的计算性能，往往需要购买更加强大的硬件平台才能获取更高的计算效率。

实际中，该算法对图像帧间重叠或相似信息的利用上明显不够，相邻图像之间往往具有很高的相似性。可以对图像进行运动估计，将待重建图像的场景分为3类：静止不动场景、微小移动场景和明显移动场景。

在静止不动场景中，相邻图像会有许多完全相同的区域，和大量相似的区域；

在微小移动场景中，相邻图像在不同位置上也具有大量相同或相似的图像块。

当人眼无法区分这些图像块时，使用绝对差值求和的方法判断图像块的相似性。当相邻图像块相似时，前帧的图像块重建信息将可以直接用于后帧图像块的填充，无需进行多余的重复计算，从而减少大量无用计算，很大程度上减小系统了的处理压力，从而提升处理速度。

在明显移动场景中，人眼观察时是无法清晰辨认细节的，因此无需对变化较大的区域进行基于稀疏表示的字典学习超分辨率复杂的重建算法，直接使用双三次插值算法即可达到较好的视觉效果。

实施例四

请参见图7，图7为本发明实施例提供的一种序列图像的超分辨率重建方法流程图。

1)将待重建的低分辨率图像分成若干大小的图像块，每个图像块进行如下步骤处理；

优选地，将图像分成大小为50*50的图像块。

2)对图像块进行滤波操作，得到多个边缘特征图像，即将图像块与滤波器进行卷积操作，求解卷积特征，得到边缘特征图像；

优选地，滤波器分别为[1，0，0，-1]，[0.5，0，0，-1，0，0，0.5]及其转置，得到与原图等分辨率的四副边缘特征图像。

3)对多个边缘特征图像分别进行N倍双三次插值得到原图宽高方向各N倍的图像；

优选地，对四副图像分别进行3倍双三次插值得到原图宽高方向各3倍的图像。

将上述步骤得到的边缘特征图像进行分块列方向组合拼接，得到特征矩阵。

4)将步骤3得到的图像进行重组：

优选地，取第一幅图左上角4*4大小的块，以列方式排列，得到一列向量，分别在宽高方向取步长为1，重复取小块按列排布，分别得到四副高为4*4*3*3，宽与图像大小有关的的重组后的特征矩阵，并将四个矩阵按顺序从上至下合并为高为4*4*3*3*4的特征矩阵。

5)将PCA矩阵与特征矩阵相乘，得到降维后的特征矩阵；

优选地，将PCA矩阵与高为4*4*3*3*4的特征矩阵相乘，得到降维后的高为47的主成分特征矩阵，47为PCA矩阵的高。

6)通过特征矩阵求解低分辨率字典中的稀疏表示系数；

优选地，字典高为47。

7)将进行了特征融合，主成分恢复的特征高分辨率字典与稀疏表示系数相乘得到图像高分辨率特征矩阵；

8)将高分辨率特征矩阵进行信号重组得到高分辨率边缘特征图像；

9)将高分辨率边缘特征图像与低分辨率图像的插值图像进行融合，得到重建后的高分辨率图像；

将分块重建图像拼接成完整图像帧。

以上步骤为处理一帧图像的完整步骤，在处理第一帧图像时使用上述操作。

后续处理时进行如下操作：

10)取下一帧图像进行步骤1、2的操作；

11)对当前帧图像和与之相邻的上帧图像进行运动估计；

12)确定当前图像块为快速移动场景、缓慢移动场景、静止不动块场景的一种；若当前图像为快速移动场景，则进行双三次插值后跳转步骤8；

13)若当前图像为静止不动场景或微小移动场景，判断当前帧图像和与之相邻的上帧图像的相似性，若相邻图像相似，则直接使用与之相邻的上帧图像的重建信息作为当前帧图像相应的重建信息，跳转至步骤6，否则对当前帧图像进行稀疏表示求解，即进行步骤3、4、5、6。

14)将当前帧图像重复重建信息和与之相邻的上帧图像重建信息组成高分辨率特征矩阵，得到步骤7中的高分辨率特征矩阵，同时对主成分特征矩阵进行更新；

15)对高分辨率特征矩阵进行步骤8、9；

后续图像的重建重复上述操作。

综上所述，本文中应用了具体个例对本发明基于实时超分辨率重建方法进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应以所附的权利要求为准。

Claims (9)

1.一种基于序列图像的超分辨率重建方法，其特征在于，包括：

确定图像的运动场景；

判断相邻图像的相似性；

根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建的方式，包括：

在静止不动场景中，对于相似的相邻图像，其中，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；

在微小移动场景中，对于相似的相邻图像，当前图像采用与之相邻的前一图像的重建信息，利用基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；否则，重新计算当前图像或图像的所述特征信号的重建信息，利用所述基于稀疏表示的字典学习超分辨率重建方法进行超分辨率重建；在所述微小移动场景中，相似的相邻图像是相邻图像中相似的对应图像特征信号；在明显移动场景中，采用双三次插值方法进行超分辨率重建。

2.根据权利要求1所述的方法，其特征在于，确定图像的运动场景，包括：

根据运动估计算法确定图像的运动场景。

3.根据权利要求2所述的方法，其特征在于，所述运动估计算法为块匹配法。

4.根据权利要求3所述的方法，其特征在于，所述块匹配法包括：

将当前图像划分成多个互不相交的当前图像块；

根据最小误差匹配准则，采用菱形法匹配方法，在参考图像的搜索区查找所述当前图像块的图像匹配块。

5.根据权利要求4所述的方法，其特征在于，根据所述当前图像块的所述图像匹配块确定所述当前图像块的运动矢量，判断出所述当前图像块的所述运动场景。

6.根据权利要求5所述的方法，其特征在于，所述运动场景包括静止不动场景、微小移动场景和明显移动场景。

7.根据权利要求6所述的方法，其特征在于，判断相邻图像的相似性，包括：

根据绝对误差和判断所述相邻图像的相似性。

8.根据权利要求7所述的方法，其特征在于根据绝对误差和判断所述相邻图像的相似性，包括：

将相邻图像分别划分成多个相邻图像块矩阵；

将所述相邻图像块矩阵的差值绝对值求和，获取绝对误差和；

定义标准误差；

比对所述绝对误差和与所述标准误差，若所述绝对误差和小于所述标准误差，则所述相邻图像相似。

9.根据权利要求8所述的方法，其特征在于，根据所述运动场景，通过所述相邻图像的相似性判定结果确定图像重建方式，包括：

确定待重建的当前图像的运动场景，分别判断所述运动场景下的所述当前图像与所述相邻图像的相似性，根据所述相邻图像的相关性确定待重建的所述当前图像的重建方式。

Images