CN109598676A - 一种基于哈达玛变换的单幅图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于哈达玛变换的单幅图像超分辨率方法，包括分段线性映射模型阶段以及超分辨率重建阶段。分段线性映射模型阶段包括：获取训练图像数据集，提取图像补丁对；对向量化的低分辨率训练图像补丁计算其哈达玛模式；构建三叉超分辨率决策树；根据划分到此的训练数据计算出映射模型，并将该映射模型的索引存储在叶子节点中；超分辨率重建阶段包括：提取低分辨率图像补丁；计算低分辨率图像补丁的哈达玛模式；构建的三叉超分辨率决策树中为低分辨率图像补丁搜索对应的映射模型；低分辨率图像补丁映射到高分辨率空间，生成的高分辨率图像补丁组成目标高分辨率输出图像。本发明能够以较快运行速度生成高质量的超分辨率重建图像。

Description

一种基于哈达玛变换的单幅图像超分辨率方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于哈达玛变换的单幅图像超分辨率方法。

背景技术

近年来，单幅图像超分辨率问题被大量研究。基于学习的超分辨率方法受到越来越多的关注。

基于学习的超分辨率方法能够从训练数据集中学习得到从低分辨率空间到高分辨率空间的映射关系，并用于低分辨率图像的超分辨率重建。目前用于学习映射模型的方法有多种，包括字典学习，局部线性回归，决策树，随机森林和卷积神经网络等等。

基于字典学习的超分辨率方法大致分为两类：构建内部字典的方法和构建外部字典的方法。基于内部字典的超分辨率方法主要利用低分辨率输入图像构建字典；基于外部字典的超分辨率方法需要利用一个额外的训练数据集构建字典。基于字典的超分辨率方法中比较具有代表性的方法是基于稀疏编码的方法，所述方法将一个低分辨率输入图像补丁表示为低分辨率字典原子的稀疏线性组合，而目标高分辨率图像补丁由高分辨率字典中的对应原子和相同的稀疏表示权重生成。

基于回归的超分辨率方法在很大程度上促进了超分辨率问题的求解。所述方法能够求解出低分辨率空间和高分辨率空间之间的映射关系。在这类方法中，有些方法将图像特征空间视为一个整体，并求解出一个全局映射模型；有些方法认为图像特征空间是局部线性的，首先将特征空间分为多个子空间，然后学习出多个局部线性映射模型。

决策树能够用来解决分类和回归的问题。基于决策树和随机森林的超分辨率方法也是将图像特征空间分为多个子空间，每个子空间学习得到用于超分辨率重建的映射模型。

基于深度卷积神经网络的超分辨率方法将图像特征空间视为一个整体，在该图像特征空间中，这类方法只求解出一个全局映射模型用于超分辨率问题求解。这一映射模型描述为一个深度卷积神经网络，该网络的输入是一幅低分辨率图像，输出是一幅高分辨率图像。基于深度卷积神经网络的超分辨率方法是一种端到端的映射。

在基于学习的单幅图像超分辨率算法中，基于深度卷积神经网络的方法是计算复杂的，这些算法需要花费大量时间训练映射模型，这使得该类算法很难被应用到某些实例中。一些基于稀疏编码的超分辨率方法提取图像补丁的梯度作为图像特征，这一图像特征提取方式也增加了算法计算复杂性。基于决策树和随机森林的超分辨率方法分别因其复杂的树结构和决策树的数量而获得了较慢运行速度。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于哈达玛变换的单幅图像超分辨率方法。本发明通过学习得到从低分辨率空间到高分辨率空间的分段线性回归模型，并使用这些模型对低分辨率输入图像进行超分辨率重建。本发明能够以较快的运行速度来生成高质量的超分辨率重建图像。

本发明的目的能够通过以下技术方案实现：

一种基于哈达玛变换的单幅图像超分辨率方法，具体步骤包括：

训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段以及超分辨率重建阶段；

所述训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段，包括：

采用双立方插值核对高分辨训练图像进行采样，获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对；所有的低分辨率-高分辨率图像对组成训练图像数据集，并提取低分辨率-高分辨率图像补丁对；

对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；

根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行划分产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；

训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分到每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中。

所述超分辨率重建阶段，包括：

输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；所述光栅扫描顺序为从左到右，从上到下；

计算每一个低分辨率图像补丁的哈达玛模式；

依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；

每一个低分辨率图像补丁通过搜索到的对应的映射模型生成高分辨率补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。

具体地，所构建的三叉超分辨率决策树的非叶子节点存储了分割阈值、其子节点的索引以及当前节点所处树的深度，超分辨率决策树的叶子节点存储了对应映射模型的索引。

具体地，在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L_j和高分辨率图像补丁H_j的数量为N_j并且足够，首先为节点j的训练数据生成哈达玛模式P_j，假设这次分割处于第k轮(k＝1，…，15)，使用P_j的第Seq[k]列来对L_j和H_j进行分类。首先将P_j的第Seq[k]列进行升序排列得到P^s，具体公式为：

P^s＝Sort(P_j(:,Seq[k]^th)) (3)

然后通过从中选取分割阈值v₁和v₂，具体公式为：

其中v∈(0,1)控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量。在本发明中，参数v的值设为0.5。

当P_j第Seq[k]列上的值比v₁小，对应部分的训练数据被划分到左子节点；当P_j第Seq[k]列上的值比v₂大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点。然后将一组参数β_j＝[k ind_l ind_m ind_r v₁ v₂]存储在当前非叶子节点中，其中，参数k表示当前非叶子节点的深度(也就是该节点的训练数据在第几轮内进行数据分割)。ind_l，ind_m和ind_r分别表示指向左子节点、中子节点和右子节点的索引。v₁和v₂是学习到的分割阈值，其中v₁比v₂小。

具体地，每一次数据分割都应满足公式(5)表示的条件：

min(N_l,N_m,N_r)≥min_num (5)

其中，N_l,N_m和N_r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量。在本发明中，min_num的值设为512。

在一次数据分割结束后，当有一个子节点的样本数量比min_num小，则此次分割被判定无效，当前节点被标记为叶子节点。

对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M_q的每一列模为1。

H_q＝L_qM_q (6)

其中M_q是第q个叶子节点对应的回归系数矩阵，H_q和L_q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。

本发明相较于现有技术，具有以下的有益效果：

本发明通过哈达玛变换提取图像特征，因为只涉及到加减法运算的哈达玛变换是快速的。由于采用了三叉决策树数据结构，因此在保证超分辨率重建质量的同时进一步提高了算法的运行速度。

附图说明

图1本发明中训练从低分辨率空间到高分辨率空间的分段线性映射模型的流程图；

图2为哈达玛矩阵的可视化的图像；

图3为进行超分辨率重建的流程图；

图4为本发明与各个对比方法基于测试图像数据集Set5，在速度和精度方面的权衡。放大因子为2，客观评价指标为峰值信噪比(PSNR)。

图5为本发明与各个对比方法基于测试图像数据集Set14，在速度与精度方面的权衡。放大因子为2，客观评价指标为峰值信噪比(PSNR)。

图6为当放大因子为2时，各个方法对蝴蝶图像的超分辨率的结果示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

一种基于哈达玛变换的单幅图像超分辨率方法，具体步骤包括：

训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段以及超分辨率重建阶段；

所述训练得到从低分辨率空间到高分辨率空间的分段线性映射模型阶段如图1所示，包括：

S101、获取高分辨率训练图像，并采用双立方插值核进行采样获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对；所有的低分辨率-高分辨率图像对组成训练图像数据集，并提取低分辨率-高分辨率图像补丁对；

训练数据提取完成后，将每一个低分辨率图像补丁用一个行向量表示并堆叠成一个矩阵，对应的高分辨率图像补丁进行相同的处理。

S102、对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；

哈达玛变换的运算子是哈达玛矩阵。哈达玛矩阵具有多种形式，选取一种阶数为2ⁿ的哈达玛矩阵，不同阶数的哈达玛矩阵之间能够通过迭代方程获取，具体计算公式为：

本实施例中采用上述形式的哈达玛矩阵，且矩阵阶数为16。

优选地，16阶哈达玛矩阵的每一列都相当于一个卷积滤镜，能够被用来获取一个低分辨率图像补丁图像特征的不同统计。16阶哈达玛矩阵的第一列全为1，这一列表示的滤镜仅仅可以计算低分辨率图像补丁中所有像素值的和，该滤镜不能反映出低分辨率图像补丁的纹理特点。因此在本实施例中，将16阶哈达玛矩阵的第一列删除，得到一个新矩阵。下文所指的哈达玛矩阵皆表示新矩阵。

因此，本实施例中的哈达玛矩阵具有15列，每一列都可变形为一个4×4矩阵，哈达玛矩阵的可视化如图2所示。其中白色表示+1，黑色表示-1。图2中(a)-(o)分别表示哈达玛矩阵的第1列到第15列。图2中大的黑色(白色)块表示低频信号，小尺寸方块表示高频信号。小尺寸与噪声关联度更高。因此，本实施例中设置序列Seq，所述序列Seq表示为：

Seq＝[2 8 3 12 10 1 4 11 14 6 9 15 7 13 5] (2)

为了保证划分的准确及高效，先按照低频信息进行划分。根据图2中方块的大小进行排序，确定了上述序列Seq。序列Seq中每个数表示哈达玛矩阵相应的列。根据上述确定的序列Seq，执行15轮分割将训练数据分为不同类型，每一轮分割都依据低分辨率训练数据哈达玛模式的对应列。

S102、根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行分类产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；

在本实施例中的学习超分辨率决策树的过程中，训练数据从一个非叶子节点分割到3个子节点。当一个子节点中训练样本的数量大于一个设定的最小值，则继续对这个节点的训练数据进行分割。否则，这个子节点变成一个叶子节点，这个节点不再进行进一步的数据分割。

本实施例采用所有的训练数据初始化超分辨率决策树的根节点，根据上述已经确定的序列Seq，在第一轮数据分割中，使用生成的哈达玛模式的第二列(Seq[1])并结合两个学习得到的分割阈值将训练数据分为三类。到目前为止，超分辨率决策树有一个根节点和3个子节点。

接着对这3部分分别进行第二轮数据分割。在第二轮分割过程中，使用每一部分训练数据对应哈达玛模式的第八列执行进一步的数据分类。在本发明中，一轮数据分割完成后才会进行下一轮，因此本实施例中总共需要进行15轮数据分割。在第k轮训练数据分割中(k＝1，…，15)，执行多少次数据分割取决于当前非叶子节点的个数。对每个非叶子节点，其训练数据是根据其哈达玛模式的第Seq[k]列进行分割。通过将非叶子节点的训练数据分割到叶子节点中，超分辨率决策树逐步构建起来。当执行第k轮分割时，正在构建超分辨率决策树的第k层。超分辨率决策树的深度最多只有16，因为Q₁₅有15列，所以生成的哈达玛模式有15列。

本实施例中根节点的深度为1，当完成第15轮数据分割，生成的子节点被标记为叶子节点。

在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L_j和高分辨率图像补丁H_j的数量为N_j并且足够，首先为节点j的训练数据生成哈达玛模式P_j。本实施例中假设这次分割处于第k轮(k＝1，…，15)，使用P_j的第Seq[k]列来对L_j和N_j进行分类。首先将P_j的第Seq[k]列进行升序排列得到P^s，具体公式为：

P^s＝Sort(P_j(:,Seq[k]^th)) (3)

然后通过从中选取分割阈值v₁和v₂，具体公式为：

其中v∈(0,1)控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量。在本发明中，参数v的值设为0.5。

当P_j第Seq[k]列上的值比v₁小，对应部分的训练数据被划分到左子节点；当P_j第Seq[k]列上的值比v₂大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点。然后将一组参数β_j＝[k ind_l ind_m ind_r v₁ v₂]存储在当前非叶子节点中，其中，参数k表示当前非叶子节点的深度(也就是该节点的训练数据在第几轮内进行数据分割)。ind_l，ind_m和ind_r分别表示指向左子节点、中子节点和右子节点的索引。v₁和v₂是学习到的分割阈值，其中v₁比v₂小。

具体地，每一次数据分割都应满足公式(5)表示的条件：

min(N_l,N_m,N_r)≥min_num (5)

其中，N_l,N_m和N_r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量。在本发明中，min_num的值设为512。

在一次数据分割结束后，当有一个子节点的样本数量比min_num小，则此次分割被判定无效，当前节点被标记为叶子节点。

在本实施例中，当进行一次新的数据分割之前，首先检查当前节点的样本数量是否比3*min_num少。如果是，则当前节点被标记为叶子节点。

S104、训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分到每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中；

对每个叶子节点，在步骤14中，本发明用划分到此的训练数据学习出从低分辨率空间到高分辨率空间的映射模型。

超分辨率决策树中每个非叶子节点存储了当前节点在树中的深度、学习到的分割阈值和指向其子节点的索引。学习到的分割阈值用来进行分类。训练数据或是测试数据的哈达玛模式与学习到的分割阈值进行比较，根据比较结果，训练数据或是测试数据被传递到当前节点的左子节点、中子节点或右子节点。超分辨率决策树中的叶子节点存储了与其对应的映射模型的索引。如果当前叶子节点是构建超分辨率决策树过程中产生的第q个叶子节点，q是指向映射模型M_q的索引。M_q是使用到达叶子节点q的训练数据计算出的映射模型。

对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M_q的每一列的模为1。

H_q＝L_qM_q (6)

其中M_q是第q个叶子节点对应的回归系数矩阵，H_q和L_q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。

至此三叉超分辨率决策树构建完成。

超分辨率重建阶段如图3所示，包括：

S201、输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；

首先使用一个大小为4×4滑动窗口从低分辨率输入图像中以光栅扫描的顺序提取图像补丁。每次滑动窗口移动一个像素位置。

S202、计算每一个低分辨率图像补丁的哈达玛模式；

为提取出的每一个图像补丁计算哈达玛模式。首先将提取出的低分辨率图像补丁进行向量化，然后对其执行哈达玛变换，获取哈达玛模式。

S203、依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；

为每一个低分辨率图像补丁搜索对应的映射模型，首先将该图像补丁的哈达玛模式传入到学习出的超分辨率决策树中。然后根据目前所处树的深度(depth)，本发明将该图像补丁的哈达玛模式的第Seq[depth]列与当前节点的分割阈值进行比较，根据比较结果将该图像补丁传递到下一个节点，直至到达一个叶子节点。

S204、每一个低分辨率图像补丁通过搜索到的对应的映射模型高分辨率图像补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。

利用低分辨率图像补丁的哈达玛模式在超分辨率决策树中为其搜索到对应的映射模型，根据搜索到的映射模型进行超分辨率重建。

至此，所有生成的高分辨率图像补丁组成目标高分辨率输出。

图4表示了本发明的方法与各个对比方法基于测试图像数据集Set5，在速度与精度方面的权衡。此时放大因子为2，客观评价指标为峰值信噪比(PSNR)；图5示出了本发明的方法与各个对比方法基于测试图像数据集Set14，在速度与精度方面的权衡。此时放大因子为2，客观评价指标为峰值信噪比(PSNR)。用于对比的方法有基于稀疏编码的超分辨率方法(ANR,A+)、基于决策树的超分辨率方法(RFL,SRHDT_f*)和基于神经网络的超分辨率方法(SRCNN,LapSRN)。图4和图5展示了本发明的方法能够以最快的运行速度产生最好的超分辨率结果。

图6示出了放大因子为2时，各个方法对蝴蝶图像的超分辨率结果。本发明的方法能够重建出更清晰的边缘，恢复出更详细的信息。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (6)

1.一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，具体步骤包括：

训练分段线性映射模型阶段以及超分辨率重建阶段；

所述训练分段线性映射模型阶段，包括：

获取高分辨率训练图像，并采用双立方插值核进行采样获得对应的低分辨率训练图像，组成低分辨率-高分辨率图像对，并提取低分辨率-高分辨率图像补丁对；

对向量化的低分辨率训练图像补丁执行哈达玛变换来计算其哈达玛模式，并以此作为图像特征；

根据得到的图像特征，构建一棵三叉超分辨率决策树；将训练数据进行划分产生的分割信息存储在超分辨率决策树的每一个非叶子节点中；

训练数据分类结束后，对超分辨率决策树的每一个叶子节点，都有一部分训练数据；根据划分每一个叶子节点的训练数据计算出一个从低分辨率空间到高分辨率空间的映射模型，并将该映射模型的索引存储在相应叶子节点中；

所述超分辨率重建阶段，包括：

输入一幅低分辨率图像，按照光栅扫描顺序从中提取低分辨率图像补丁；

计算每一个低分辨率图像补丁的哈达玛模式；

依据计算得到的哈达玛模式，在构建的三叉超分辨率决策树中为每一个低分辨率图像补丁搜索对应的映射模型；

每一个低分辨率图像补丁通过搜索到的对应的映射模型生成高分辨率补丁，所有生成的高分辨率图像补丁组成目标高分辨率输出图像。

2.根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，所构建的三叉超分辨率决策树的非叶子节点存储了分割阈值、其子节点的索引以及当前节点所处树的深度；超分辨率决策树的叶子节点存储了对应映射模型的索引。

3.根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，在分割非叶子节点j的训练数据时，假设该节点中训练补丁对低分辨率图像补丁L_j和高分辨率图像补丁H_j的数量为N_j并且足够，首先为节点j的训练数据生成哈达玛模式P_j，假设这次分割处于第k轮(k＝1，…，15)，使用P_j的第Seq[k]列来对L_j和H_j进行分类；

首先将P_j的第Seq[k]列进行升序排列得到P^s，具体公式为：

P^s＝Sort(P_j(:,Seq[k]^th)) (3)

然后通过从中选取分割阈值v₁和v₂，具体公式为：

其中v∈(0,1)，控制了选取阈值的位置，同时限制了三个子节点上训练数据的数量；参数v的值设为0.5。

4.根据权利要求3所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，当P_j第Seq[k]列上的值比v₁小，对应部分的训练数据被划分到左子节点；当P_j第Seq[k]列上的值比v₂大，对应部分的训练数据被划分到右子节点；剩余部分训练数据被划分到中子节点；然后将一组参数β_j＝[k ind_l ind_m ind_r v₁ v₂]存储在当前非叶子节点中；其中，参数k表示当前非叶子节点的深度；ind_l，ind_m和ind_r分别表示指向左子节点、中子节点和右子节点的索引；v₁和v₂是学习到的分割阈值，v₁比v₂小。

5.根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，每一次数据分割都应满足公式(5)表示的条件：

min(N_l,N_m,N_r)≥min_num (5)

其中，N_l,N_m和N_r分别表示左子节点、中子节点和右子节点训练数据的数量，min_num表示一个叶子节点中训练样本的最小数量；min_num的值设为512；

在一次数据分割结束后，当有一个子节点的样本数量比min_num小，则此次分割被判定无效，当前节点被标记为叶子节点。

6.根据权利要求1所述的一种基于哈达玛变换的单幅图像超分辨率方法，其特征在于，对每个叶子节点q，与之对应的映射模型通过使用最小二乘方法解决公式(6)中的问题获得，约束条件是M_q的每一列的模为1；

H_q＝L_qM_q (6)

其中M_q是第q个叶子节点对应的回归系数矩阵，H_q和L_q分别是到达叶子节点q的高分辨率训练数据和对应的低分辨率训练数据。