CN112598575B - 一种基于特征处理的图像信息融合及超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于特征处理的图像信息融合及超分辨率重建方法，属于图像处理技术领域。本发明首先将高分辨率参考图像输入到图像预处理模块，得到低分辨率参考图像。其次将低分辨率输入图像、高分辨率参考图像和低分辨率参考图像输入到特征处理模块，该模块对输入图像进行特征处理，实现高分辨率参考图像和低分辨率输入图像的特征信息匹配、转移和融合，得到融合特征图像。最后将低分辨率输入图像和融合特征图像输入到超分辨率重建模块，得到最终的超分辨率重建图像。本发明采用图像的特征信息而非像素信息来进行信息匹配和融合，可以充分地利用高分辨率参考图像所携带的丰富细节纹理信息，进而有效提升低分辨率输入图像超分辨率重建质量。

Description

一种基于特征处理的图像信息融合及超分辨率重建方法

技术领域

本发明属于图像处理技术领域，具体涉及到一种基于特征处理的图像信息融合及其超分辨率重建方法。

背景技术

超分辨率重建是一种通过对低分辨率图像(分辨率低于某个指定值)进行处理来得到高分辨率图像(分辨率高于某个指定值)的技术。按照输入图像的数目来分类，可以分为基于单图的超分辨率重建算法和基于多图的超分辨率重建算法。

基于单图的图像超分辨率重建算法直接利用输入的低分辨率图像的信息来进行重建。这种方法简洁易行，但由于输入的低分辨率图像本身包含的信息有限，因此这种方法重建出来的图像质量也是受限的。

为了克服上述缺陷，在条件允许的情况下，高分辨率的参考图像可以被引入到超分辨率重建算法中，将高分辨率图像包含的丰富的纹理细节信息融合到低分辨率图像上，进而提升超分辨率重建的质量。这就是基于多图的超分辨率重建算法的基本原理。

为了得到比较理想的超分辨率重建效果，高分辨率参考图像需要与待处理的低分辨率输入图像有着较高的相似度。与此同时，高分辨率参考图像和低分辨率输入图像之间的信息匹配和融合算法对最终的超分辨率重建效果有重大影响。要提高基于多图的超分辨率重建算法的重建质量，需要将高分辨率参考图像所包含的信息准确地与低分辨率输入图像的信息进行匹配，并且将两者信息有效融合。这样才能充分发挥高分辨率参考图像在超分辨率重建中的指导作用，进而提高超分辨率重建质量。

然而，目前现有的方法都是直接使用图像的像素信息来进行信息匹配和融合。由于高分辨率参考图像和低分辨率输入图像之间分辨率和清晰度存在明显区别，再加上两者的时空差异，因此基于像素信息的信息匹配和融合算法存在误匹配概率高、匹配效率低下、超分辨率重建效果差等问题。这些问题制约着基于多图的超分辨率重建算法的性能和稳定性。

发明内容

本发明的发明目的在于：针对现有的基于多图的超分辨率重建方法的不足和缺陷，提出了一种基于特征处理的图像信息融合及其超分辨率方法，有效提升低分辨率输入图像超分辨率重建质量。

本发明的基于特征处理的图像信息融合及超分辨率重建方法，包括以下步骤：

对高分辨率参考图像和低分辨率输入图像(待重建图像)进行图像预处理：

对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；

对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：

将高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；

遍历低分辨率输入特征图中的每个子块，在低分辨率参考特征图中搜索第一最优匹配特征子块，并基于高分辨率参考特征图与低分辨率参考特征图之间的空间映射关系，基于第一最优匹配特征子块的图像位置确定当前子块在于高分辨率参考特征图的第二最优匹配特征子块；

基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组处理，得到重组特征图像；

基于特征图进行图像信息融合处理，将重组特征图与低分辨率输入特征图进行融合得到融合特征图像：

基于融合特征图像对低分辨率输入图像进行超分辨率重建，得到超分辨率重建图像。

进一步的，本发明基于编码和解码结构的超分辨率重建网络进行超分辨率重建过程处理，其中，超分辨率重建网络的编码部分用于对低分辨率输入图像进行特征提取，并通过维度拼接的方式将提取的特征图像与融合特征图像进行融合；解码部分用于对融合的特征图像进行重建，输出超分辨率重建图像。

进一步的，本发明中，采用基于卷积神经网络的特征提取网络对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，所采用的特征提取网络包括顺次连接的若干级卷积块，卷积块之间通过池化层连接，各级卷积块包括若干顺次连接的子层，每个子层由顺次连接的卷积层和非线性激活层构成，从每级卷积块中的指定一层非线性激活层作为当前级的特征图输出，得到多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；对同级特征图进行图像信息匹配、转移和融合处理，得到多级融合特征图像。

进一步的，在超分辨率重建处理时，构建的超分辨率重建网络包括若干编码器和解码器，按照前向传播的方向，各编码器依次定义为第1级～第N级编码器，第N级～第1级解码器，其中N的取值与特征信息提取处理的卷积神经网络包括的卷积块级数相同；第一级编码器与第二级编码器之间通过拼接层连接，从第2级编码器开始，各编码器之后顺次连接下采样模块和拼接层(即第N级编码器与解码器之间顺次连接下采样模块和拼接层)；拼接层的输入还包括指定级的融合特征图像(按照前向传播的方向，各拼接层输入的融合特征图像的分辨率依次降低)，通过维度拼接的方式对编码器提取的特征图像与输入的融合特征图像进行融合处理；邻级的解码器之间顺次连接上采样模块和标准化层，且第r级编码器还通过跳连接方式接入第r-1级解码器(即第r级编码器的输出与接入第r级解码器的标准化层的输出进行叠加后再输入r-1级解码器)，其中1＜r≤N；第1级解码器接入重建层，该重建层用于对第1级解码器的输出的特征图像进行重建得到超分辨率重建残差图像，最后将超分辨率重建残差图像与低分辨率输入图像进行叠加得到最终的超分辨率重建图像。即，本发明中，每一级编码器输出都配备拼接层，用于拼接融合特征图；除第一级编码器外，每一级编码器都配备下采样层，用于对特征图图像下采样，调整尺寸；除第一级解码器外，每一级解码器都配置有上采样层和标准化层。

进一步的，在对高分辨率参考图像进行下采样时，可以采用金字塔降采样方法。而在上采样过程中可以是简单的插值算法，也可以是采用已有的基于单图的图像超分辨率重建方法进行上采样和初步的超分辨率重建。

进一步的，在基于特征图进行图像信息融合处理时，将待匹配的两个特征子块视为向量，即将特征子块的图像信息进行向量化，然后基于向量相似度来衡量两个向量之间的相似性，其中，向量相似度可以由分别经过标准化处理的向量余弦距离和向量曼哈顿距离经过加权和后得到。向量相似度越大，表明两个特征子块的相似性越大。对给定的一个特征子块，当向量相似度取到最大值时，对应的候选特征子块即为给定特征子块的最优匹配特征子块。

进一步的，在基于特征图进行图像信息融合处理时，将分别经过标准化处理后的低分辨率输入特征图和重组特征图像(基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组得到的)进行线性融合，并对该线性融合结果进行标准化，得到融合特征图像。即基于数据分布空间整体迁移实现图像信息的融合处理。

进一步的，在基于特征图进行图像信息融合处理时，还可以基于线性引导滤波的方式实现，将低分辨率输入特征图作为输入，重组特征图像作为引导模板，线性引导滤波的输出为融合特征图像。融合特征图像大体上与低分辨率输入特征图大体上相似，但是其整合了引导模板(也就是重组特征图像)的关键特征信息。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

与现有的图像融合及超分辨方法相比，本发明采用经卷积神经网络提取的特征信息取代像素信息进行图像块匹配，在特征域内实现不同分辨率图像之间的信息匹配、转移和融合。这可以将高分辨率参考图像信息完整准确地转移并融合到低分辨率输入图像上，显著提升了低分辨率输入图像的超分辨率重建效果。

本发明避免了传统的基于像素的图像信息匹配及融合和基于多图的图像超分辨率方法的种种弊端，解决了跨分辨率的图像匹配问题，同时不受到图像尺寸和数目的限制。

附图说明

图1为具体实施方式中，本发明的重建过程的处理过程示意图；

图2为具体实施方式中，预处理过程示意图；

图3为具体实施方式中，特征提取网络结构示意图；

图4为具体实施方式中，特征匹配和转移处理流程图；

图5为具体实施方式中，特征融合流程图；

图6为具体实施方式中，优化的最佳匹配特征搜索方法示意图。

图7为具体实施方式中，超分辨率重建处理过程示意图，其中图7(a)为超分辨率重建网络结构图，图7(b)为编码器/解码器结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

本发明中基于特征处理的图像信息融合及超分辨率重建方法，采用图像的特征信息而非像素信息来进行信息匹配和融合，可以充分地利用高分辨率参考图像所携带的丰富细节纹理信息，进而有效提升低分辨率输入图像超分辨率重建质量。参考图1，本发明的重建方法需要1张低分辨率输入图像和至少1张高分辨率输入图像作为重建方法的输入。首先，进行图像预处理，得到低分辨率参考图像，以及预处理后的低分辨率输入图像。其次，对低分辨率输入图像、高分辨率参考图像和低分辨率参考图像进行特征提取处理，得到各自对应的特征图像。接下来对高分辨率参考图像和低分辨率输入图像进行特征信息匹配、转移和融合处理，得到融合特征图像。最后对低分辨率输入图像和融合特征图像进行超分辨率重建处理，得到最终的超分辨率重建图像。

参考图2，本具体实施方式中，基于高分辨率参考图像进行图像预处理的方式具体为：对高分辨率参考图像进行高斯金字塔降采样，得到低分辨率参考图像。之后低分辨率参考图像和低分辨率输入图像各自进行双三次样条插值上采样，扩大物理尺寸。高分辨率参考图像降采样倍数和上采样倍数互为倒数，进而确保上采样后低分辨率参考图像和高分辨率参考图像在物理尺寸上保持一致。同时，低分辨率参考图像和低分辨率输入图像的上采样的倍数保持相同，使得两者在像素的清晰度上相似。

可选的，在图像预处理时，可以使用现有的、成熟的基于单图的超分辨率方法进行上采样操作，这样可以在上采样的同时实现初步的单图超分辨率重建。上采样的方法是支持自定义的。引入现有的基于单图的超分辨率网络可以保证在最差情况下最终的超分辨率重建效果不低于基于单图的超分辨率重建方法。同时从优化的角度考虑，这一过程有助于超分辨率重建网络在训练时更快地收敛。

本具体实施方式中，通过神经网络实现对图像的特征提取处理，所构建的征提取网络本质上为卷积神经网络，其包括若干级卷积块，卷积块之间通过池化层连接，各级卷积块包括一定数量的卷积及非线性激活处理，如图3所示，其中conv指代卷积层，relu指代ReLU激活层，pooling指代池化层。池化层的池化倍数为2，并采用convi_j、relui_j区分不同的卷积层及ReLU激活层，其中i表示所处级数，j表示对应的层数。且在特征提取处理时，为了保证各层的输入输出图像尺寸一致，所有卷积层都需要进行边缘补0处理。

本具体实施方式中，选取relu1_1,relu2_1和relu3_1这三层的输出作为该特征提取网络提取到的特征图像，分别命名为一级特征图像relu1_1、二级特征图像relu2_1和三级特征图像relu3_1。这三级特征分别代表三种不同层次的图像特征。假定输入图像的尺寸为H*W*3(RGB三通道图像)，那么其输出的三级特征图像的物理尺寸依次为H*W*C₁，(H/2)*(W/2)*C₂和(H/4)*(W/4)*C₃。其中C₁，C₂和C₃分别代表不同级别特征图像的通道数量。

可选的，在实现图3所示的特征提取网络的过程中，本发明支持导入外部的图像识别卷积神经网络中的参数作为特征提取网络的参数。现有的图像识别卷积神经网络(例如VGG网络)一般都包含图像特征提取组件。这些组件的参数经过较长时间的应用后，已经相对稳定和成熟，可以直接使用而不用担心图像特征提取不稳定的问题。相比与重新自定义特征提取网络，导入成熟网络的参数既可以在有效减少工作量，又不会对最终的超分辨率重建结果产生明显的不利影响。

参考图4，在特征匹配和转移的过程中，本具体实施方式中，首先需要将高分辨率参考图像的特征图R0_F，低分辨率参考图像的特征图R1_F和低分辨率输入图像的特征图LR_F各自进行拆分，得到若干特征子块。每个特征子块均被视为向量，都有相同的物理尺寸且彼此间可能在空间上相互重合。给定特征图像LR_F中第i个特征子块LR_i，对特征图像R1_F中的每一个特征子块，本发明中的定义了一个特征匹配算法，通过计算向量相似度VS来衡量两个特征子块间的相似性。其中，VS的计算公式为：

其中，LR_i表示特征图像LR_F中第i个特征子块，R1_j表示特征图像R1_F中第j个特征子块，w表示介于0到1之间的加权权重。IP表示向量的内积，MD表示向量的曼哈顿距离(又称城市距离)。‖*‖表示向量的模长，‖*‖_norm表示标准化过程。在计算IP时，R1_j需要化为单位模长向量

这样可以消除R1_j的模带来的影响，因而向量内积IP的计算结果才能在数学上等价为向量的余弦距离。同时为了克服IP和MD两者在度量上的不一致，在计算IP和MD的数值后需要各自进行标准化操作。具体来讲，对于给定的LR_i，计算特征图像R1_F中所有的候选特征子块R1_j的IP值和MD值。对所有候选特征子块的IP值和MD值分别进行标准化，标准化后度量上的差异即可消除。随后再进行加权和得到最后的VS值。

由VS公式可以看到，VS值越大，表明2个特征子块相似性越高。记j^*为特征图像R1_F中与给定的特征图像LR_F中第i个特征子块LR_i相似性最高的特征子块标号，

代表R1_F中最佳匹配特征子块。当VS_(i,j)取到最大时，对应的j即为j^*。数学表达式为：

在求解得到j^*之后，R1_F上第j^*个特征子块

便已经确定，这里

称为第一最优匹配特征子块。之后利用R0_F与R1_F之间的空间位置映射关系，即可得到R0_F中第j^*个特征子块

是LR_F中第i个特征子块LR_i的最佳匹配特征子块，这里

称为第二最优匹配特征子块。从信息匹配的角度讲，第二最优匹配特征子块

所包含的信息正是LR_F中第i个特征子块LR_i所需要的。

最后一步为特征转移，第二最优匹配特征子块

将会填充到重组特征图像RC_F特定的位置中。重组特征图像的尺寸与LR_F的尺寸相同，

在RC_F中的填充位置为LR_F中第i个特征子块LR_i在LR_F中的相对位置。

对于LR_F中每一个特征子块，通过上述匹配方式总能找到R0_F中的第二最优匹配特征子块。之后再通过给定的特征子块的相对位置，将第二最优匹配特征子块填充到重组特征图像的对应位置。由于在拆分特征子块的过程中不同特征子块之间有可能相互重合。因此在将第二最优匹配特征子块填充到重组特征图像时也会出现相互重叠的情况。进一步的，当多个特征子块中在空间上相互重叠时，可以通过求解空间位置上重叠元素的平均值来解决这一冲突。

参考图5，在特征融合的过程中，需要先计算4个变量：重组特征图像RC_F均值和方差，低分辨率输入特征图LR_F的均值和方差。得到这4个变量后，再通过特征融合公式计算融合特征图像M_F：

M_F＝||μ*||LR_F||_norm+(1-μ)*||RC_F||_norm||_norm

其中，||*||_norm为标准化操作，在进行标准化时需要计算输入数据的均值和方差。μ为介于0到1之间的加权权重。

可选的，在特征融合的过程中，还可以采用基于引导滤波的特征融合方式实现，其具体实现过程为：

令低分辨率输入特征图为p，重组特征图为I，给定窗口半径r和正则化参数ε。其中，窗口半径r表示计算均值时的区域为一个r*r的区域。

计算特征图p的均值图像mean_p＝f_mean(p)，重组特征图I的均值图像mean_I＝f_mean(I)；

对重组特征图I的每个像素点的像素值取平方，得到图像I²，并计算其均值图像corr_I＝f_mean(I.*I)，将重组特征图为I与特征图p相同位置的像素值相乘，得到图像I.*p并计算其均值图像corrI_p＝f_mean(I.*p)；其中A.*B表示将图像A和B中同一像素点位置的像素值相乘。

计算重组特征图I的方差图像var_I＝corr_I-mean_I.*mean_I，以及重组特征图I和特征图p的协方差图像cov_Ip＝corr_Ip-mean_I.*mean_p；

根据公式a＝cov_Ip/(var_I+ε)计算参数a，以及根据公式b＝mean_p-a.*mean_I计算参数b，从而得到参数a、b各自的均值mean_a、mean_b，最后根据公式q＝mean_a.*I+mean_b得到融合特征图q。

可选的，为了加快匹配流程，本发明中特征匹配流程仅对三级特征图像relu31进行匹配。对于一级特征图像和二级特征图像而言，可以根据三级特征图像的匹配结果和空间对应关系进行匹配。当三级特征图像中某两个特征子块成功匹配时，可以将匹配结果映射到一级特征图像和二级特征图像。

可选的，在计算最佳匹配特征子块的过程中，在低分辨率输入图像和高分辨率参考图像相似度足够高(大于或等于指定的相似度阈值)的前提下，可以借助相邻特征子块的匹配位置信息来约束搜索范围，这有助于大大减少匹配过程中的计算量并加快运行速度。参考图6，本发明的优化的最佳匹配特征搜索过程具体为：对LR_F上某一个特征子块X，其在R1_F上的第一最佳匹配特征子块为XO。对于X的相邻特征子块Y，可以将上一个第一最佳匹配特征子块XO的中心位置进行相对偏移(具体偏移量视具体处理需求进行设置)，进而得到搜索锚点。之后通过该锚点的位置来确定一个比较小的区域来搜索Y的第一最佳匹配子块Y0。通常将搜索区域设置为矩形，基于配置的锚点到矩形搜索区域各边的距离来确定搜索区域的具体范围。经实验表明，在大多数情况下这种快速搜索的方法得到的最佳匹配结果与图4所述的完备的全图搜索方法得到的结果是一致的，并且从最终重建的角度来看，2种匹配方案最后重建的效果图没有显著的差异。

本具体实施方式中，超分辨率重建处理是通过卷积网络实现，参考图7(a)，所采用的超分辨率重建卷积神经网络整体上为编码——解码结构。网络的前半部分有3个编码器，其中二级编码器和三级编码器后面连接一个下采样模块和一个Batch Normalization标准化层。下采样模块是一个步长为2的卷积层，这可以将编码器输出的特征图像的长和宽调整为原来的1/2，与外部拼接进来的融合特征图像在物理尺寸上保持一致。在拼接层，原网络的特征图像与融合特征图像在最后一维进行维度拼接。举例说明，假设原网络特征图像尺寸为B*H*W*C₁,融合特征图像尺寸为B*H*W*C₂，那么拼接后的特征图像尺寸为B*H*W*(C₁+C₂)，其中B、H、C分别表示每个批次图像数量、图像的高和图像的宽，C₁和C₂表示特征图像通道数。网络的后半部分对应的有3个解码器，其中二级解码器和三级解码器后面连接一个上采样模块和Batch Normalization标准化层。上采样模块是一个步长为2的反卷积层，用来将调整解码器输出特征图像的长和宽调整至原来的2倍。在网络内部还存在3个长距离的跳连接层，网络的最后一层为重建层，对输入的特征图像进行重建得到超分辨率重建残差图像，重建层可以设置为一个步长为1的卷积层，输出通道数基于实际情况调整，例如对于RGB图像，输出通道数设置为3；对于单一的Y通道图像(称为亮度图像)，输出通道数为1；最后，将超分辨率重建残差图像与原输入图像叠加得到最终的超分辨率重建结果。在超分辨率重建处理过程中，为了保证各层的输入输出图像尺寸一致，除了下采样模块，所有卷积层都需要进行边缘补0处理。

参考图7(b)，编码器/解码器内部结构为：每个编码器和解码器内部由5个卷积层conv和1个Batch Normalization标准化层组成。每个卷积层的激活函数为pReLU函数。卷积层之间采用稠密连接的方式相互连接，同时有一个跳跃连接层，将第一个卷积层输出和最后一个卷积层输出相加得到最终的输出。稠密连接可以使图像特征得以复用，提升网络的性能。而跳跃连接使得网络在训练过程中学习输入和预期输出的残差而非预期输出的本身，这可以有效降低网络训练负担，并且同样对网络性能提升有着积极作用。

本具体实施方式中，超分辨率重建网络的训练和应用(即超分辨率重建)分别为：

在训练过程中，首先准备训练数据，将其划分为训练集和测试集。训练集用来训练更新超分辨率重建网络的参数，测试集用来评估网络性能。在本具体实施方式中，特征提取网络导入了外部网络的部分参数，因此不做更新。为了加快训练速度，先进行离线的特征处理过程，保存融合特征图像的数据作为中间数据。之后在训练超分辨率重建网络时将该数据导入，用来更新网络参数并保存网络模型。在训练结束后即可导出保存的超分辨率重建网络的参数。

在应用阶段，对给定的高分辨率参考图像和低分辨率输入图像，先执行图像预处理和特征处理得到融合特征图像数据，再一并送入到超分辨率重建网路中进行超分辨率重建，进而得到最终结果。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。

Claims (10)

1.一种基于特征处理的图像信息融合及超分辨率重建方法，其特征在于，包括以下步骤：

对高分辨率参考图像和低分辨率输入图像进行图像预处理：对高分辨率参考图像进行下采样，得到与低分辨率输入图像的清晰度相匹配的低分辨率参考图像；并对低分辨率输入图像和低分辨率参考图像进行相同的上采样；

对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，得到高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对得到的特征图进行图像信息匹配、转移和融合处理：

对高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图进行分块处理；

遍历低分辨率输入特征图中的每个特征子块，在低分辨率参考特征图中搜索第一最优匹配特征子块，并基于高分辨率参考特征图与低分辨率参考特征图之间的空间映射关系，基于第一最优匹配特征子块的图像位置确定当前子块在高分辨率参考特征图的第二最优匹配特征子块；

基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组处理，得到重组特征图像；

基于重组特征图进行图像信息融合处理，得到融合特征图像；

基于融合特征图像对低分辨率输入图像进行超分辨率重建，得到超分辨率重建图像。

2.如权利要求1所述的方法，其特征在于，基于编码和解码结构的超分辨率重建网络进行超分辨率重建过程处理，其中，超分辨率重建网络的编码部分用于对低分辨率输入图像进行特征提取，并通过维度拼接的方式将提取的特征图像与融合特征图像进行融合；解码部分用于对融合的特征图像进行重建，输出超分辨率重建图像。

3.如权利要求1所述的方法，其特征在于，采用基于卷积神经网络的特征提取网络对高分辨率参考图像、上采样后的低分辨率参考图像和低分辨率输入图像进行特征信息提取处理，所采用的卷积神经网络包括顺次连接的若干级卷积块，卷积块之间通过池化层连接，各级卷积块包括若干顺次连接的子层，每个子层由顺次连接的卷积层和非线性激活层构成，从每级卷积块中指定一层非线性激活层作为当前级别的特征图输出，得到多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图；并对同级特征图进行图像信息匹配、转移和融合处理，得到多级融合特征图像。

4.如权利要求2所述的方法，其特征在于，所述超分辨率重建网络包括若干编码器和解码器，按照前向传播的方向，各编码器依次定义为第1级~第N级编码器，第N级~第1级解码器，其中N的取值与特征信息提取处理的卷积神经网络包括的卷积块级数相同；第一级编码器与第二级编码器之间通过拼接层连接，从第2级编码器开始，各编码器之后顺次连接下采样模块和拼接层；拼接层的输入还包括指定级的融合特征图像，通过维度拼接的方式对编码器提取的特征图像与输入的融合特征图像进行融合处理；邻级的解码器之间顺次连接上采样模块和标准化层，且第r级编码器还通过跳连接方式接入第r-1级解码器，其中1＜r≤N；第1级解码器接入重建层，该重建层用于对第1级解码器输出的特征图像进行重建得到超分辨率重建残差图像，最后将超分辨率重建残差图像与低分辨率输入图像进行叠加得到最终的超分辨率重建图像。

5.如权利要求3所述的方法，其特征在于，对于多级高分辨率参考特征图、低分辨率参考特征图和低分辨率输入特征图，在对同级特征图进行特征子块匹配处理时，仅对特征信息提取处理的卷积神经网络的最后一级特征图进行第一和第二最优匹配特征子块的特征块匹配处理，对于其余级的特征图之间的特征块匹配处理，直接基于最后一级特征图之间的特征块匹配处理结果的空间映射关系获得对应的匹配结果。

6.如权利要求1所述的方法，其特征在于，在基于特征图进行图像信息融合处理时，将待匹配的两个特征子块作为向量，基于向量相似度作为两个特征子块的匹配度，基于特征子块之间的匹配度搜索低分辨率输入特征图中的特征子块的第一最优匹配特征子块。

7.如权利要求6所述的方法，其特征在于，所述向量相似度为：对两个向量的向量余弦距离和向量曼哈顿距离分别进行标准化处理后，再进行加权求和得到。

8.如权利要求1所述的方法，其特征在于，在基于特征图进行图像信息融合处理时，基于低分辨率输入特征图的每个子块的图像位置和第二最优匹配特征子块进行特征图重组得到重组特征图像，再将分别经过标准化处理后的低分辨率输入特征图和重组特征图像进行线性融合，并对该线性融合结果进行标准化处理，得到融合特征图像。

9.如权利要求1所述的方法，其特征在于，在基于特征图进行图像信息融合处理时，基于线性引导滤波的方式实现，将低分辨率输入特征图作为输入，重组特征图像作为引导模板，线性引导滤波的输出为融合特征图像。

10.如权利要求1所述的方法，其特征在于，在搜索低分辨率输入特征图中的特征子块的第一最优匹配特征子块时，若低分辨率输入图像和高分辨率参考图像之间的相似度大于或等于指定的相似度阈值时，基于相邻特征子块的匹配位置信息约束第一最优匹配特征子块的搜索范围：

定义低分辨率输入特征图中的某个特征子块为特征子块X，其在低分辨率参考特征图中的第一最优匹配特征子块为X0；

对于特征子块X的相邻特征子块Y，对X0的中心位置进行相对偏移得到搜索锚点；

基于配置的搜索锚点到第一最优匹配特征子块的搜索范围的各边界的间距，确定特征子块Y的第一最优匹配特征子块的搜索范围。

Images