CN115713462A - 超分辨模型训练方法、图像识别方法、装置及设备 - Google Patents

超分辨模型训练方法、图像识别方法、装置及设备 Download PDF

Info

Publication number
CN115713462A
CN115713462A CN202211412609.0A CN202211412609A CN115713462A CN 115713462 A CN115713462 A CN 115713462A CN 202211412609 A CN202211412609 A CN 202211412609A CN 115713462 A CN115713462 A CN 115713462A
Authority
CN
China
Prior art keywords
image
resolution
super
convolution
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211412609.0A
Other languages
English (en)
Inventor
纪天啸
刘晓辉
闵宗茹
巨星海
闫玮佳
王海洋
王海涛
周启荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Branch Of National Computer Network And Information Security Management Center
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
National Computer Network and Information Security Management Center
Original Assignee
Shanghai Branch Of National Computer Network And Information Security Management Center
Yantai Branch Institute Of Computing Technology Chinese Academy Of Science
National Computer Network and Information Security Management Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Branch Of National Computer Network And Information Security Management Center, Yantai Branch Institute Of Computing Technology Chinese Academy Of Science, National Computer Network and Information Security Management Center filed Critical Shanghai Branch Of National Computer Network And Information Security Management Center
Priority to CN202211412609.0A priority Critical patent/CN115713462A/zh
Publication of CN115713462A publication Critical patent/CN115713462A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了超分辨模型训练方法、图像识别方法、装置及设备,属于图像处理技术领域,获取多个样本数据,样本数据包括获取同一场景成对的<高分辨率图像,低分辨率图像>;构建图像超分辨率模型:将含有多个卷积网络模块的深度神经网络模型分别对低分辨率图像和高分辨率图像的特征进行提取和映射,学习特征间非线性的映射关系,最终将提取到的特征进行加权融合;构建目标方程:将低分辨率图像LR(x)输入到图像超分辨率模型中,获得超分辨率图像SR(x),SR(x)与对应的高分辨率图像HR(x)计算损失用于约束网络的训练过程。本申请能够使得重建后的高分辨率图像具有更清晰的纹理细节,进而提高图像检测的精确率。

Description

超分辨模型训练方法、图像识别方法、装置及设备
技术领域
本发明涉及图像处理技术领域,尤其涉及超分辨模型训练方法、图像识别方法、装置及设备。
背景技术
近年来,随着高清设备的普及,用户端显示设备的分辨率已经普遍提升到了2K甚至更高的水平。在现实场景中通过手机摄像头等成像设备所获得的图像通常会存在分辨率不足,成像模糊的缺点。
图像超分辨率技术的发展为上述问题提供了解决的思路。图像超分辨率是指从低分辨率图像中恢复出自然、清晰的纹理,最终得到一张高分辨率图像,是图像增强领域中一个非常重要的问题。
在现有的方法中,图像超分辨率技术主要分为基于插值的方法、基于重建的方法和基于深度学习的方法。
其中基于插值的方法包括最近邻插值、双线性插值和双三次插值方法。最近邻近插值方法是一种简单的插值方法,缺点是图像放大时会产生明显的锯齿,造成图像比较模糊。双线性插值方法缺点是计算量偏大,而且高频分量受损使图像产生了模糊。双三次插值方法是目前用得比较多的重建方法,虽然其经过超分辨后的图像质量效果较好,但是却无法解决计算量偏大的问题。
基于重建的方法主要分为频域法和空域法。频域法通常消除频谱混叠从而提升图像分辨率,但它可用到的先验知识十分有限。空域法具有很强的先验约束能力,但是由于场景单一,导致重建的图像效果并不好,并且受先验影响很大,重建效果也不稳定。
基于深度学习方法的出现使得该问题有了显著的进展。深度学习方法的使用可以使得模型学习低分辨率图像到高分辨率图像之间的映射关系。基于深度学习的超分辨方法虽获得了不错的效果,但是这些方法都需要很大的计算量或者模型复杂,对应用于实际的应用场景不友好。
对于上述问题的解决方法有很多,陈斌等人提出的“一种SRFlow超分辨率模型的训练方法及人脸识别方法”,“CN202011411875.2”,主要包括:一、建立原始高清人脸图像库;二、提取若干原始高清人脸图像,作为第一高清人脸图像,并输入人脸识别模型,以获得第一人脸特征值;三、将第一高清人脸图像进行模糊处理;四、将模糊后的人脸图像输入SRFlow超分辨率模型,得到第二高清人脸图像;五、将第二高清人脸图像输入人脸识别模型,以获得第二人脸特征值;六、至少将第一人脸特征值与第二人脸特征值进行对比,并将对比结果添加到SRFlow超分辨率模型的负对数似然损失函数中,然后训练SRFlow超分辨率模型;七、重复执行上述二至六步,直至训练结果收敛后完成训练。本发明还涉及利用上述训练好的SRFlow超分辨率模型的人脸识别方法,特别适合对小人脸进行识别。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术存在如下技术问题:计算量大。
ZhengHui等人提出的“Lightweight Image Super-Resolution withInformation Multi-distillation Network(IMDN)”,LR(低分辨率图片)输入网络,先经过一层3×3的卷积层初步的对其浅层特征进行提取。卷积层输出的Feature Map到了此网络结构最为核心位置:几个连在一起的IMDB(information multi-distillation block)。IMDB会对输入进来的Feature Map进行一系列的特征提取,这里提取到的属于深层特征。经过IMDB处理后的一系列特征会被输入到一个1×1的卷积层做特征融合,这里在卷积后会经过Leaky ReLU激活函数的处理,再输入到一个3×3的卷积层。将此处3×3的卷积层的输出与最前面第一个3×3的卷积层的输出相加,此处运用了残差学习的思想。然后把相加后的特征输入到图像重建模块中,得到最终超分后的图像。
Jie Liu等人提出的“Residual Feature Distillation Network forLightweight Image Super-Resolution”,提出等价于通道分离操作的特征蒸馏连接操作(Feature Distillation Connection,FDC),构建了残差特征蒸馏网络(RFDN),RFDN使用多个FDC来学习特征表示,使得该网络可以从残差中学到信息,在较低的模型复杂性下达到可观的性能。
Zheng Hui等人提出的“Fast and Accurate Single Image Super-Resolutionvia Information Distillation Network(IDN)”,提出的网络模型包含三个部分,即特征提取模块、堆叠的信息蒸馏(information distillation)模块、重建模块。通过结合一个提升单元(enhancement unit)和一个压缩单元(compression unit)在信息蒸馏模块里,局部long and short-path features特征可被有效提取。特别的,提出的enhancement unit混合两种不同类型的特征,而压缩单元compression unit提取更有用的信息。此外,所提出的网络执行快速,因为每一层有相对较少的滤波器数目,并且使用了分组卷积。
但本申请发明人在实现本申请实施例中发明技术方案的过程中,发现上述技术至少存在如下技术问题:计算量虽有一定程度的下降,仍有进一步优化空间,且无法有效建模特征空间重要性,存在图像模糊及重建效果不稳定等问题。
发明内容
为了克服现有技术的不足,本发明的目的在于提供超分辨模型训练方法、图像识别方法、装置及设备,解决了图像模糊及重建效果不稳定的问题。
本发明的目的采用如下技术方案实现:
一种超分辨模型训练方法,包括:
获取多个样本数据,所述样本数据包括获取同一场景成对的<高分辨率图像,低分辨率图像>;
构建图像超分辨率模型:将含有多个卷积网络模块的深度神经网络模型分别对低分辨率图像和高分辨率图像的特征进行提取和映射,学习特征间非线性的映射关系,最终将提取到的特征进行加权融合;
构建目标方程:将低分辨率图像LR(x)输入到所述图像超分辨率模型中,获得超分辨率图像SR(x),SR(x)与对应的高分辨率图像HR(x)计算损失用于约束网络的训练过程。
优选地,所述样本数据选择人脸数据集FFHQ-高清人脸数据集中部分人脸图像作为高分辨率图像,然后采用多倍下采样获得对应的下采样倍数的图像作为低分辨率图像,最终获得成对的<高分辨率图像,低分辨率图像>数据集。
优选地,选择亚像素卷积进行特征上采样,最终通过卷积操作将生成图像,进而构建人脸图像超分辨率模型。
优选地,将获取同一场景成对的<高分辨率图像,低分辨率图像>分别输入到高分辨率人脸图像模型和对应下采样的低分辨率图像模型;其中,采用的高清人脸数据集为1000张,输入的高分辨率图像大小为128*128;输入的低分辨率图像大小为32*32,低分辨图像是通过双线性插值方法将高分辨率图像下采样为低分辨率图像,进而获得成对的<高分辨率对象,低分辨率对象>训练数据。
优选地,所述图像超分辨率模型由浅层特征提取模块、非线性映射模块和图像重建模块组成。
优选地,所述低分辨率图像经过浅层特征提取模块提取,两层卷积激活网络得到浅层特征图m;浅层特征图m通过构建的非线性映射模块进行非线性的映射,其中非线性应映射模块由多个级联的残差蒸馏信息注意力模块组成,残差蒸馏信息注意力模块结构由残差信息蒸馏模块与ESAPA注意力模块组成,其中ESAPA注意力模块针对信息蒸馏网络针对性的构建的适配型注意力网络模块;
残差信息蒸馏模块用于逐步细化图像特征;对于每次蒸馏,对前一步的特征采用通道分割的操作,将特征分为两部分,一部分被保留,一部分传入下一步,且采用1×1卷积(Conv-1)进行信道缩减,传入下一步骤的卷积采用3×3卷积(Conv-3);若输入的图像特征为Fin,则公式表示为:
F1(dis),F1(co)=D1(l1(Fin));
F2(dis),F2(co)=D2(l2(F1(co)));
F3(dis),F3(co)=D3(l3(F2(co)));
F4(dis)=l4(F3(co));
Di=DL,DR
Di(i=1,2,3,4)表示第i次通道分割操作,其中Di()操作分为3×3卷积DL和1×1卷积DR;DL产生进行下一步处理的细化特征,是一个浅层残差模块SRB,残差块由一个3×3卷积核和激活层组成,DR产生被保留的特征;l代表卷积操作,li(i=1,2,3,4)表示第i次卷积操作;
F1(dis),F1(co)、F2(dis),F2(co)、F3(dis),F3(co)、F4(dis)代表四次通道分割操作所获得的特征;最终输出将所有保留特征通过堆叠操作堆叠到一起,得到残差信息蒸馏模块的输出特征:
F=Concat(F1(dis),F2(dis),F3(dis),F4(dis));
ESAPA注意力模块具体步骤如下:
步骤一:使用1×1卷积降低通道数达到降低计算量的目的;
步骤二:使用步长为2的卷积和2×2最大池化以及卷积组,其中卷积组由7×7的最大池化操作与步长为3的卷积组成;
步骤三:空间注意力特征提取;
步骤四:对步骤三获得的特征进行空间特征的加权操作,考虑到RFDB模块有多个蒸馏操作后的特征输出,堆叠后获得空间注意力权重,再经过随机分组重新与蒸馏特征输出相乘拼接;
ESAPA注意力模块的输出特征表示为:
out1=fESAPA(F);
最终,非线性映射基本单元的输出特征公式如下所示:
out2=fESAPA(fRFDB(Fin))
其中,Fin是整个非线性映射基本单元的输入特征,out2是非线性映射基本单元的输出特征;非线性映射模块由4个级联的非线性映射基本单元组成;
最终输出将4个级联的非线性映射基本单元的输出特征通过堆叠操作堆叠到一起,得到整个非线性映射模块的输出特征out;
图像重建模块根据上采样倍数选用不同的上采样网络,其中上采样操作为了降低计算量,选择亚像素卷积进行特征上采样,最终通过卷积操作生成图像;经过图像超分辨率模型重建后的图像的计算公式如下所示:
SR=fScale(out)
fScale()表示上采样网络,out是整个非线性映射模块的输出特征,SR是重建的高分辨率图像;
构建目标方程:
L1=|HR-SR|
其中,HR表示原高分辨率图像,SR表示经过图像超分辨率模型重建后的图像;||符号表示绝对值,代表重建后的图像与原高分辨率图像的差异大小,通过该目标函数约束模型训练过程;L1收敛代表图像超分辨率模型训练完成,模型性能达到最佳的效果。
优选地,所述将低分辨率图像输入至步骤一所获得的图像超分辨率模型,输出重建的高分辨率图像。
一种图像识别方法,包括:
获取低分辨率图像;
将所述低分辨率图像输入图像超分辨模型,获得高分辨率图像。
一种超分辨模型的训练装置,包括:
浅层特征提取模块,用于低分辨率图像的特征提取,使两层卷积激活网络得到浅层特征图m;
非线性映射模块,用于所述浅层特征图m的非线性映射;
图像重建模块,用于根据上采样倍数选用不同的上采样网络,其中上采样操作为了降低计算量,选择亚像素卷积进行特征上采样,最终通过卷积操作生成图像。
一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令以实现上述方法。
相比现有技术,本发明的有益效果在于:
本申请能够使得重建后的高分辨率图像具有更清晰的纹理细节,进而提高图像检测的精确率。
附图说明
图1为本发明的流程图;
图2为本发明的原理框图;
图3为本发明中非线性映射基本单元的示意图;
图4为本发明中ESAPA网络结构。
具体实施方式
为了解决图像模糊及重建效果不稳定的问题,本发明提供超分辨模型训练方法、图像识别方法、装置及设备,适用于检测、识别等多种图像任务的前置处理,本申请以人脸识别为例,与传统超分辨率方法相比,其中信息蒸馏网络具有较低的模型复杂度且减少了计算量,并且可实现有效学习低分辨率图像与高分辨率图像之间的关系,注意力机制的使用使得模型关注更重要的通道,进而构建特征空间重要性矩阵,两者的结合使用,比原有的注意力机制更能区分通道之间的重要性,能更好的学习多个不同深度下知识之间的注意力关系。
如图1-图4所示,为了实现上述目的,本发明提供的技术方案为:
如图1所示,本发明实施例提供的一种超分辨模型训练方法,包括以下步骤:
1.1首先构建图像数据集。首先,获取图像数据,即获取同一场景成对的<高分辨率图像,低分辨率图像>;分别输入到高分辨率人脸图像模型和对应下采样的低分辨率图像模型;其中,采用的高清人脸数据集为1000张,输入的高分辨率图像大小为128*128;输入的低分辨率图像大小为32*32,低分辨图像是通过双线性插值方法将高分辨率图像下采样为低分辨率图像,进而获得成对的<高分辨率对象,低分辨率对象>训练数据。
1.2如图2所示,构建超分辨率模型,该模型由浅层特征提取模块、非线性映射模块和图像重建模块组成。
1.2.1低分辨率图像经过浅层特征提取,即两层卷积激活网络得到浅层特征图m,大小为32*32*32;
1.2.2浅层特征图m通过构建的非线性映射模块进行非线性的映射。其中非线性应映射模块由多个级联的残差蒸馏信息注意力模块组成,经网络结构实验,本发明测试数目为1-12时模型性能,残差蒸馏注意力模块的数目为4时模型性能达到最佳(即非线性映射模块包含4个非线性映射基本单元)。如图3所示,残差蒸馏信息注意力模块结构由RFDB(残差信息蒸馏模块)与ESAPA(ESAPA注意力模块)组成,其中ESAPA是本发明针对信息蒸馏网络针对性的构建的适配型注意力网络模块。
1.2.2.1 RFDB
该残差信息蒸馏模块用于逐步细化图像特征。对于每次蒸馏,对前一步的特征采用通道分割的操作,将特征分为两部分,一部分被保留,一部分传入下一步。且本发明使用1×1卷积(Conv-1)进行信道缩减更加有效,显著减少了参数量;考虑到空间上下文和更好的细化特征,传入下一步骤的卷积依然使用3×3卷积(Conv-3)。同时为了使得学习到的特征更具细粒度,在网络中引入了残差学习。RFDB模块如图3所示。若输入的图像特征为Fin,则公式可以表示为:
F1(dis),F1(co)=D1(l1(Fin)),
F2(dis),F2(co)=D2(l2(F1(co))),
F3(dis),F3(co)=D3(l3(F2(co)))
F4(dis)=l4(F3(co)).
Di=DL,DR
Di(i=1,2,3,4)表示第i次通道分割操作,其中Di()操作分为3×3卷积DL和1×1卷积DR。DL产生进行下一步处理的细化特征,是一个浅层残差模块SRB(图3右),残差块由一个3×3卷积核和激活层组成,DR产生被保留的特征。l代表卷积(包括激活函数ReLU)操作,li(i=1,2,3,4)表示第i次卷积操作。
F1(dis),F1(co)、F2(dis),F2(co)、F3(dis),F3(co)、F4(dis)代表四次通道分割操作所获得的特征。最终输出将所有保留特征通过堆叠操作堆叠到一起,得到RFDB模块的输出特征:
F=Concat(F1(dis),F2(dis),F3(dis),F4(dis))
1.2.2.2 ESAPA注意力模块
引入空间注意力以后可以使得网络更加关注蒸馏获得的特征中关键的空间特征,网络结构如图4所示。
ESAPA注意力模块具体步骤:
1.使用1×1卷积降低通道数达到降低计算量的目的。
2.同时为降低特征空间尺寸和获得更大的感受野,使用步长为2的卷积和2×2最大池化以及卷积组,其中卷积组由7×7的最大池化操作与步长为3的卷积组成。
3.空间注意力特征提取
4.随后对获得的特征进行空间特征的加权操作,考虑到RFDB模块有多个蒸馏操作后的特征输出,堆叠后获得空间注意力权重,再经过随机分组重新与蒸馏特征输出相乘拼接,实现将注意力机制更好的应用于多个不同深度下的特征,更好的特征融合。不同深度的特征拼接,存在有冗余特征,更关注重要的通道信息,积分组
5.设计Palayer层,学习各个通道之间的非线性关系;降低模型的复杂度提升泛化能力。
本发明选择将获得的权重reweight给各个深度下的蒸馏信息,以便更好的增强局部信息;同时原来将各个蒸馏信息直接堆叠,其中可能有冗余特征,并非重要特征;而通过reweight机制可以重新将各个蒸馏信息赋予权重,有效减小冗余特征,从而使得网络更关注于重要的通道特征信息。比原有的注意力机制更能区分通道之间的重要性。
经过实验,效果优于原来的ESA机制,原因在于本发明在原有空间注意力的基础上,构建了适合蒸馏学习的分组reweight机制,更好的学习多个不同深度下知识之间的注意力关系。
ESAPA注意力模块的输出特征表示为:
out1=fESAPA(F)
1.2.2.3最终,非线性映射基本单元的输出特征公式如下所示:
out2=fESAPA(fRFDB(Fin))
其中,Fin是整个非线性映射基本单元的输入特征,out2是非线性映射基本单元的输出特征。非线性映射模块由4个级联的非线性映射基本单元组成。
1.2.2.4最终输出将4个级联的非线性映射基本单元的输出特征通过堆叠操作堆叠到一起,得到整个非线性映射模块的输出特征out。
本发明提出的ESAPA模块,不同于以往方法中非线性映射模块只能无偏重地学习通过信息蒸馏获得的不同深度蒸馏特征,无法分辨特征中的重要信息,本发明中提出的ESAPA模块使得网络更加关注特征中的空间信息,学习特征中关键部分信息,比原有的注意力机制更能区分通道之间的重要性。在本发明中,通过ESAPA模块与RFDB模块结合组成非线性映射基本单元,在通过RFDB模块提取不同深度蒸馏特征后,将这些特征输入ESAPA模块,对其进行特征重要性赋权,减小特征冗余,使得网络关注特征中重要的部分。
经过实验对比和分析,相对于目前已有的ESA注意力机制和其他未使用注意力机制的方法,本发明提出的ESAPA模块在原有空间注意力的基础上,构建了适合蒸馏学习的分组reweight机制,能够更好的学习多个不同深度下知识之间的注意力关系,本发明提出的ESAPA模块耗费的计算开销可以忽略不计,能够使得重建后的高分辨率图像具有更清晰的纹理细节,进而提高图像检测的精确率。
1.3构建图像重建模块
图像重建模块根据上采样倍数选用不同的上采样网络,其中上采样操作为了降低计算量,本方案选择亚像素卷积进行特征上采样,最终通过卷积操作生成图像。经过图像超分辨率模型重建后的图像的计算公式如下所示:
SR=fScale(out)
fScale()表示上采样网络,out是整个非线性映射模块的输出特征,SR是重建的高分辨率图像。
1.4构建目标方程
L1=|HR-SR|
其中,HR表示原高分辨率图像,SR表示经过图像超分辨率模型重建后的图像。||该符号表示绝对值,代表重建后的图像与原高分辨率图像的差异大小,通过该目标函数约束模型训练过程;L1收敛代表图像超分辨率模型训练完成,模型性能达到最佳的效果。
2.将低分辨率图像输入至步骤一所获得的图像超分辨率模型,输出重建的高分辨率图像。
重建的高分辨率图像可应用于人脸识别、人脸检测、目标检测、行人识别等领域,能够有效地提高检测、识别的精确率。
上述实施方式仅为本发明的优选实施方式,不能以此来限定本发明保护的范围,本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

Claims (10)

1.一种超分辨模型训练方法,其特征在于:包括:
获取多个样本数据,所述样本数据包括获取同一场景成对的<高分辨率图像,低分辨率图像>;
构建图像超分辨率模型:将含有多个卷积网络模块的深度神经网络模型分别对低分辨率图像和高分辨率图像的特征进行提取和映射,学习特征间非线性的映射关系,最终将提取到的特征进行加权融合;
构建目标方程:将低分辨率图像LR(x)输入到所述图像超分辨率模型中,获得超分辨率图像SR(x),SR(x)与对应的高分辨率图像HR(x)计算损失用于约束网络的训练过程。
2.如权利要求1所述的超分辨模型训练方法,其特征在于:所述样本数据选择人脸数据集FFHQ-高清人脸数据集中部分人脸图像作为高分辨率图像,然后采用多倍下采样获得对应的下采样倍数的图像作为低分辨率图像,最终获得成对的<高分辨率图像,低分辨率图像>数据集。
3.如权利要求1或2所述的超分辨模型训练方法,其特征在于:选择亚像素卷积进行特征上采样,最终通过卷积操作将生成图像,进而构建人脸图像超分辨率模型。
4.如权利要求2所述的超分辨模型训练方法,其特征在于:将获取同一场景成对的<高分辨率图像,低分辨率图像>分别输入到高分辨率人脸图像模型和对应下采样的低分辨率图像模型;其中,采用的高清人脸数据集为1000张,输入的高分辨率图像大小为128*128;输入的低分辨率图像大小为32*32,低分辨图像是通过双线性插值方法将高分辨率图像下采样为低分辨率图像,进而获得成对的<高分辨率对象,低分辨率对象>训练数据。
5.如权利要求1、2或4所述的超分辨模型训练方法,其特征在于:所述图像超分辨率模型由浅层特征提取模块、非线性映射模块和图像重建模块组成。
6.如权利要求5中任一项所述的超分辨模型训练方法,其特征在于:所述低分辨率图像经过浅层特征提取模块提取,两层卷积激活网络得到浅层特征图m;浅层特征图m通过构建的非线性映射模块进行非线性的映射,其中非线性应映射模块由多个级联的残差蒸馏信息注意力模块组成,残差蒸馏信息注意力模块结构由残差信息蒸馏模块与ESAPA注意力模块组成,其中ESAPA注意力模块针对信息蒸馏网络针对性的构建的适配型注意力网络模块;
残差信息蒸馏模块用于逐步细化图像特征;对于每次蒸馏,对前一步的特征采用通道分割的操作,将特征分为两部分,一部分被保留,一部分传入下一步,且采用1×1卷积(Conv-1)进行信道缩减,传入下一步骤的卷积采用3×3卷积(Conv-3);若输入的图像特征为Fin,则公式表示为:
F1(dis),F1(co)=D1(l1(Fin));
F2(dis),F2(co)=D2(l2(F1(co)));
F3(dis),F3(co)=D3(l3(F2(co)));
F4(dis)=l4(F3(co));
Di=DL,DR
Di(i=1,2,3,4)表示第i次通道分割操作,其中Di()操作分为3×3卷积DL和1×1卷积DR;DL产生进行下一步处理的细化特征,是一个浅层残差模块SRB,残差块由一个3×3卷积核和激活层组成,DR产生被保留的特征;l代表卷积操作,li(i=4,2,3,4)表示第i次卷积操作;
F1(dis),F1(co)、F2(dis),F2(co)、F3(dis),F3(co)、F4(dis)代表四次通道分割操作所获得的特征;最终输出将所有保留特征通过堆叠操作堆叠到一起,得到残差信息蒸馏模块的输出特征:
F=Concat(F1(dis),F2(dis),F3(dis),F4(dis));
ESAPA注意力模块具体步骤如下:
步骤一:使用1×1卷积降低通道数达到降低计算量的目的;
步骤二:使用步长为2的卷积和2×2最大池化以及卷积组,其中卷积组由7×7的最大池化操作与步长为3的卷积组成;
步骤三:空间注意力特征提取;
步骤四:对步骤三获得的特征进行空间特征的加权操作,考虑到RFDB模块有多个蒸馏操作后的特征输出,堆叠后获得空间注意力权重,再经过随机分组重新与蒸馏特征输出相乘拼接;
ESAPA注意力模块的输出特征表示为:
out1=fESAPA(F);
最终,非线性映射基本单元的输出特征公式如下所示:
out2=fESAPA(fRFDB(Fin))
其中,Fin是整个非线性映射基本单元的输入特征,out2是非线性映射基本单元的输出特征;非线性映射模块由4个级联的非线性映射基本单元组成;
最终输出将4个级联的非线性映射基本单元的输出特征通过堆叠操作堆叠到一起,得到整个非线性映射模块的输出特征out;
图像重建模块根据上采样倍数选用不同的上采样网络,其中上采样操作为了降低计算量,选择亚像素卷积进行特征上采样,最终通过卷积操作生成图像;经过图像超分辨率模型重建后的图像的计算公式如下所示:
SR=fScale(out)
fScale()表示上采样网络,out是整个非线性映射模块的输出特征,SR是重建的高分辨率图像;
构建目标方程:
L1=|HR-SR|
其中,HR表示原高分辨率图像,SR表示经过图像超分辨率模型重建后的图像;||符号表示绝对值,代表重建后的图像与原高分辨率图像的差异大小,通过该目标函数约束模型训练过程;L1收敛代表图像超分辨率模型训练完成,模型性能达到最佳的效果。
7.如权利要求6所述的超分辨模型训练方法,其特征在于:所述将低分辨率图像输入至步骤一所获得的图像超分辨率模型,输出重建的高分辨率图像。
8.一种图像识别方法,其特征在于:包括:
获取低分辨率图像;
将所述低分辨率图像输入如权利要求1-5任一项中的图像超分辨模型,获得高分辨率图像。
9.一种超分辨模型的训练装置,其特征在于:包括:
浅层特征提取模块,用于低分辨率图像的特征提取,使两层卷积激活网络得到浅层特征图m;
非线性映射模块,用于所述浅层特征图m的非线性映射;
图像重建模块,用于根据上采样倍数选用不同的上采样网络,其中上采样操作为了降低计算量,选择亚像素卷积进行特征上采样,最终通过卷积操作生成图像。
10.一种电子设备,其特征在于:包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述可执行指令以实现权利要求1至8中任意一项所述的方法。
CN202211412609.0A 2022-11-11 2022-11-11 超分辨模型训练方法、图像识别方法、装置及设备 Pending CN115713462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211412609.0A CN115713462A (zh) 2022-11-11 2022-11-11 超分辨模型训练方法、图像识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211412609.0A CN115713462A (zh) 2022-11-11 2022-11-11 超分辨模型训练方法、图像识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN115713462A true CN115713462A (zh) 2023-02-24

Family

ID=85232810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211412609.0A Pending CN115713462A (zh) 2022-11-11 2022-11-11 超分辨模型训练方法、图像识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN115713462A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452424A (zh) * 2023-05-19 2023-07-18 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN116452424B (zh) * 2023-05-19 2023-10-10 山东大学 一种基于双重广义蒸馏的人脸超分辨率重构方法及系统
CN117495681A (zh) * 2024-01-03 2024-02-02 国网山东省电力公司济南供电公司 一种红外图像超分辨重建系统及方法

Similar Documents

Publication Publication Date Title
CN110136063B (zh) 一种基于条件生成对抗网络的单幅图像超分辨率重建方法
CN113240580B (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN109509152B (zh) 一种基于特征融合的生成对抗网络的图像超分辨率重建方法
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN111898701B (zh) 模型训练、帧图像生成、插帧方法、装置、设备及介质
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN109685716B (zh) 一种基于高斯编码反馈的生成对抗网络的图像超分辨率重建方法
CN115713462A (zh) 超分辨模型训练方法、图像识别方法、装置及设备
Sun et al. Lightweight image super-resolution via weighted multi-scale residual network
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN111598778A (zh) 一种绝缘子图像超分辨率重建方法
CN108876716B (zh) 超分辨率重建方法及装置
CN109993702B (zh) 基于生成对抗网络的满文图像超分辨率重建方法
CN112907448A (zh) 一种任意比率图像超分辨率方法、系统、设备及存储介质
CN111833261A (zh) 一种基于注意力的生成对抗网络的图像超分辨率复原方法
CN110852948A (zh) 基于特征相关性的图像超分辨方法、存储介质及终端设备
CN115115514A (zh) 基于高频信息特征融合的图像超分辨率重建方法
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN115526777A (zh) 一种盲超分网络建立方法、盲超分方法及存储介质
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
CN112184552B (zh) 一种基于高频特征学习的子像素卷积图像超分辨方法
CN113724134A (zh) 一种基于残差蒸馏网络的航拍图像盲超分辨率重建方法
CN116188272B (zh) 适用于多模糊核的两阶段深度网络图像超分辨率重建方法
CN113096015A (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN116485654A (zh) 卷积神经网络与Transformer相结合的轻量级单图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination