CN113298716B - 基于卷积神经网络的图像超分辨率重建方法 - Google Patents
基于卷积神经网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN113298716B CN113298716B CN202110599880.9A CN202110599880A CN113298716B CN 113298716 B CN113298716 B CN 113298716B CN 202110599880 A CN202110599880 A CN 202110599880A CN 113298716 B CN113298716 B CN 113298716B
- Authority
- CN
- China
- Prior art keywords
- image
- super
- module
- sampling
- resolution reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 16
- 238000005070 sampling Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000003044 adaptive effect Effects 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 230000003321 amplification Effects 0.000 claims description 22
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 238000011176 pooling Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Processing (AREA)
Abstract
本发明提供的一种卷积神经网络的图像超分辨率重建方法,包括:对图像数据进行预处理;构建多尺度通道注意力特征提取模块,对预处理后的图像数据进行特征提取,输出特征图;构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维;构建自适应上采样模块,所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层,通过对这三个层的排列组合来实现对特征图进行任意系数的上采样处理;构建基于Charbonnier Loss的损失函数模块,由损失函数模块对自适应上采样模块输出的采样数据进行处理;构建基于卷积神经网络的超分辨率重建模型,将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练;将待处理图像输入到超分辨率重建模型中,输出进行超分辨率重建的图像信息,能够有效的对图像边缘等高频细节进行恢复,避免超分辨率任务中图像边缘模糊。
Description
技术领域
本发明涉及一种图像处理方法,尤其涉及一种基于卷积神经网络的图像超分辨率重建方法。
背景技术
现有超分辨率网络存在变更放大系数时需要更改网络结构的问题。另外,大部分网络对结构的变化非常敏感,修改网络结构会直接导致网络失效。因此,直接修改放大系数以使一个网络适配多个放大系数的方法并不可行。另外,随着网络的加深以及核动态上采样方法的使用,导致网络的训练变得十分困难,训练技巧的重要性甚至超过了网络结构。
因此,为了解决上述技术问题,亟需提出一种新的技术手段。
发明内容
有鉴于此,本发明的目的是提供一种基于卷积神经网络的图像超分辨率重建方法,能够有效的对图像边缘等高频细节进行恢复,避免超分辨率任务中图像边缘模糊,而且在非整数放大系数下无需训练多个上采样系数,从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
本发明提供的一种卷积神经网络的图像超分辨率重建方法,包括:
S1.对图像数据进行预处理:将不同色彩空间的图像转换为RGB颜色空间的图像,并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对;
S2.构建多尺度通道注意力特征提取模块,对预处理后的图像数据进行特征提取,输出特征图;
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维;
S4.构建自适应上采样模块,所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层;由自适应上采样模块对特征图进行采样处理;
S5.构建基于Charbonnier Loss的损失函数模块,由损失函数模块对自适应上采样模块输出的采样数据进行处理;
S6.构建基于卷积神经网络的超分辨率重建模型,将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练;
S7.将待处理图像输入到超分辨率重建模型中,输出进行超分辨率重建的图像信息。
进一步,步骤S2中,图像特征提取模块基于如下公式执行特征提取:
σ(x)=max(ax,x);
X=vec(GAP(Mn'));
Mask=W5*σ(W4*X+b4)+b5;
Mn'=Mn'*Sigmoid(Mask);
Mn=Mn'+Mn-1;
其中:σ(x)表示PReLU函数,a为学习常数,W表示权重,b表示偏置参数,b的上标表示当前所在的层数,W的下标表示卷积核的大小,W的上标中第一参数表示当前权重所在层数,第二参数表示当前权重在所在层的卷积的位置;[]表示级联运算,Mn'为自适应特征提取模块提取的特征图,⊙表示哈达玛积,Att表示掩码,X表示经过全局平均池化的通道维度向量,GAP表示全局平均池化操作,vec表示向量化操作,将全局平均池化后的特征图转换为向量,向量中的每一个值表示每个通道的全局信息,*表示哈达玛积,Sigmoid表示Sigmoid函数,Mask表示掩码。
进一步,步骤S3中,瓶颈层基于如下公式执行降维操作:
其中,FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图,W表示权重,b表示偏置参数,Mi表示第i个多尺度通道注意力特征提取模块的输出,[]表示级联运算。
进一步,步骤S4中,自适应上采样模块通过如下方法进行上采样处理:
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR;
S42.分别计算放大系数scale_factor和2、3的因数,并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale;
S43.遍历scalelist数组并以此获得该数组中的元素值,并将各元素值与2和3进行对比,并输出中间采样结果如元素值为2,则输出中间采样结果F':
若元素值为2,则:F'=UpTo2(FLR);
若元素值为3,则:F'=UpTo3(FLR);其中,UpTo2()表示2倍放大模块,UpTo3()表示3倍放大模块;
S44.对中间采样结果F'进行一次卷积操作;
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio,判断比值ratio是否为1,如为1,则直接将当前中间输出结果作为最终输出结果FSR;如不为1,则通过Bicubic(F',ratio)再次计算中间输出结果F',并将最终的中间输出结果作为最终的输出结果,其中,Bicubic(F',ratio)表示双三次插值层。
进一步,步骤S4中,损失函数模块采用如下损失:
其中,/>表示网络生成的图像;I为真实图像,i,j和k分别表示图像长、宽、色彩通道中对应的像素,ε为常量,置为0.01,h、w和c分别表示图像的长度、宽度和色彩通道。
进一步,超分辨率重建模型为:
超分辨率重建模型为:
FSR=F(FLR,θ)
其中,F()表示超分辨率网络模型,θ表示超分辨率模型中的参数。
本发明的有益效果:通过本发明,能够有效的对图像边缘等高频细节进行恢复,避免超分辨率任务中图像边缘模糊,而且在非整数放大系数下无需训练多个上采样系数,从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
附图说明
下面结合附图和实施例对本发明作进一步描述:
图1为本发明的流程图。
图2为本发明的自适应上采样模块结构示意图。
图3为本发明的超分辨率网络结构示意图。
具体实施方式
以下结合说明书附图对本发明做出进一步详细说明:
本发明提供的一种卷积神经网络的图像超分辨率重建方法,包括:
S1.对图像数据进行预处理:将不同色彩空间的图像转换为RGB颜色空间的图像,并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对;
S2.构建多尺度通道注意力特征提取模块,对预处理后的图像数据进行特征提取,输出特征图;
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维;
S4.构建自适应上采样模块,所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层;由自适应上采样模块对特征图进行采样处理;
S5.构建基于Charbonnier Loss的损失函数模块,由损失函数模块对自适应上采样模块输出的采样数据进行处理;
S6.构建基于卷积神经网络的超分辨率重建模型,将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练;
S7.将待处理图像输入到超分辨率重建模型中,输出进行超分辨率重建的图像信息,通过本发明,能够有效的对图像边缘等高频细节进行恢复,避免超分辨率任务中图像边缘模糊,而且在非整数放大系数下无需训练多个上采样系数,从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
本实施例中,步骤S2中,图像特征提取模块基于如下公式执行特征提取:
σ(x)=max(ax,x);
X=vec(GAP(Mn'));
Mask=W5*σ(W4*X+b4)+b5;
Mn'=Mn'*Sigmoid(Mask);
Mn=Mn'+Mn-1;
其中:σ(x)表示PReLU函数,a为学习常数,W表示权重,b表示偏置参数,b的上标表示当前所在的层数,W的下标表示卷积核的大小,W的上标中第一参数表示当前权重所在层数,第二参数表示当前权重在所在层的卷积的位置;[]表示级联运算,Mn'为自适应特征提取模块提取的特征图,⊙表示哈达玛积,Att表示掩码,X表示经过全局平均池化的通道维度向量,GAP表示全局平均池化操作,vec表示向量化操作,将全局平均池化后的特征图转换为向量,向量中的每一个值表示每个通道的全局信息,*表示哈达玛积,Sigmoid表示Sigmoid函数,Mask表示掩码。
在每一个多尺度特征提取模块中,输入特征图Mn-1分别通过以上公式进行升降维并提取特征获得特征图S1,1、S1,2和中间变量S';之后对S'进行进一步提取特征以提升感受野,获得感受野与5×5卷积相同的特征图S1,3。然后分别将特征图S1,1、S1,2和S1,3级联后进一步执行特征提取工作,级联操作融合了第一层提取的多尺度特征,确保在第二层的特征提取中得以充分利用,生成第二层的特征图S2,1和S2,2。之后级联S2,1和S2,2,并通过1×1卷积去除特征图中的冗余信息并降维获得输出的残差图Mn';然后对残差图Mn'执行全局平均池化和向量化操作以获得每个通道的全局特征信息X,对X执行两次全连接操作获得每个通道的掩码Mask;将Mask通过Sigmoid函数压缩至0~1之间并与原残差图点乘以获得校准后的残差图Mn'。最后,将校准后的残差图Mn'与输入特征图Mn-1相加,获得最终的输出Mn。
本实施例中,步骤S3中,瓶颈层基于如下公式执行降维操作:
其中,FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图,W表示权重,b表示偏置参数,Mi表示第i个多尺度通道注意力特征提取模块的输出,[]表示级联运算;瓶颈层级联了之前每个模块的输出特征图,然后通过1×1卷积去除其中的冗余信息,并对之前的所有特征图进行降维。
本实施例中,步骤S4中,自适应上采样模块通过如下方法进行上采样处理:
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR;
S42.分别计算放大系数scale_factor和2、3的因数,并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale;
S43.遍历scalelist数组并以此获得该数组中的元素值,并将各元素值与2和3进行对比,并输出中间采样结果如元素值为2,则输出中间采样结果F':
若元素值为2,则:F'=UpTo2(FLR);
若元素值为3,则:F'=UpTo3(FLR);其中,UpTo2()表示2倍放大模块,UpTo3()表示3倍放大模块;
S44.对中间采样结果F'进行一次卷积操作;
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio,判断比值ratio是否为1,如为1,则直接将当前中间输出结果作为最终输出结果FSR;如不为1,则通过Bicubic(F',ratio)再次计算中间输出结果F',并将最终的中间输出结果作为最终的输出结果,其中,Bicubic(F',ratio)表示双三次插值层,通过上述算法,能够实现特征图像的任意放大处理,从而提升最终图像处理结果的准确性。
本实施例中,步骤S5中,损失函数模块采用如下损失:
其中,/>表示网络生成的图像,即整个网络生成的图像FSR;I为真实图像,即原始的高分辨率图像FHR,i,j和k分别表示图像长、宽、色彩通道中对应的像素。h,w和c分别表示图像的长、宽、色彩通道。ε为常量,置为0.01。
本实施例中,超分辨率重建模型为:
超分辨率重建模型为:
FSR=F(FLR,θ)
其中,F()表示超分辨率网络模型,该模型为现有模型,θ表示超分辨率模型中的参数;在上述中,已经说明,整个网络生成的图像FSR在上述中表示成即为最终的输出超分辨率图像,那么,损失函数/>可以写成LC(FSR,FHR),在上述模型中,最终目的是为了更新参数θ,使得损失函数LC(FSR,FHR)最小,即:
此时,输出最终的超分辨率图像FSR。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于卷积神经网络的图像超分辨率重建方法,其特征在于:包括:
S1.对图像数据进行预处理:将不同色彩空间的图像转换为RGB颜色空间的图像,并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对;
S2.构建多尺度通道注意力特征提取模块,对预处理后的图像数据进行特征提取,输出特征图;
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维;
S4.构建自适应上采样模块,所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层;由自适应上采样模块对特征图进行采样处理;
S5.构建基于Charbonnier Loss的损失函数模块,由损失函数模块对自适应上采样模块输出的采样数据进行处理;
S6.构建基于卷积神经网络的超分辨率重建模型,将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练;
S7.将待处理图像输入到超分辨率重建模型中,输出进行超分辨率重建的图像信息;
步骤S4中,自适应上采样模块通过如下方法进行上采样处理:
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR;
S42.分别计算放大系数scale_factor和2、3的因数,并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale;
S43.遍历scalelist数组并以此获得该数组中的元素值,并将各元素值与2和3进行对比,并输出中间采样结果,其中:中间采样结果F'为:
若scalelist数组并以此获得该数组中的元素值为2,则:F'=UpTo2(FLR);
若scalelist数组并以此获得该数组中元素值为3,则:F'=UpTo3(FLR);其中,UpTo2()表示2倍放大模块,UpTo3()表示3倍放大模块;
S44.对中间采样结果F'进行一次卷积操作;
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio,判断比值ratio是否为1,如为1,则直接将当前中间输出结果作为最终输出结果FSR;如不为1,则通过Bicubic(F',ratio)再次计算中间输出结果F',并将最终的中间输出结果作为最终的输出结果,其中,Bicubic(F',ratio)表示双三次插值层。
2.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法,其特征在于:步骤S2中,图像特征提取模块基于如下公式执行特征提取:
σ(x)=max(ax,x);
X=vec(GAP(Mn'));
Mask=W5*σ(W4*X+b4)+b5;
Mn'=Mn'*Sigmoid(Mask);
Mn=Mn'+Mn-1;
其中:σ(x)表示PReLU函数,a为学习常数,W表示权重,b表示偏置参数,b的上标表示当前所在的层数,W的下标表示卷积核的大小,W的上标中第一参数表示当前权重所在层数,第二参数表示当前权重在所在层的卷积的位置;[]表示级联运算,Mn'为自适应特征提取模块提取的特征图,Att表示掩码,X表示经过全局平均池化的通道维度向量,GAP表示全局平均池化操作,vec表示向量化操作,将全局平均池化后的特征图转换为向量,向量中的每一个值表示每个通道的全局信息,*表示哈达玛积,Sigmoid表示Sigmoid函数,Mask表示掩码。
3.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法,其特征在于:步骤S3中,瓶颈层基于如下公式执行降维操作:
其中,FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图,W表示权重,b表示偏置参数,Mi表示第i个多尺度通道注意力特征提取模块的输出,[]表示级联运算。
4.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法,其特征在于:步骤S4中,损失函数模块采用如下损失:
其中,/>表示网络生成的图像;I为真实图像,i,j和k分别表示图像长、宽、色彩通道中对应的像素,ε为常量,置为0.01,h、w和c分别表示图像的长度、宽度和色彩通道。
5.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法,其特征在于:超分辨率重建模型为:
FSR=F(FLR,θ)
其中,F()表示超分辨率网络模型,θ表示超分辨率模型中的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110599880.9A CN113298716B (zh) | 2021-05-31 | 2021-05-31 | 基于卷积神经网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110599880.9A CN113298716B (zh) | 2021-05-31 | 2021-05-31 | 基于卷积神经网络的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298716A CN113298716A (zh) | 2021-08-24 |
CN113298716B true CN113298716B (zh) | 2023-09-12 |
Family
ID=77326365
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110599880.9A Active CN113298716B (zh) | 2021-05-31 | 2021-05-31 | 基于卷积神经网络的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298716B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706388B (zh) * | 2021-09-24 | 2023-06-27 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
CN117474766A (zh) * | 2022-07-13 | 2024-01-30 | 瑞昱半导体股份有限公司 | 超级分辨率模型的训练方法、超级分辨率方法与系统 |
CN116109902A (zh) * | 2023-02-14 | 2023-05-12 | 中国科学院空天信息创新研究院 | 模糊图像的目标检测模型训练方法、装置及目标检测方法 |
CN116664409B (zh) * | 2023-08-01 | 2023-10-31 | 北京智芯微电子科技有限公司 | 图像超分辨率重建方法、装置、计算机设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
CN109272452A (zh) * | 2018-08-30 | 2019-01-25 | 北京大学 | 小波域中基于集团结构子带共同学习超分辨率网络的方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
-
2021
- 2021-05-31 CN CN202110599880.9A patent/CN113298716B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108734659A (zh) * | 2018-05-17 | 2018-11-02 | 华中科技大学 | 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法 |
CN109272452A (zh) * | 2018-08-30 | 2019-01-25 | 北京大学 | 小波域中基于集团结构子带共同学习超分辨率网络的方法 |
CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
CN111476719A (zh) * | 2020-05-06 | 2020-07-31 | Oppo广东移动通信有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN112837224A (zh) * | 2021-03-30 | 2021-05-25 | 哈尔滨理工大学 | 一种基于卷积神经网络的超分辨率图像重建方法 |
Non-Patent Citations (1)
Title |
---|
基于多尺度与多重残差网络的图像超分辨率重建;陈星宇等;《激光与光电子学进展》;20200925;第57卷(第18期);120-127 * |
Also Published As
Publication number | Publication date |
---|---|
CN113298716A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113298716B (zh) | 基于卷积神经网络的图像超分辨率重建方法 | |
CN113139907B (zh) | 视觉分辨率增强的生成方法、系统、装置及存储介质 | |
Hui et al. | Fast and accurate single image super-resolution via information distillation network | |
CN112750082B (zh) | 基于融合注意力机制的人脸超分辨率方法及系统 | |
CN109544448B (zh) | 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法 | |
CN111815516B (zh) | 一种弱监督红外遥感图像超分辨率重建方法 | |
CN111652804B (zh) | 基于膨胀卷积金字塔与瓶颈网络的超分辨率重建方法 | |
CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
CN111696038A (zh) | 图像超分辨率方法、装置、设备及计算机可读存储介质 | |
CN112085655B (zh) | 一种基于密集残差注意面部先验网络的人脸超分辨率方法 | |
CN112419152A (zh) | 一种图像超分辨率方法、装置、终端设备和存储介质 | |
CN109064394B (zh) | 一种基于卷积神经网络的图像超分辨率重建方法 | |
CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
CN113628115A (zh) | 图像重建的处理方法、装置、电子设备和存储介质 | |
WO2019092900A1 (ja) | 情報処理装置及び情報処理方法 | |
CN116434039B (zh) | 一种基于多尺度拆分注意力机制的目标检测方法 | |
CN117593187A (zh) | 基于元学习和Transformer的遥感图像任意尺度超分辨率重建方法 | |
CN116895037A (zh) | 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统 | |
CN116266336A (zh) | 视频超分辨率重建方法、装置、计算设备及存储介质 | |
CN110807746B (zh) | 一种基于细节内嵌注入卷积神经网络高光谱图像锐化方法 | |
CN114187174A (zh) | 基于多尺度残差特征融合的图像超分辨率重建方法 | |
CN112308772A (zh) | 基于深度学习局部与非局部信息的超分辨率重建方法 | |
CN115631115B (zh) | 基于递归Transformer的动态图像复原方法 | |
Shu et al. | Reality image super-resolution algorithm based on an improved pipeline processing model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |