CN113298716A - 基于卷积神经网络的图像超分辨率重建方法 - Google Patents

基于卷积神经网络的图像超分辨率重建方法 Download PDF

Info

Publication number
CN113298716A
CN113298716A CN202110599880.9A CN202110599880A CN113298716A CN 113298716 A CN113298716 A CN 113298716A CN 202110599880 A CN202110599880 A CN 202110599880A CN 113298716 A CN113298716 A CN 113298716A
Authority
CN
China
Prior art keywords
image
super
module
sampling
resolution reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110599880.9A
Other languages
English (en)
Other versions
CN113298716B (zh
Inventor
吕佳
许鹏程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Normal University
Original Assignee
Chongqing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Normal University filed Critical Chongqing Normal University
Priority to CN202110599880.9A priority Critical patent/CN113298716B/zh
Publication of CN113298716A publication Critical patent/CN113298716A/zh
Application granted granted Critical
Publication of CN113298716B publication Critical patent/CN113298716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明提供的一种卷积神经网络的图像超分辨率重建方法，包括：对图像数据进行预处理；构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层，通过对这三个层的排列组合来实现对特征图进行任意系数的上采样处理；构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊。

Description

基于卷积神经网络的图像超分辨率重建方法
技术领域
本发明涉及一种图像处理方法，尤其涉及一种基于卷积神经网络的图像超分辨率重建方法。
背景技术
现有超分辨率网络存在变更放大系数时需要更改网络结构的问题。另外，大部分网络对结构的变化非常敏感，修改网络结构会直接导致网络失效。因此，直接修改放大系数以使一个网络适配多个放大系数的方法并不可行。另外，随着网络的加深以及核动态上采样方法的使用，导致网络的训练变得十分困难，训练技巧的重要性甚至超过了网络结构。
因此，为了解决上述技术问题，亟需提出一种新的技术手段。
发明内容
有鉴于此，本发明的目的是提供一种基于卷积神经网络的图像超分辨率重建方法，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
本发明提供的一种卷积神经网络的图像超分辨率重建方法，包括：
S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；
S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；
S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；
S5.构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；
S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；
S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息。
进一步，步骤S2中，图像特征提取模块基于如下公式执行特征提取：
σ(x)＝max(ax,x)；
Figure BDA0003092362440000021
Figure BDA0003092362440000022
Figure BDA0003092362440000023
Figure BDA0003092362440000024
Figure BDA0003092362440000025
Figure BDA0003092362440000026
Figure BDA0003092362440000027
X＝vec(GAP(Mn'))；
Mask＝W5*σ(W4*X+b4)+b5；
Mn'＝Mn'*Sigmoid(Mask)；
Mn＝Mn'+Mn-1；
其中：σ(x)表示PReLU函数，a为学习常数，W表示权重，b表示偏置参数，b的上标表示当前所在的层数，W的下标表示卷积核的大小，W的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；[]表示级联运算，Mn'为自适应特征提取模块提取的特征图，⊙表示哈达玛积，Att表示掩码，X表示经过全局平均池化的通道维度向量，GAP表示全局平均池化操作，vec表示向量化操作，将全局平均池化后的特征图转换为向量，向量中的每一个值表示每个通道的全局信息，*表示哈达玛积，Sigmoid表示Sigmoid函数，Mask表示掩码。
进一步，步骤S3中，瓶颈层基于如下公式执行降维操作：
Figure BDA0003092362440000031
其中，FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图，W表示权重，b表示偏置参数，Mi表示第i个多尺度通道注意力特征提取模块的输出，[]表示级联运算。
进一步，步骤S4中，自适应上采样模块通过如下方法进行上采样处理：
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR；
S42.分别计算放大系数scale_factor和2、3的因数，并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale；
S43.遍历scalelist数组并以此获得该数组中的元素值，并将各元素值与2和3进行对比，并输出中间采样结果如元素值为2，则输出中间采样结果F'：
若元素值为2，则：F'＝UpTo2(FLR)；
若元素值为3，则：F'＝UpTo3(FLR)；其中，UpTo2()表示2倍放大模块，UpTo3()表示3倍放大模块；
S44.对中间采样结果F'进行一次卷积操作；
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio，判断比值ratio是否为1，如为1，则直接将当前中间输出结果作为最终输出结果FSR；如不为1，则通过Bicubic(F',ratio)再次计算中间输出结果F'，并将最终的中间输出结果作为最终的输出结果,其中，Bicubic(F',ratio)表示双三次插值层。
进一步，步骤S4中，损失函数模块采用如下损失：
Figure BDA0003092362440000041
其中，
Figure BDA0003092362440000042
表示网络生成的图像；I为真实图像，i，j和k分别表示图像长、宽、色彩通道中对应的像素，ε为常量，置为0.01，h、w和c分别表示图像的长度、宽度和色彩通道。
进一步，超分辨率重建模型为：
超分辨率重建模型为：
FSR＝F(FLR,θ)
其中，F()表示超分辨率网络模型，θ表示超分辨率模型中的参数。
本发明的有益效果：通过本发明，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
附图说明
下面结合附图和实施例对本发明作进一步描述：
图1为本发明的流程图。
图2为本发明的自适应上采样模块结构示意图。
图3为本发明的超分辨率网络结构示意图。
具体实施方式
以下结合说明书附图对本发明做出进一步详细说明：
本发明提供的一种卷积神经网络的图像超分辨率重建方法，包括：
S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；
S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；
S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；
S5.构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；
S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；
S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息，通过本发明，能够有效的对图像边缘等高频细节进行恢复，避免超分辨率任务中图像边缘模糊，而且在非整数放大系数下无需训练多个上采样系数，从而在确保最终的处理结果的准确性的同时降低训练的复杂度。
本实施例中，步骤S2中，图像特征提取模块基于如下公式执行特征提取：
σ(x)＝max(ax,x)；
Figure BDA0003092362440000051
Figure BDA0003092362440000061
Figure BDA0003092362440000062
Figure BDA0003092362440000063
Figure BDA0003092362440000064
Figure BDA0003092362440000065
Figure BDA0003092362440000066
X＝vec(GAP(Mn'))；
Mask＝W5*σ(W4*X+b4)+b5；
Mn'＝Mn'*Sigmoid(Mask)；
Mn＝Mn'+Mn-1；
其中：σ(x)表示PReLU函数，a为学习常数，W表示权重，b表示偏置参数，b的上标表示当前所在的层数，W的下标表示卷积核的大小，W的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；[]表示级联运算，Mn'为自适应特征提取模块提取的特征图，⊙表示哈达玛积，Att表示掩码，X表示经过全局平均池化的通道维度向量，GAP表示全局平均池化操作，vec表示向量化操作，将全局平均池化后的特征图转换为向量，向量中的每一个值表示每个通道的全局信息，*表示哈达玛积，Sigmoid表示Sigmoid函数，Mask表示掩码。
在每一个多尺度特征提取模块中，输入特征图Mn-1分别通过以上公式进行升降维并提取特征获得特征图S1,1、S1,2和中间变量S'；之后对S'进行进一步提取特征以提升感受野,获得感受野与5×5卷积相同的特征图S1,3。然后分别将特征图S1,1、S1,2和S1,3级联后进一步执行特征提取工作,级联操作融合了第一层提取的多尺度特征,确保在第二层的特征提取中得以充分利用，生成第二层的特征图S2,1和S2,2。之后级联S2,1和S2,2，并通过1×1卷积去除特征图中的冗余信息并降维获得输出的残差图Mn'；然后对残差图Mn'执行全局平均池化和向量化操作以获得每个通道的全局特征信息X，对X执行两次全连接操作获得每个通道的掩码Mask；将Mask通过Sigmoid函数压缩至0～1之间并与原残差图点乘以获得校准后的残差图Mn'。最后，将校准后的残差图Mn'与输入特征图Mn-1相加，获得最终的输出Mn。
本实施例中，步骤S3中，瓶颈层基于如下公式执行降维操作：
Figure BDA0003092362440000071
其中，FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图，W表示权重，b表示偏置参数，Mi表示第i个多尺度通道注意力特征提取模块的输出，[]表示级联运算；瓶颈层级联了之前每个模块的输出特征图，然后通过1×1卷积去除其中的冗余信息，并对之前的所有特征图进行降维。
本实施例中，步骤S4中，自适应上采样模块通过如下方法进行上采样处理：
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR；
S42.分别计算放大系数scale_factor和2、3的因数，并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale；
S43.遍历scalelist数组并以此获得该数组中的元素值，并将各元素值与2和3进行对比，并输出中间采样结果如元素值为2，则输出中间采样结果F'：
若元素值为2，则：F'＝UpTo2(FLR)；
若元素值为3，则：F'＝UpTo3(FLR)；其中，UpTo2()表示2倍放大模块，UpTo3()表示3倍放大模块；
S44.对中间采样结果F'进行一次卷积操作；
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio，判断比值ratio是否为1，如为1，则直接将当前中间输出结果作为最终输出结果FSR；如不为1，则通过Bicubic(F',ratio)再次计算中间输出结果F'，并将最终的中间输出结果作为最终的输出结果,其中，Bicubic(F',ratio)表示双三次插值层，通过上述算法，能够实现特征图像的任意放大处理，从而提升最终图像处理结果的准确性。
本实施例中，步骤S5中，损失函数模块采用如下损失：
Figure BDA0003092362440000081
其中，
Figure BDA0003092362440000082
表示网络生成的图像，即整个网络生成的图像FSR；I为真实图像，即原始的高分辨率图像FHR，i，j和k分别表示图像长、宽、色彩通道中对应的像素。h，w和c分别表示图像的长、宽、色彩通道。ε为常量，置为0.01。
本实施例中，超分辨率重建模型为：
超分辨率重建模型为：
FSR＝F(FLR,θ)
其中，F()表示超分辨率网络模型，该模型为现有模型，θ表示超分辨率模型中的参数；在上述中，已经说明，整个网络生成的图像FSR在上述中表示成
Figure BDA0003092362440000083
即为最终的输出超分辨率图像，那么，损失函数
Figure BDA0003092362440000084
可以写成LC(FSR,FHR)，在上述模型中，最终目的是为了更新参数θ，使得损失函数LC(FSR,FHR)最小，即：
Figure BDA0003092362440000091
此时，输出最终的超分辨率图像FSR。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于卷积神经网络的图像超分辨率重建方法，其特征在于：包括：
S1.对图像数据进行预处理：将不同色彩空间的图像转换为RGB颜色空间的图像，并将转换后的图像进行缩放形成低分辨率图像-高分辨率图像对；
S2.构建多尺度通道注意力特征提取模块，对预处理后的图像数据进行特征提取，输出特征图；
S3.构建瓶颈层模块将每个多尺度通道注意力特征提取模块的特征级联后降维；
S4.构建自适应上采样模块，所述自适应上采样模块具有两个亚像素层和一个双三次插值下采样层；由自适应上采样模块对特征图进行采样处理；
S5.构建基于Charbonnier Loss的损失函数模块，由损失函数模块对自适应上采样模块输出的采样数据进行处理；
S6.构建基于卷积神经网络的超分辨率重建模型，将损失函数模块处理后的采样数据输入到超分辨率重建模型中进行训练；
S7.将待处理图像输入到超分辨率重建模型中，输出进行超分辨率重建的图像信息。
2.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：步骤S2中，图像特征提取模块基于如下公式执行特征提取：
σ(x)＝max(ax,x)；
Figure FDA0003092362430000011
Figure FDA0003092362430000012
Figure FDA0003092362430000013
Figure FDA0003092362430000014
Figure FDA0003092362430000021
Figure FDA0003092362430000022
Figure FDA0003092362430000023
X＝vec(GAP(Mn'))；
Mask＝W5*σ(W4*X+b4)+b5；
Mn'＝Mn'*Sigmoid(Mask)；
Mn＝Mn'+Mn-1；
其中：σ(x)表示PReLU函数，a为学习常数，W表示权重，b表示偏置参数，b的上标表示当前所在的层数，W的下标表示卷积核的大小，W的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；[]表示级联运算，Mn'为自适应特征提取模块提取的特征图，⊙表示哈达玛积，Att表示掩码，X表示经过全局平均池化的通道维度向量，GAP表示全局平均池化操作，vec表示向量化操作，将全局平均池化后的特征图转换为向量，向量中的每一个值表示每个通道的全局信息，*表示哈达玛积，Sigmoid表示Sigmoid函数，Mask表示掩码。
3.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：步骤S3中，瓶颈层基于如下公式执行降维操作：
Figure FDA0003092362430000024
其中，FLR为最终输出经所有多尺度通道注意力特征提取模块输出的特征图，W表示权重，b表示偏置参数，Mi表示第i个多尺度通道注意力特征提取模块的输出，[]表示级联运算。
4.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：步骤S4中，自适应上采样模块通过如下方法进行上采样处理：
S41.向自适应上采样模块输入放大系数scale_factor和特征图FLR；
S42.分别计算放大系数scale_factor和2、3的因数，并生成只包含2和3的上采样系数数组scalelist和实际放大系数target_scale；
S43.遍历scalelist数组并以此获得该数组中的元素值，并将各元素值与2和3进行对比，并输出中间采样结果如元素值为2，则输出中间采样结果F'：
若元素值为2，则：F'＝UpTo2(FLR)；
若元素值为3，则：F'＝UpTo3(FLR)；其中，UpTo2()表示2倍放大模块，UpTo3()表示3倍放大模块；
S44.对中间采样结果F'进行一次卷积操作；
S45.根据输入放大系数scale_factor和实际放大系数target_scale的比值ratio，判断比值ratio是否为1，如为1，则直接将当前中间输出结果作为最终输出结果FSR；如不为1，则通过Bicubic(F',ratio)再次计算中间输出结果F'，并将最终的中间输出结果作为最终的输出结果,其中，Bicubic(F',ratio)表示双三次插值层。
5.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：步骤S4中，损失函数模块采用如下损失：
Figure FDA0003092362430000031
其中，
Figure FDA0003092362430000032
表示网络生成的图像；I为真实图像，i，j和k分别表示图像长、宽、色彩通道中对应的像素，ε为常量，置为0.01，h、w和c分别表示图像的长度、宽度和色彩通道。
6.根据权利要求1所述基于卷积神经网络的图像超分辨率重建方法，其特征在于：超分辨率重建模型为：
FSR＝F(FLR,θ)
其中，F()表示超分辨率网络模型，θ表示超分辨率模型中的参数。
CN202110599880.9A 2021-05-31 2021-05-31 基于卷积神经网络的图像超分辨率重建方法 Active CN113298716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110599880.9A CN113298716B (zh) 2021-05-31 2021-05-31 基于卷积神经网络的图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110599880.9A CN113298716B (zh) 2021-05-31 2021-05-31 基于卷积神经网络的图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN113298716A true CN113298716A (zh) 2021-08-24
CN113298716B CN113298716B (zh) 2023-09-12

Family

ID=77326365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110599880.9A Active CN113298716B (zh) 2021-05-31 2021-05-31 基于卷积神经网络的图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN113298716B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706388B (zh) * 2021-09-24 2023-06-27 上海壁仞智能科技有限公司 图像超分辨率重建方法及装置
TWI813416B (zh) * 2022-07-13 2023-08-21 瑞昱半導體股份有限公司 超級解析度模型的訓練方法、超級解析度方法與系統
CN116664409A (zh) * 2023-08-01 2023-08-29 北京智芯微电子科技有限公司 图像超分辨率重建方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111476719A (zh) * 2020-05-06 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734659A (zh) * 2018-05-17 2018-11-02 华中科技大学 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN109272452A (zh) * 2018-08-30 2019-01-25 北京大学 小波域中基于集团结构子带共同学习超分辨率网络的方法
CN111192200A (zh) * 2020-01-02 2020-05-22 南京邮电大学 基于融合注意力机制残差网络的图像超分辨率重建方法
CN111476719A (zh) * 2020-05-06 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN112837224A (zh) * 2021-03-30 2021-05-25 哈尔滨理工大学 一种基于卷积神经网络的超分辨率图像重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINGHUIQIN等: "Multi-scale feature fusion residual network for Single Image Super-Resolution", 《NEUROCOMPUTING》 *
陈星宇等: "基于多尺度与多重残差网络的图像超分辨率重建", 《激光与光电子学进展》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706388B (zh) * 2021-09-24 2023-06-27 上海壁仞智能科技有限公司 图像超分辨率重建方法及装置
TWI813416B (zh) * 2022-07-13 2023-08-21 瑞昱半導體股份有限公司 超級解析度模型的訓練方法、超級解析度方法與系統
CN116664409A (zh) * 2023-08-01 2023-08-29 北京智芯微电子科技有限公司 图像超分辨率重建方法、装置、计算机设备及存储介质
CN116664409B (zh) * 2023-08-01 2023-10-31 北京智芯微电子科技有限公司 图像超分辨率重建方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN113298716B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
WO2022242029A1 (zh) 视觉分辨率增强的生成方法、系统、装置及存储介质
CN113298716B (zh) 基于卷积神经网络的图像超分辨率重建方法
WO2020056791A1 (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN109544448B (zh) 一种拉普拉斯金字塔结构的团网络超分辨率图像重建方法
CN110322400B (zh) 图像处理方法及装置、图像处理系统及其训练方法
CN111179167B (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
WO2019042139A1 (zh) 图像处理方法、图像处理装置、神经网络的训练方法
CN108074215B (zh) 图像升频系统及其训练方法、以及图像升频方法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
CN112446383B (zh) 车牌识别方法及装置、存储介质、终端
CN112102177B (zh) 基于压缩与激励机制神经网络的图像去模糊方法
CN113096017B (zh) 基于深度坐标注意力网络模型的图像超分辨率重建方法
CN109949224B (zh) 一种基于深度学习的联级超分辨率重建的方法及装置
JP2019008383A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
US11216913B2 (en) Convolutional neural network processor, image processing method and electronic device
CN111815516B (zh) 一种弱监督红外遥感图像超分辨率重建方法
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN111340696A (zh) 融合仿生视觉机制的卷积神经网络图像超分辨率重建方法
CN112085655B (zh) 一种基于密集残差注意面部先验网络的人脸超分辨率方法
CN112419152A (zh) 一种图像超分辨率方法、装置、终端设备和存储介质
CN109064394B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN113628115A (zh) 图像重建的处理方法、装置、电子设备和存储介质
WO2019092900A1 (ja) 情報処理装置及び情報処理方法
CN116029943A (zh) 基于深度学习的红外图像超分辨率增强方法
CN114187174A (zh) 基于多尺度残差特征融合的图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant