CN112419153A - 图像超分辨率重建方法、装置、计算机设备和存储介质 - Google Patents
图像超分辨率重建方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112419153A CN112419153A CN202011320023.2A CN202011320023A CN112419153A CN 112419153 A CN112419153 A CN 112419153A CN 202011320023 A CN202011320023 A CN 202011320023A CN 112419153 A CN112419153 A CN 112419153A
- Authority
- CN
- China
- Prior art keywords
- image
- neural network
- resolution
- network model
- deep neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003062 neural network model Methods 0.000 claims abstract description 73
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 51
- 238000012549 training Methods 0.000 claims description 49
- 238000012545 processing Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像超分辨率重建方法、装置、计算机设备和存储介质。所述方法包括：获取待重建的初始图像，将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；该方法能够通过包含自注意力层的目标深度神经网络模型对初始图像进行图像超分辨率重建，通过自注意力层提取出注意力特征图，使得在图像超分辨率重建过程中引入图像的细节特征，增强重建图像中局部区域的层次感，提升了重建图像的质量。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像超分辨率重建方法、装置、计算机设备和存储介质。
背景技术
近年来，视频监控给人们的生活带来了极大的便利，但是从视频监控中所获得的图像普遍分辨率较低，视觉效果较差，在图像的后续分类识别中，模糊、低分辨率的图像由于缺乏纹理细节，往往使得识别准确率比较低。因此，为了提高识别准确率，重建图像分辨率是图像处理的关键步骤之一。
传统技术中，采用基于插值的超分辨率图像重建算法重建图像分辨率，以获取到高分辨率图像。然而，传统方法重建得到的图像仍然存在质量较低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高重建图像质量的图像超分辨率重建方法、装置、计算机设备和存储介质。
一种图像超分辨率重建方法，所述方法包括：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
在其中一个实施例中，所述方法包括：通过图像训练集训练得到目标深度神经网络模型；所述图像训练集包括低分辨率图像和带标签的高分辨率图像。
在其中一个实施例中，所述通过图像训练集训练得到目标深度神经网络模型，包括：
将所述图像训练集输入初始深度神经网络模型进行前向传播处理，得到预测高分辨率图像；
将所述预测高分辨率图像以及所述图像训练集中带标签的高分辨率图像输入损失函数，得到损失函数值；
根据所述损失函数值，对所述初始深度神经网络模型进行反向传播处理获取深度神经网络参数；
不断迭代以上步骤，以更新所述深度神经网络参数，直到满足预设的迭代停止条件为止，得到所述目标深度神经网络模型。
在其中一个实施例中，所述损失函数包括：不同损失对应的权重系数、图像的像素级损失函数与图像的感知损失之间的关系式。
在其中一个实施例中，所述图像的像素级损失函数包括：所述预测高分辨率图像与所述图像训练集中带标签的高分辨率图像对应的像素值的均方误差之间的关系式。
在其中一个实施例中，所述图像的感知损失包括：衡量所述预测高分辨率图像的特征与所述带标签的高分辨率图像的特征相似度的关系式。
在其中一个实施例中，所述预设的迭代停止条件包括：
迭代次数达到预设次数阈值；
当次迭代过程中的损失函数值与上一次迭代过程中的损失函数值的差值小于等于预设差值阈值。
在其中一个实施例中，所述目标深度神经网络模型还包括池化层；所述自注意力层的处理过程包括：
对卷积层获取到的特征图、卷积核与非线性映射函数进行卷积运算，获取注意力特征图；
对所述注意力特征图进行算术运算，获取所述初始图像的细节特征。
一种图像超分辨率重建装置，所述装置包括：
初始图像获取模块，用于获取待重建的初始图像；
图像重建模块，用于将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
上述图像超分辨率重建方法、装置、计算机设备和存储介质，获取待重建的初始图像，将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；该方法能够通过包含自注意力层的目标深度神经网络模型对初始图像进行图像超分辨率重建，通过自注意力层提取出注意力特征图，使得在图像超分辨率重建过程中引入图像的细节特征，增强重建图像中局部区域的层次感，提升了重建图像的质量。
附图说明
图1为一个实施例中图像超分辨率重建方法的流程示意图；
图2为一个实施例中训练目标深度神经网络模型的方法流程示意图；
图3为一个实施例中目标深度神经网络模型的整体框架图；
图4为另一个实施例中自注意力层的处理过程示意图；
图5为一个实施例中图像超分辨率重建装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像超分辨率重建方法，可以适用于计算机设备中。可选的，上述计算机设备可以为智能手机、平板电脑、笔记本电脑、台式电脑或个人数字助理等具有图像处理功能的电子设备，本实施例对计算机设备的具体形式不做限定，下述方法实施例的执行主体以计算机设备为例来进行说明。
在一个实施例中，如图1所示，提供了一种图像超分辨率重建方法，以该方法应用于计算机设备为例进行说明，包括以下步骤：
S1000、获取待重建的初始图像。
具体的，待重建的初始图像可以为通过图像采集设备采集到的原始图像，还可以为从现有的视频中截取到的图像，当然还可以为通过网络下载的图像，对初始图像的获取方式本实施例不做任何限定。
S2000、将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
具体的，计算机设备可以将获取到的待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像。可选的，目标深度神经网络模型可以为包括自注意力层的卷积神经网络模型、包括自注意力层的循环神经网络模型、包括自注意力层的对抗神经网络模型等。可选的，计算机设备可以对初始深度神经网络模型进行训练得到目标深度神经网络模型，通过迭代训练可以更新初始深度神经网络模型中的初始网络参数，以使初始网络参数调整到最优参数，此时，得到目标深度神经网络模型。可选的，目标深度神经网络模型中加入的自注意力层可以对初始图像进行特征图提取，提取出的特征图加入了注意力特征图，即全局特征或细节特征。可选的，目标图像可以为图像超分辨率重建处理后的高分辨率图像。
上述图像超分辨率重建方法中，获取待重建的初始图像，将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；该方法能够通过包含自注意力层的目标深度神经网络模型对初始图像进行图像超分辨率重建，通过自注意力层提取出注意力特征图，使得在图像超分辨率重建过程中引入图像的细节特征，增强重建图像中局部区域的层次感，提升重建图像的质量，提高了目标图像的视觉效果。
作为其中一个实施例，所述方法还包括：通过图像训练集训练得到目标深度神经网络模型。所述图像训练集包括低分辨率图像和带标签的高分辨率图像。
具体的，图像训练集中可以包括采集到的低分辨率图像和高分辨率图像，该高分辨率图像带标签。可选的，计算机设备可以将图像训练集输入至初始深度神经网络模型进行训练，得到目标深度神经网络模型。
其中，如图2所示，所述通过图像训练集训练得到目标深度神经网络模型的步骤，具体可以通过以下步骤实现：
S0001、将所述图像训练集输入初始深度神经网络模型进行前向传播处理，得到预测高分辨率图像。
具体的，计算机设备可以将图像训练集中的低分辨率图像输入初始深度神经网络模型进行前向传播处理，得到预测高分辨率图像。在本实施例中，对初始深度神经网络模型训练前，需要先初始化深度神经网络参数。
S0002、将所述预测高分辨率图像以及所述图像训练集中带标签的高分辨率图像输入损失函数，得到损失函数值。
需要说明的是，计算机设备可以将预测高分辨率图像和图像训练集中带标签的高分辨率图像输入损失函数，得到损失函数值。可选的，损失函数可以为均方误差、交叉熵等。
其中，所述损失函数包括：不同损失对应的权重系数、图像的像素级损失函数与图像的感知损失之间的关系式。
在本实施例中，损失函数L可以表示为L＝α*Lmse+β*Lp，其中，α表示图像的像素级损失函数对应的权重系数，β表示图像的感知损失对应的权重系数，Lmse表示图像的像素级损失函数，Lp表示图像的感知损失。
其中，所述图像的像素级损失函数包括：所述预测高分辨率图像与所述图像训练集中带标签的高分辨率图像对应的像素值的均方误差之间的关系式；所述图像的感知损失包括：衡量所述预测高分辨率图像的特征与所述带标签的高分辨率图像的特征相似度的关系式。
可以理解的是，图像的像素级损失函数Lmse可以等于预测高分辨率图像与所述图像训练集中带标签的高分辨率图像上每个位置对应的像素值的均方误差的平方求和，还可以为其它表达式。在本实施例中，图像的像素级损失函数Lmse可以表达为：
其中，Y′i,j表示预测高分辨率图像中第(i,j)个位置对应的像素值，Yi,j表示带标签的高分辨率图像中第(i,j)个位置对应的像素值，W表示输出图像的宽度，H表示输出图像的高度。
可以理解的是，图像的感知损失Lp可以等于衡量预测高分辨率图像的特征与带标签的高分辨率图像的特征之间相似度的表达式；该表达式可以通过皮尔逊相关系数和距离相似度等公式表达。在本实施例中，图像的感知损失Lp可以等于均方误差的表达式，该均方误差表达式衡量预测高分辨率图像Y'的特征和带标签的高分辨率图像Y的特征之间的相似度，通过该均方误差尽量保持两个特征相似。可选的，计算机设备可以采用VGG-19网络模型提取预测高分辨率图像Y'的特征和带标签的高分辨率图像Y的特征，将VGG-19网络模型中全连接层之前的最后一个卷积层的输出作为特征。在本实施例中，上述图像的感知损失Lp可以表示为：
其中，φm,n表示VGG-19、VGG16或ResNet等网络模型经过第n层卷积层并在第m层最大池化层之前的网络输出。
S0003、根据所述损失函数值，对所述初始深度神经网络模型进行反向传播处理获取深度神经网络参数。
具体的，计算机设备可以根据获取到的损失函数值，对初始深度神经网络模型进行反向传播处理获取深度神经网络参数。
S0004、不断迭代以上步骤，以更新所述深度神经网络参数，直到满足预设的迭代停止条件为止，得到所述目标深度神经网络模型。
具体的，计算机设备可以不断循环执行上述S0001至S0003中的步骤，迭代训练初始深度神经网络模型，以更新深度神经网络参数，直到满足预设的迭代停止条件为止，得到目标深度神经网络模型。此时，目标深度神经网络模型具有的深度神经网络参数为最优参数。可选的，迭代一次得到的深度神经网络参数可以不同，因此，获取到的损失函数值也可以不同。可选的，深度神经网络参数可以为网络权值和网络偏差。
在本实施例中，迭代训练方法可以为梯度下降算法、Adam优化算法、深度学习优化算法等等。可选的，迭代训练过程中的学习率可以根据实际情况设置，在本实施例中可以设置为0.002。
其中，所述预设的迭代停止条件包括：迭代次数达到预设次数阈值；以及当次迭代过程中的损失函数值与上一次迭代过程中的损失函数值的差值小于等于预设差值阈值。
还可以理解的是，在迭代训练过程中，当迭代次数大于等于预设次数阈值，且当次迭代过程中获取到的损失函数值与上一次迭代过程中获取到的损失函数值的差值小于等于预设差值阈值时，表明深度神经网络参数达到了最优参数状态，可以结束迭代训练。可选的，预设次数阈值和预设差值阈值可以根据实际情况设置；但在本实施例中，预设次数阈值可以等于300。
上述图像超分辨率重建方法中，通过训练得到的目标深度神经网络模型进行图像超分辨率重建，使得在图像超分辨率重建过程中引入图像的细节特征，增强重建图像中局部区域的层次感，提升重建图像的质量，提高了目标图像的视觉效果。
作为其中一个实施例，所述自注意力层的处理过程包括：对卷积层获取到的特征图、卷积核与非线性映射函数进行卷积运算，获取注意力特征图；并对所述注意力特征图进行算术运算，获取所述初始图像的细节特征。
具体的，目标深度神经网络模型可以包括卷积层、池化层和自注意力层；自注意力层在模型中的位置可以根据实际需求设计，自注意力层可以建立当前关注的图像局部位置与图像中全部位置间的依赖关系，对特征图具有改善作用，因此，一般位于获取特征图的卷积层后；目标深度神经网络模型的整体框架可以如图3所示。可选的，目标深度神经网络模型中卷积层1可以采用较大的卷积核来对输入的初始图像进行特征块提取，中间的卷积层2、3、4、5、6、7均可以采用较小的卷积核来进行非线性映射，网络最后的卷积层8可以采用中等大小的卷积核进行超分辨率图像的重建。在本实施例中，输入目标深度神经网络模型的初始图像可以为3通道的RGB图像，最底层卷积层1可以采用128个大小为9*9的卷积核，不进行填充，卷积层2、3、4、5、6、7均可以采用64个大小为3*3的卷积核，且填充为1，卷积层8可以采用3个大小为5*5的卷积核，不进行填充，最终输出高分辨率图像。可选的，卷积核和卷积核的最佳数量均是通过大量实验确定的。
需要说明的是，上述算术运算可以为加法、减法、乘法和除法中的一种或多种组合运算；但在本实施例中上述算术运算可以乘法运算。其中，对于自注意力层的处理过程：将卷积层获取到的特征图x输入至自注意力层，自注意力层分别通过三个1*1的卷积核和三个不同的非线性映射函数f(x)、g(x)和h(x)后，得到三个特征图F(x)、G(x)和H(x)，然后将F(x)与转置后的G(x)(即G'(x))进行矩阵相乘，得到初始图像中每两个像素点间的权重依赖关系(即注意力特征图)，之后将H(x)与注意力特征图进行矩阵相乘，得到自注意力层的输出特征图O(x)。自注意力层的处理过程可以通过图4表示。可选的，非线性映射函数f(x)＝Wfx+bf、g(x)＝Wgx+bg、h(x)＝Whx+bh，其中，参数Wf、Wg、Wh、bf、bg、bh均通过学习获取；获取到的三个特征图为F(x)＝WfX+bf、G(x)＝WgX+bg、H(x)＝WhX+bh。
上述图像超分辨率重建方法中，目标深度神经网络模型通过自注意力层提取出注意力特征图，从而使得在图像超分辨率重建过程中引入图像的细节特征，增强重建图像中局部区域的层次感，提升重建图像的质量，提高了目标图像的视觉效果。
应该理解的是，虽然图1-2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-2中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
图5为一实施例提供的图像超分辨率重建装置的结构示意图。如图5所示，该装置可以包括：初始图像获取模块11和图像重建模块12。
具体的，所述初始图像获取模块11，用于获取待重建的初始图像；
所述图像重建模块12，用于将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
本实施例提供的图像超分辨率重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，所述图像超分辨率重建装置还包括：模型训练模块。
其中，所述模型训练模块，用于通过图像训练集训练得到目标深度神经网络模型；所述图像训练集包括低分辨率图像和带标签的高分辨率图像。
本实施例提供的图像超分辨率重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，所述模型训练模块包括：前向传播处理单元、计算单元、反向传播处理单元以及迭代训练单元。
具体的，所述前向传播处理单元，用于将所述图像训练集输入初始深度神经网络模型进行前向传播处理，得到预测高分辨率图像；
所述计算单元，用于将所述预测高分辨率图像以及所述图像训练集中带标签的高分辨率图像输入损失函数，得到损失函数值；
所述反向传播处理单元，用于根据所述损失函数值，对所述初始深度神经网络模型进行反向传播处理获取深度神经网络参数；
所述迭代训练单元，用于不断迭代以上步骤，以更新所述深度神经网络参数，直到满足预设的迭代停止条件为止，得到所述目标深度神经网络模型。
其中，所述损失函数包括：不同损失对应的权重系数、图像的像素级损失函数与图像的感知损失之间的关系式；所述图像的像素级损失函数包括：所述预测高分辨率图像与所述图像训练集中带标签的高分辨率图像对应的像素值的均方误差之间的关系式；所述图像的感知损失包括：衡量所述预测高分辨率图像的特征与所述带标签的高分辨率图像的特征相似度的关系式；所述预设的迭代停止条件包括：迭代次数达到预设次数阈值；以及当次迭代过程中的损失函数值与上一次迭代过程中的损失函数值的差值小于等于预设差值阈值。
本实施例提供的图像超分辨率重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
在其中一个实施例中，所述目标深度神经网络模型还包括池化层；所述自注意力层的处理过程包括：对卷积层获取到的特征图、卷积核与非线性映射函数进行卷积运算，获取注意力特征图，并对所述注意力特征图进行算术运算，获取所述初始图像的细节特征。
本实施例提供的图像超分辨率重建装置，可以执行上述方法实施例，其实现原理和技术效果类似，在此不再赘述。
关于图像超分辨率重建装置的具体限定可以参见上文中对于图像超分辨率重建方法的限定，在此不再赘述。上述图像超分辨率重建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是计算机设备，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待重建的初始图像以及重建后的目标图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像超分辨率重建方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
在一个实施例中，提供了一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像超分辨率重建方法，其特征在于，所述方法包括：
获取待重建的初始图像；
将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过图像训练集训练得到目标深度神经网络模型；所述图像训练集包括低分辨率图像和带标签的高分辨率图像。
3.根据权利要求2所述的方法，其特征在于，所述通过图像训练集训练得到目标深度神经网络模型，包括：
将所述图像训练集输入初始深度神经网络模型进行前向传播处理，得到预测高分辨率图像；
将所述预测高分辨率图像以及所述图像训练集中带标签的高分辨率图像输入损失函数，得到损失函数值；
根据所述损失函数值，对所述初始深度神经网络模型进行反向传播处理获取深度神经网络参数；
不断迭代以上步骤，以更新所述深度神经网络参数，直到满足预设的迭代停止条件为止，得到所述目标深度神经网络模型；
以及优选地，所述损失函数包括：不同损失对应的权重系数、图像的像素级损失函数与图像的感知损失之间的关系式。
4.根据权利要求3所述的方法，其特征在于，所述图像的像素级损失函数包括：所述预测高分辨率图像与所述图像训练集中带标签的高分辨率图像对应的像素值的均方误差之间的关系式。
5.根据权利要求3所述的方法，其特征在于，所述图像的感知损失包括：衡量所述预测高分辨率图像的特征与所述带标签的高分辨率图像的特征相似度的关系式。
6.根据权利要求3所述的方法，其特征在于，所述预设的迭代停止条件包括：
迭代次数达到预设次数阈值；以及
当次迭代过程中的损失函数值与上一次迭代过程中的损失函数值的差值小于等于预设差值阈值。
7.根据权利要求1所述的方法，其特征在于，所述目标深度神经网络模型还包括池化层；所述自注意力层的处理过程包括：
对卷积层获取到的特征图、卷积核与非线性映射函数进行卷积运算，获取注意力特征图；
对所述注意力特征图进行算术运算，获取所述初始图像的细节特征。
8.一种图像超分辨率重建装置，其特征在于，所述装置包括：
初始图像获取模块，用于获取待重建的初始图像；
图像重建模块，用于将待重建的初始图像输入至目标深度神经网络模型进行图像超分辨率重建，得到重建后的目标图像；其中，所述目标深度神经网络模型包括自注意力层，所述自注意力层用于获取所述初始图像的细节特征。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011320023.2A CN112419153A (zh) | 2020-11-23 | 2020-11-23 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011320023.2A CN112419153A (zh) | 2020-11-23 | 2020-11-23 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112419153A true CN112419153A (zh) | 2021-02-26 |
Family
ID=74777712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011320023.2A Pending CN112419153A (zh) | 2020-11-23 | 2020-11-23 | 图像超分辨率重建方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112419153A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949761A (zh) * | 2021-03-31 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像神经网络模型的训练方法、装置和计算机设备 |
| CN113111891A (zh) * | 2021-04-19 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 一种图像重建方法、装置、终端设备和存储介质 |
| CN113240585A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技（深圳）有限公司 | 基于生成对抗网络的图像处理方法、装置及存储介质 |
| CN113592940A (zh) * | 2021-07-28 | 2021-11-02 | 北京地平线信息技术有限公司 | 基于图像确定目标物位置的方法及装置 |
| CN113706583A (zh) * | 2021-09-01 | 2021-11-26 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| CN114092339A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 |
| CN116228544A (zh) * | 2023-03-15 | 2023-06-06 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136057A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像超分辨率重建方法、装置及电子设备 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
-
2020
- 2020-11-23 CN CN202011320023.2A patent/CN112419153A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110136057A (zh) * | 2018-02-08 | 2019-08-16 | 杭州海康威视数字技术股份有限公司 | 一种图像超分辨率重建方法、装置及电子设备 |
| CN111192200A (zh) * | 2020-01-02 | 2020-05-22 | 南京邮电大学 | 基于融合注意力机制残差网络的图像超分辨率重建方法 |
| CN111476717A (zh) * | 2020-04-07 | 2020-07-31 | 西安电子科技大学 | 基于自注意力生成对抗网络的人脸图像超分辨重建方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949761A (zh) * | 2021-03-31 | 2021-06-11 | 东莞中国科学院云计算产业技术创新与育成中心 | 三维图像神经网络模型的训练方法、装置和计算机设备 |
| CN113111891A (zh) * | 2021-04-19 | 2021-07-13 | 中国科学院深圳先进技术研究院 | 一种图像重建方法、装置、终端设备和存储介质 |
| CN113111891B (zh) * | 2021-04-19 | 2022-05-27 | 中国科学院深圳先进技术研究院 | 一种图像重建方法、装置、终端设备和存储介质 |
| CN113240585A (zh) * | 2021-06-01 | 2021-08-10 | 平安科技（深圳）有限公司 | 基于生成对抗网络的图像处理方法、装置及存储介质 |
| CN113240585B (zh) * | 2021-06-01 | 2024-05-24 | 平安科技（深圳）有限公司 | 基于生成对抗网络的图像处理方法、装置及存储介质 |
| CN113592940A (zh) * | 2021-07-28 | 2021-11-02 | 北京地平线信息技术有限公司 | 基于图像确定目标物位置的方法及装置 |
| CN113706583B (zh) * | 2021-09-01 | 2024-03-22 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113706583A (zh) * | 2021-09-01 | 2021-11-26 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
| CN113706388A (zh) * | 2021-09-24 | 2021-11-26 | 上海壁仞智能科技有限公司 | 图像超分辨率重建方法及装置 |
| CN114092339A (zh) * | 2022-01-24 | 2022-02-25 | 南京理工大学 | 基于跨帧自注意力变换网络的时空视频超分辨率重建方法 |
| WO2023206343A1 (zh) * | 2022-04-29 | 2023-11-02 | 中国科学院深圳先进技术研究院 | 一种基于图像预训练策略的图像超分辨率方法 |
| CN116228544B (zh) * | 2023-03-15 | 2024-04-26 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
| CN116228544A (zh) * | 2023-03-15 | 2023-06-06 | 阿里巴巴（中国）有限公司 | 图像处理方法、装置及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112419153A (zh) | 图像超分辨率重建方法、装置、计算机设备和存储介质 | |
| US11200638B2 (en) | Image style transform methods and apparatuses, devices and storage media | |
| CN112287978B (zh) | 一种基于自注意力上下文网络的高光谱遥感图像分类方法 | |
| CN112052886B (zh) | 基于卷积神经网络的人体动作姿态智能估计方法及装置 | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Ren et al. | Single image super-resolution using local geometric duality and non-local similarity | |
| Chen et al. | Convolutional neural network based dem super resolution | |
| CN113486708B (zh) | 人体姿态预估方法、模型训练方法、电子设备和存储介质 | |
| WO2019218136A1 (zh) | 图像分割方法、计算机设备和存储介质 | |
| CN111028153A (zh) | 图像处理和神经网络训练方法、装置及计算机设备 | |
| CN111797834B (zh) | 文本识别方法、装置、计算机设备和存储介质 | |
| Ren et al. | Enhanced non-local total variation model and multi-directional feature prediction prior for single image super resolution | |
| CN111062324A (zh) | 人脸检测方法、装置、计算机设备和存储介质 | |
| CN111127317A (zh) | 图像超分辨率重建方法、装置、存储介质和计算机设备 | |
| CN110809126A (zh) | 一种基于自适应可变形卷积的视频帧插值方法及系统 | |
| CN112581378B (zh) | 基于显著性强度和梯度先验的图像盲去模糊方法和装置 | |
| Suryanarayana et al. | Deep Learned Singular Residual Network for Super Resolution Reconstruction. | |
| CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
| CN113838104B (zh) | 基于多光谱与多模态图像一致性增强网络的配准方法 | |
| CN113313238B (zh) | 一种基于深度学习的视觉slam方法 | |
| CN112801908B (zh) | 图像去噪方法、装置、计算机设备和存储介质 | |
| CN114170087A (zh) | 一种基于跨尺度低秩约束的图像盲超分辨率方法 | |
| CN117893455B (zh) | 图像亮度和对比度调整方法 | |
| CN114299001B (zh) | 基于结构循环一致性的异源图像变化检测方法及装置 | |
| CN115526775B (zh) | 图像数据处理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |