CN111127317A - 图像超分辨率重建方法、装置、存储介质和计算机设备 - Google Patents
图像超分辨率重建方法、装置、存储介质和计算机设备 Download PDFInfo
- Publication number
- CN111127317A CN111127317A CN201911213918.3A CN201911213918A CN111127317A CN 111127317 A CN111127317 A CN 111127317A CN 201911213918 A CN201911213918 A CN 201911213918A CN 111127317 A CN111127317 A CN 111127317A
- Authority
- CN
- China
- Prior art keywords
- resolution image
- low
- resolution
- image
- machine learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000010801 machine learning Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000005070 sampling Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 30
- 238000012549 training Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 14
- 238000004364 calculation method Methods 0.000 description 20
- 238000011176 pooling Methods 0.000 description 18
- 230000004913 activation Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000000644 propagated effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像超分辨率重建方法、装置、存储介质和计算机设备，包括：对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像，可以避免因人脸图像的分辨率低而导致识别效果差的问题。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备。
背景技术
随着图像处理技术的发展，人脸图像的应用场景越来越多，例如医学图像分析、计算机视觉、遥感等。人们对人脸图像的分辨率需求越来越高，对采集的人脸图像的细节处理和高频信息处理得要求越来越严格。
传统方法中，在人脸图像采集和处理领域过程中，因为便携式设备、拍摄技术或光线环境等原因，采集的人脸图像细节分辨率有时较低，导致采集的人脸图像识别效果较差。
发明内容
基于此，有必要针对因人脸图像的分辨率低而导致识别效果较差的技术问题，提供一种图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备。
一种图像超分辨率重建方法，包括：
获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；
将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；
通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
根据所述高分辨率图像特征构建高分辨率参考图像；
利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；
将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；
获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。
一种图像超分辨率重建装置，所述装置包括：
获取模块，用于获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；
第一卷积模块，用于将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；
第二卷积模块，用于通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
构建模块，用于根据所述高分辨率图像特征构建高分辨率参考图像；
损失值模块，用于利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；
反向传播模块，用于将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；
重建模块，用于获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。
一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行图像超分辨率重建方法的步骤。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行图像超分辨率重建方法的步骤。
上述图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备，通过对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征，实现了更好的图像效果和更优的数据指标；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。
附图说明
图1为一个实施例中图像超分辨率重建方法的应用环境图；
图2为一个实施例中图像超分辨率重建方法的流程示意图；
图3为一个实施例中图像超分辨率重建方法的流程示意图；
图4为一个实施例中图像超分辨率重建方法的流程示意图；
图5为一个实施例中图像超分辨率重建方法的流程示意图；
图6为一个实施例中图像超分辨率重建方法的流程示意图；
图7为一个实施例中图像超分辨率重建方法的流程示意图；
图8(a)为一个实施例中图像超分辨率重建方法的界面示意图；
图8(b)为另一个实施例中图像超分辨率重建方法的界面示意图；
图8(c)为另一个实施例中图像超分辨率重建方法的界面示意图；
图9为一个实施例中图像超分辨率重建装置的结构框图；
图10为另一个实施例中图像超分辨率重建装置的结构框图；
图11为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中图像超分辨率重建方法的应用环境图。参照图1，该图像超分辨率重建方法应用于图像超分辨率重建系统。该图像超分辨率重建系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。服务器120获取存储于终端的高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本；将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。服务器120将高分辨率图像发送给终端110。
如图2所示，在一个实施例中，提供了一种图像超分辨率重建方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图2，该图像超分辨率重建方法具体包括如下步骤：
S202，获取高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本。
在一个实施例中，服务器获取用于输入机器学习模型的训练图像集如CelebA数据集，获取训练图像集中多张图像作为高分辨率图像样本，例如将Celeb数据集中的任意200张人脸图像作为高分辨率图像样本。通过对尺寸为M×N的高分辨率图像样本进行降采样处理，得到尺寸为(M÷S)×(N÷S)的低分辨率图像样本，其中，S为M、N的公约数，且S为大于1的整数或有理数。
其中，机器学习模型可以是卷积神经网络模型、循环神经网络模型、递归神经网络模型，本发明实施例以卷积神经网络模型为例进行阐述。
S204，将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征。
在一个实施例中，机器学习模型的每一个卷积模块都包括卷积层和非线性层，卷积模块参数包括卷积核的大小、卷积核的个数、卷积步长以及边界填充的大小。卷积核的大小由卷积核的个数、卷积核的高、卷积核的宽以及输入的图像的深度组成，例如，卷积核的个数为64，卷积核的高为3、卷积核的宽为3，输入的图像的深度为128，则卷积核的大小为(64，3，3，128)。卷积层中包括权重W和偏差系数B，W可以等效为c×f1×f1×n1大小的特征提取层滤波器权重，其中，c表示通道数(本说明书中的实施例中，c＝1)，f1×f1是每个卷积核的尺寸大小(即卷积核的高×卷积核的宽)，n1表示滤波器的个数，B表示放卷积层的偏置系数，初始值都为0。
在一个实施例中，第一卷积模块包括卷积层和非线性层，卷积核个数为128个。机器学习模型中的第一卷积模块将低分辨率图像样本的尺寸作为第一输入维度LR，第一输入纬度LR包括输入机器学习模型中的低分辨率图像样本批数量、低分辨率图像样本的高、低分辨率图像样本的宽、低分辨率图像样本的深度。第一卷积模块中的卷积层通过n1个尺寸为a×a的卷积核对低分辨率图像样本进行卷积处理，得到第一输出维度CONV1_output为低分辨率图像样本批数量、卷积核的高与低分辨率图像样本的高的差值、卷积核的宽与低分辨率图像样本的宽的差值、与卷积核的个数。
例如，第一卷积模块中的卷积层中，卷积核个数为128个、尺寸为3×3，权重W1和偏差系数B1，第一输入纬度LR为(128，66，66，3)，卷积核的大小为(128，9，9，3)，卷积步长为1，不进行边界填充时，根据第一输出维度的计算公式CONV1_output＝W1×LR+B1计算出第一输出维度为(128，58，58，3)。
在一个实施例中，卷积层中的每个卷积核对低分辨率图像样本进行卷积处理，得到一层输出，n1个卷积核对低分辨率图像样本分别进行卷积处理，得到n1层输出，将n1层输出进行堆叠组合，得到该层卷积层的输出。例如，第一卷积模块中的卷积层中，卷积核个数为128个，128个卷积核就可以得到128层输出，将这128层输出进行堆叠组合，得到输出结果为第一输出维度CONV1_output。
在一个实施例中，输出维度与卷积步长以及边界填充的大小有关，其中，卷积步长是滤波器每次移动的步幅，边界填充的作用是当卷积核的大小与图像尺寸不匹配时，使用边界填充来填充图像缺失区域。
在一个实施例中，第一卷积模块中的非线性层利用激活函数对第一输出维度CONV1_output进行非线性映射，得到的输出结果Relu1_output为Relu(CONV1_output)，将输出结果Relu1_output作为低分辨率图像特征。例如，激活函数可以是
通过单侧抑制的激活函数使第一输出维度中的负值为0，正值不变，使得卷积神经网络中的神经元也具有了稀疏激活性、减轻了梯度消失问题。其中，第一卷积模块中的非线性层利用激活函数对第一输出维度CONV1_output进行非线性映射，得到的输出结果Relu1_output与第一输出维度CONV1_output的维度一致。
S206，通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征。
在一个实施例中，机器学习模型中的第二卷积模块包括多层卷积层和多层非线性层，且卷积层和非线性层依次交替。第二卷积模块中的卷积层通过n2个卷积核尺寸为b×b的卷积核对第一卷积模块的输出结果低分辨率图像特征Relu1_output进行卷积处理，得到第二输出维度CONV2_output，将第二输出维度作为中间图像特征。
例如，第二卷积模块中的卷积层中，权重W2和偏差系数B2，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为(64，3，3，128)，卷积核的大小为(64，3，3，128)，卷积步长为1，不进行边界填充时，根据第二输出维度的计算公式CONV2_output＝W2×Relu1_output+B2计算出第二输出维度为(128，58，58，64)。
在一个实施例中，第二卷积模块中的非线性层利用激活函数对第二输出维度CONV2_output进行非线性映射，得到的输出结果Relu2_output为Relu(CONV2_output)，其中，输出结果Relu2_output与第二输出维度CONV2_output的维度一致。
将输出结果Relu2_output带入第二卷积模块中的下一卷积层进行卷积处理和下一非线性层中进行映射，经过多层卷积处理和多层非线性层的映射，得到最终输出结果，将第二卷积模块的最终输出结果作为高分辨率图像特征。
S208，根据高分辨率图像特征构建高分辨率参考图像。
在一个实施例中，将高分辨率图像特征输入机器学习模型中用于高分辨率图像特征构建的第三卷积模块，通过n3个尺寸为c×c的卷积核对高分辨率图像特征进行卷积处理，得到高分辨率参考图像及其对应的最终输出维度SRoutput。
S210，利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值。
在一个实施例中，获取输入机器学习模型的高分辨率图像样本及其对应的第二输入维度HR，第二输入维度HR包括输入机器学习模型中的高分辨率图像样本批数量、高分辨率图像样本的高、高分辨率图像样本的宽、高分辨率图像样本的深度。
在一个实施例中，利用公式
计算高分辨率参考图像对应的最终输出维度SRoutput和第二输入维度HR的完全平方差，将完全平方差的计算结果与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到第一均方误差，其中，i为最大池化层的层数，j为卷积层的层数。
在一个实施例中，将高分辨率参考图像与所述高分辨率图像样本分别输入第一网络，利用公式
计算高分辨率参考图像在第一网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第一输出结果。利用公式计算高分辨率图像样本在第一网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第二输出结果。将第一输出结果与第二输出结果的完全平方差的计算结果，与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到第二均方误差，其中，i为最大池化层的层数，j为卷积层的层数，φi,j表示第一网络经j为卷积层，且在第i层最大池化层之前的网络输出结果，其中第一网络为VGG19卷积神经网络。
在一个实施例中，将高分辨率参考图像与高分辨率图像样本分别输入第二网络，利用公式
计算高分辨率参考图像在第二网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第三输出结果。利用公式计算高分辨率图像样本在第二网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第四输出结果。将第三输出结果与第四输出结果的完全平方差的计算结果，与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到第三均方误差，其中，i为最大池化层的层数，j为卷积层的层数，
表示第二网络经j为卷积层，且在第i层最大池化层之前的网络输出结果，其中第二网络为受限玻尔兹曼机卷积神经网络(RBM)。
在一个实施例中，根据公式L＝Lmes+0.006×Lfeature+0.006×Lcontent，计算第一均方误差、第二均方误差与第三均方误差之间的和值，将计算结果作为高分辨率参考图像和高分辨率图像样本间的损失值。
S212，将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练。
在一个实施例中，将高分辨率参考图像和高分辨率图像样本间的损失值输入机器学习模型中进行反向传播，在反卷积层中执行反卷积计算，根据计算结果迭代地更新卷积模块参数(权重W和偏差系数B)、调整反卷积层的卷积步长，通过计算梯度的一阶矩估计和二阶矩估计，为不同的卷积模块参数设计独立的自适应性学习率。例如，采用Adam优化方法，将学习率设置为0.003。将损失值达到预设值时的机器学习模型作为训练后所得的机器学习模型。
S214，获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。
在一个实施例中，将获取的任一低分辨率图像通过双三次插值放大至目标尺寸并输入训练后所得的目标机器学习模型，第一卷积模块获取将低分辨率图像的目标尺寸作为第一输入维度LR，第一卷积模块中的卷积层对低分辨率图像进行n1个卷积核尺寸为a×a的卷积处理，得到输出结果为第一输出维度CONV1_output。
第二卷积模块中的卷积层对第一卷积模块的输出结果低分辨率图像特征Relu1_output进行n2个卷积核尺寸为b×b的卷积处理，得到第二输出维度CONV2_output，将第二输出维度作为中间图像特征。第二卷积模块中的非线性层利用激活函数对第二输出维度CONV2_output进行非线性映射，得到的输出结果Relu2_output。将输出结果Relu2_output带入第二卷积模块中的下一卷积层进行卷积和下一非线性层中进行映射，经过多层卷积处理和多层非线性层的映射，得到最终输出结果。将第二卷积模块的最终输出结果作为高分辨率图像特征。
将高分辨率图像特征输入机器学习模型中用于高分辨率图像特征构建的第三卷积模块，通过n3个尺寸为c×c的卷积核对高分辨率图像特征进行卷积处理，得到高分辨率图像。
上述实施例中，通过对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征，实现了更好的图像效果和更优的数据指标；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。
如图3所示，在一个实施例中，S204之前具体包括以下内容：
S302，确定图像块尺寸以及划分图像块时所对应的移动步长；移动步长小于或等于图像块尺寸。
在一个实施例中，当图像样本的图像特征较大或训练样本较少时，将图像样本划分为多个尺寸一致的图像块。根据预设的图像块尺寸和卷积核的大小确定划分图像块时所对应的移动步长。为了保证由图像块组合而成的图像是完整不缺失的，确定小于或等于图像块尺寸的移动步长。
S304，在低分辨率图像样本中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个低分辨率图像块。
在一个实施例中，在低分辨率图像样本中，按照移动步长逐步确定划分起点，使每一个图像块的划分起点都落在相邻的图像块中，依照划分起点对低分辨率图像样本进行逐步划分，得到多个低分辨率图像块，每个相邻低分辨率图像块之间可以有部分重叠。
S306，在高分辨率图像样本中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个高分辨率图像块。
在一个实施例中，在高分辨率图像样本中，按照移动步长逐步确定划分起点，使每一个图像块的划分起点都落在相邻的图像块中，依照划分起点对高分辨率图像样本进行逐步划分，得到多个高分辨率图像块，每个相邻高分辨率图像块之间可以有部分重叠。
S308，将低分辨率图像块和高分辨率图像块输入机器学习模型。
例如，预设的图像块尺寸为(66，66)，移动步长为14，在低分辨率图像样本中，按照移动步长逐步确定划分起点，依照划分起点对低分辨率图像样本进行逐步划分，得到40个低分辨率图像块。在高分辨率图像样本中进行逐步划分，得到40个高分辨率图像块。当图像样本为100张时，将4000个低分辨率图像块和4000个高分辨率图像块输入机器学习模型。
上述实施例中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个低分辨率图像块和多个高分辨率图像块，有利于当图像样本的图像特征较大或训练样本较少时也能进行图像超分辨率重建。
如图4所示，在一个实施例中，S204具体包括以下内容：
S402，利用第一卷积模块中的卷积核对低分辨率图像块进行卷积处理，得到每个低分辨率图像块对应的多个图像特征，卷积核的数量与每个低分辨率图像块对应的图像特征的数量一致。
在一个实施例中，机器学习模型中的第一卷积模块将各低分辨率图像块的尺寸分别作为第一输入维度LR，通过n1个尺寸为a×a的卷积核对各低分辨率图像块分别进行卷积处理，得到各低分辨率图像块对应的第一输出维度CONV1_output。每个图像块的第一输出维度为n1层。例如，通过128个尺寸为9×9的卷积核对4000个低分辨率图像块分别进行卷积处理，每个图像块有128层第一输出维度。
在一个实施例中，第一卷积模块中的非线性层利用激活函数对各第一输出维度CONV1_output进行非线性映射，得到的输出结果分别为Relu1_output＝Relu(CONV1_output)，将各输出结果Relu1_output作为与各低分辨率图像块对应的低分辨率图像特征。
S404，将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。
在一个实施例中，对各低分辨率图像特征按照其对应的低分辨率图像块进行分组，将属于同一低分辨率图像块的低分辨率图像特征进行叠加，得到的图像特征为各低分辨率图像块对应的低分辨率图像特征。例如，每个低分辨率图像块有128层第一输出维度，对每个低分辨率图像块的128层第一输出维度进行叠加，得到每个低分辨率图像块的低分辨率图像特征，低分辨率图像特征为一层。当输入4000个低分辨率图像块时，机器学习模型输出4000个低分辨率图像块对应的低分辨率图像特征。
上述实施例中，通过将低分辨率图像块输入机器学习模型中的第一卷积模块进行训练，得到各低分辨率图像块对应的低分辨率图像特征，将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。有利于提高低分辨率图像块的特征提取处理。
如图5所示，在一个实施例中，S206具体包括以下内容：
S502，通过机器学习模型的第二卷积模块中的卷积层对低分辨率图像特征进行卷积处理，得到中间图像特征。
其中，机器学习模型中的第二卷积模块包括多层卷积层和多层非线性层，且卷积层和非线性层依次交替。
在一个实施例中，第二卷积模块中的卷积层通过n2个卷积核尺寸为b×b的卷积核对各低分辨率图像块对应的低分辨率图像特征Relu1_output分别进行卷积处理，分别得到各低分辨率图像特征对应的第二输出维度CONV2_output，将各第二输出维度作为各低分辨率图像特征对应的中间图像特征，如图7所示。
S504，利用第二卷积模块中的非线性层对中间图像特征进行映射，得到高分辨率图像特征。
在一个实施例中，第二卷积模块中的非线性层利用激活函数对各中间图像特征CONV2_output分别进行非线性映射，得到的输出结果Relu2_output分别为Relu(CONV2_output)，将非线性映射后得到的输出结果分别作为各高分辨率图像块对应的高分辨率图像特征，如图7所示。
上述实施例中，通过机器学习模型的第二卷积模块对各低分辨率图像块对应的低分辨率图像特征进行卷积处理和非线性映射，得到各低分辨率图像块对应的高分辨率图像特征，有利于提高图像识别效果。
作为一个示例，由于传统方法中人脸图像的分辨率低而导致识别效果较差，就上述问题，本发明实施例提出了一种图像超分辨率重建方法，如图6，该方法主要包括以下内容：
S602，构建训练数据。
将CelebA数据集中的任意100张人脸图像作为高分辨率图像样本。通过对尺寸为M×N的高分辨率图像样本进行降采样处理，得到尺寸为(M÷S)×(N÷S)的100张低分辨率图像样本。根据预设的图像块尺寸和卷积核的大小确定划分图像块时所对应的移动步长。按照移动步长逐步确定划分起点，依照划分起点对低分辨率图像样本和高分辨率图像样本进行逐步划分，得到多个低分辨率图像块和多个高分辨率图像块。预设的图像块尺寸为(66，66)，移动步长为14时，每个低分辨率图像样本经过划分后得到40个低分辨率图像块，每个高分辨率图像样本经过划分后得到40个高分辨率图像块。100张人脸图像得到4000个低分辨率图像块和4000个高分辨率图像块，将这4000个低分辨率图像块和4000个高分辨率图像块作为训练数据分组输入机器学习模型进行训练，训练过程如图7所示。
S604，设计机器学习模型第一卷积模块。
机器学习模型中的第一卷积模块将各低分辨率图像块的尺寸分别作为第一输入维度LR，通过128个尺寸为9×9的卷积核对各低分辨率图像块分别进行卷积处理，得到各低分辨率图像块对应的第一输出维度CONV1_output。每个图像块的第一输出维度为n1层。当卷积核个数为128个、尺寸为3×3，权重W1和偏差系数B1，第一输入纬度LR为(128，66，66，3)，卷积核的大小为(128，9，9，3)，卷积步长为1，不进行边界填充时，根据第一输出维度的计算公式CONV1_output＝W1×LR+B1计算出第一输出维度为(128，58，58，3)。
第一卷积模块中的非线性层利用激活函数
对各第一输出维度CONV1_output进行非线性映射，得到的输出结果分别为Relu1_output＝Relu(CONV1_output)，Relu1_output与第一输出维度CONV1_output的维度一致。
将各输出结果Relu1_output作为与各低分辨率图像块对应的低分辨率图像特征。每个低分辨率图像块有128层第一输出维度，对每个低分辨率图像块的128层第一输出维度进行叠加，得到每个低分辨率图像块的低分辨率图像特征，低分辨率图像特征为一层。当输入4000个低分辨率图像块时，机器学习模型输出4000个低分辨率图像块对应的低分辨率图像特征。
S606，设计机器学习模型第二卷积模块。
第二卷积模块中的卷积层通过5层64个卷积核尺寸为3×3的卷积核对各低分辨率图像块对应的低分辨率图像特征Relu1_output分别进行卷积处理，分别得到各低分辨率图像特征对应的第二输出维度CONV2_output，将各第二输出维度作为各低分辨率图像特征对应的中间图像特征。
第二卷积模块中的第二卷积层中，权重W2和偏差系数B2，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为(64，3，3，128)，卷积核的大小为(64，3，3，128)，卷积步长为1，不进行边界填充时，根据第二输出维度的计算公式CONV2_output＝W2×Relu1_output+B2计算出第二输出维度为(128，58，58，64)。
第二卷积模块中的第二非线性层利用激活函数对各中间图像特征CONV2_output分别进行非线性映射，得到的输出结果Relu2_output分别为Relu(CONV2_output)，将非线性映射后得到的输出结果分别作为各高分辨率图像块对应的第二高分辨率图像特征。
第二卷积模块中的第三卷积层中，权重W3和偏差系数B3，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为第二非线性层的输出结果Relu2_output(64，3，3，64)，卷积核的大小为(64，3，3，64)，卷积步长为1，不进行边界填充时，根据第三输出维度的计算公式CONV3_output＝W3×Relu2_output+B3计算出第三输出维度CONV3_output为(128，58，58，64)。
第二卷积模块中的第三非线性层利用激活函数对第三输出维度CONV3_output分别进行非线性映射，得到的输出结果Relu3_output分别为Relu(CONV3_output)。
第二卷积模块中的第四卷积层中，权重W4和偏差系数B4，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为第三非线性层的输出结果Relu3_output(64，3，3，64)，卷积核的大小为(64，3，3，64)，卷积步长为1，不进行边界填充时，根据第四输出维度的计算公式CONV4_output＝W4×Relu3_output+B4计算出第四输出维度CONV4_output为(64，58，58，64)。
第二卷积模块中的第四非线性层利用激活函数对第四输出维度CONV4_output分别进行非线性映射，得到的输出结果Relu4_output分别为Relu(CONV4_output)。
第二卷积模块中的第五卷积层中，权重W5和偏差系数B5，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为第四非线性层的输出结果Relu4_output(64，3，3，64)，卷积核的大小为(64，3，3，64)，卷积步长为1，不进行边界填充时，根据第四输出维度的计算公式CONV5_output＝W5×Relu4_output+B5计算出第五输出维度CONV5_output为(64，58，58，64)。
第二卷积模块中的第五非线性层利用激活函数对第五输出维度CONV5_output分别进行非线性映射，得到的输出结果Relu5_output分别为Relu(CONV5_output)。
第二卷积模块中的第六卷积层中，权重W6和偏差系数B6，卷积核个数为64个、尺寸为3×3时，第一输入纬度LR为第五非线性层的输出结果Relu5_output(3，5，5，64)，卷积核的大小为(64，5，5，64)，卷积步长为1，不进行边界填充时，根据第四输出维度的计算公式CONV6_output＝W6×Relu5_output+B6计算出第五输出维度CONV6_output为(128，54，54，3)。
得到最终输出结果为第五输出维度CONV6_output为(128，54，54，3)，将第二卷积模块的最终输出结果作为高分辨率图像特征。
S608，高分辨率图像特征重组。
将高分辨率图像特征输入机器学习模型中用于高分辨率图像特征构建的第三卷积模块，通过3个尺寸为5×5的卷积核对高分辨率图像特征进行卷积处理，得到每个高分率图像块对应的高分辨率参考图像，及其对应的最终输出维度SRoutput。
S610，设置损失函数。
损失函数包括像素级均方误差损失值(MSE损失)、特征损失值、经受限玻尔兹曼机的内容损失(RBM损失)。
像素级均方误差损失值是卷积网络输出的高分辨率图像特征和对应的高分辨率图像块的每个像素点间的均方误差的平均值。利用公式
计算高分辨率参考图像对应的最终输出维度SRoutput和第二输入维度HR的完全平方差，输入机器学习模型的高分辨率图像块及其对应的第二输入维度HR，第二输入维度HR包括输入机器学习模型中的高分辨率图像块批数量、高分辨率图像块的高、高分辨率图像块的宽、高分辨率图像块的深度。将完全平方差的计算结果与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到像素级均方误差损失值，其中，i为最大池化层的层数，j为卷积层的层数。
特征损失值是卷积网络输出的高分辨率图像特征和对应的高分辨率图像块分别通过第一网络(VGG卷积神经网络)，在特征层面上进行对比后取得的对应的均方误差值。将高分辨率参考图像与所述高分辨率图像样本分别输入第一网络，利用公式
计算高分辨率参考图像在第一网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第一输出结果。利用公式计算高分辨率图像块在第一网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第二输出结果。将第一输出结果与第二输出结果的完全平方差的计算结果，与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到特征损失值，其中，i为最大池化层的层数，j为卷积层的层数，φi,j表示第一网络经j为卷积层，且在第i层最大池化层之前的网络输出结果，其中第一网络为VGG19卷积神经网络。
经受限玻尔兹曼机的内容损失是卷积网络输出的高分辨率图像特征和对应的高分辨率图像块分别在训练图像中训练一个一层的受限玻尔兹曼机，针对人脸图像提取图像内容特征，在图像内容特征上再进行对比，取得的对应的均方误差值。将高分辨率参考图像与高分辨率图像块分别输入第二网络，利用公式
计算高分辨率参考图像在第二网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第三输出结果。利用公式计算高分辨率图像块在第二网络中经j为卷积层，且在第i层最大池化层之前的网络输出结果，即第四输出结果。将第三输出结果与第四输出结果的完全平方差的计算结果，与高分辨率参考图像的宽W与高H的乘积的倒数进行相乘，得到经受限玻尔兹曼机的内容损失。其中，i为最大池化层的层数，j为卷积层的层数，
表示第二网络经j为卷积层，且在第i层最大池化层之前的网络输出结果，其中第二网络为受限玻尔兹曼机卷积神经网络(RBM)。
根据公式L＝Lmes+0.006×Lfeature+0.006×Lcontent，计算像素级均方误差损失值、特征损失值与经受限玻尔兹曼机的内容损失之间的和值，将计算结果作为高分辨率参考图像和高分辨率图像块间的损失值。
S612，将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数。
将高分辨率参考图像和高分辨率图像块间的损失值输入机器学习模型中进行反向传播，在反卷积层中执行反卷积计算，根据计算结果迭代地更新卷积模块参数，采用Adam优化方法，将学习率设置为0.003。将损失值达到预设值时的机器学习模型作为最优重建模型。
S614，测试机器学习模型。
将训练数据中的任一低分辨率图像通过双三次插值放大至目标尺寸并输入最优重建模型，第一卷积模块获取将低分辨率图像的目标尺寸作为第一输入维度LR，第一卷积模块中的卷积层对低分辨率图像进行128个卷积核尺寸为9×9的卷积处理，得到输出结果为第一输出维度CONV1_output。
第二卷积模块中的卷积层对第一卷积模块的输出结果低分辨率图像特征Relu1_output进行5层32个卷积核尺寸为3×3的卷积处理，得到第二输出维度CONV2_output，将第二输出维度作为中间图像特征。第二卷积模块中的非线性层利用激活函数对第二输出维度CONV2_output进行非线性映射，得到的输出结果Relu2_output。将输出结果Relu2_output带入第二卷积模块中的下一卷积层进行卷积和下一非线性层中进行映射，经过多层卷积处理和多层非线性层的映射，得到最终输出结果。将第二卷积模块的最终输出结果作为高分辨率图像特征。
将高分辨率图像特征输入最优重建模型中用于高分辨率图像特征构建的第三卷积模块，通过3个尺寸为5×5的卷积核对高分辨率图像特征进行卷积处理，得到重建图像。
表1所示为将图8(a)、8(b)、8(c)中的低分辨率图像通过双三次插值放大至2倍和4倍时，通过最优重建模型得到的图像超分辨率重建指标，与通过其他图像超分辨率重建方法A、方法B的得到的图像超分辨率重建指标的第一对比结果(SSIM结果)。由表1所示，通过最优重建模型得到的图像超分辨率重建指标大部分优于通过其他图像超分辨率重建方法A、方法B的得到的图像超分辨率重建指标。
表1.第一对比结果
表2所示为将图8(a)、8(b)、8(c)中的低分辨率图像通过双三次插值放大至2倍和4倍时，通过最优重建模型得到的图像超分辨率重建指标，与通过其他图像超分辨率重建方法A、方法B的得到的图像超分辨率重建指标的第二对比结果(PSNR(dB)结果)。由表2所示，通过最优重建模型得到的图像超分辨率重建指标大部分优于通过其他图像超分辨率重建方法A、方法B的得到的图像超分辨率重建指标。
表2.第二对比结果
上述实施例中，通过对高分辨率图像进行降采样处理，得到低分辨率图像，将高分辨率图像划分为高分辨率图像块，将低分辨率图像划分为低分辨率图像块。通过机器学习模型的第一卷积模块对低分辨率图像块提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征，实现了更好的图像效果和更优的数据指标；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像块间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。
图2-8为一个实施例中图像超分辨率重建方法的流程示意图。应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
一种图像超分辨率重建装置，该装置包括：获取模块902、第一卷积模块904、第二卷积模块906、构建模块908、损失值模块910、反向传播模块912、重建模块914，其中：
获取模块902，用于获取高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本。
第一卷积模块904，用于将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征。；
第二卷积模块906，用于通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征。
构建模块908，用于根据高分辨率图像特征构建高分辨率参考图像。
损失值模块910，用于利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值。
反向传播模块912，用于将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练。
重建模块914，用于获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。
上述图像超分辨率重建方法、装置、计算机可读存储介质和计算机设备，通过对高分辨率图像样本进行降采样处理，得到低分辨率图像样本，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行多次非线性映射，得到高分辨率图像特征，实现了更好的图像效果和更优的数据指标；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。
在一个实施例中，如图10所示，该装置还包括：
划分模块916，用于确定图像块尺寸以及划分图像块时所对应的移动步长；移动步长小于或等于图像块尺寸；在低分辨率图像样本中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个低分辨率图像块；在高分辨率图像样本中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个高分辨率图像块；将低分辨率图像块和高分辨率图像块输入机器学习模型。
组合模块918，用于利用第一卷积模块中的卷积核对低分辨率图像块进行卷积处理，得到每个低分辨率图像块对应的多个图像特征，卷积核的数量与每个低分辨率图像块对应的图像特征的数量一致；将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。
上述实施例中，按照移动步长逐步确定划分起点，并依照划分起点逐步划分出图像块尺寸的多个低分辨率图像块和多个高分辨率图像块，有利于当图像样本的图像特征较大或训练样本较少时也能进行图像超分辨率重建。通过将低分辨率图像块输入机器学习模型中的第一卷积模块进行训练，得到各低分辨率图像块对应的低分辨率图像特征，将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。有利于提高低分辨率图像块的特征提取处理。
在一个实施例中，如图10所示，损失值模块910还用于：
计算高分辨率参考图像与高分辨率图像样本间的第一均方误差；将高分辨率参考图像与高分辨率图像样本分别输入第一网络，分别得到第一输出结果和第二输出结果，计算第一输出结果和第二输出结果的第二均方误差；将高分辨率参考图像与高分辨率图像样本分别输入第二网络，分别得到第三输出结果和第四输出结果，计算第三输出结果和第四输出结果的第三均方误差；将第一均方误差、第二均方误差与第三均方误差之间的和值，作为高分辨率参考图像和高分辨率图像样本间的损失值。
上述实施例中，利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，调整模型参数，通过训练后的机器学习模型将低分辨率图像重建为高分辨率图像，有利于提高图像识别效果。
图11示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图11所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现图像超分辨率重建方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行图像超分辨率重建方法。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的图像超分辨率重建装置可以实现为一种计算机程序的形式，计算机程序可在如图11所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像超分辨率重建装置的各个程序模块，比如，图9所示的获取模块902、第一卷积模块904、第二卷积模块906、构建模块908、损失值模块910、反向传播模块912、重建模块914。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像超分辨率重建方法中的步骤。
例如，图11所示的计算机设备可以通过如图11所示的图像超分辨率重建装置中的获取模块902执行步骤S202、计算机设备可通过第一卷积模块904执行步骤S204、计算机设备可通过第二卷积模块906执行步骤S206、计算机设备可通过构建模块908执行步骤S208、计算机设备可通过损失值模块910执行步骤S210、计算机设备可通过反向传播模块912执行步骤S212、计算机设备可通过重建模块914执行步骤S214。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本；将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行：获取高分辨率图像样本，并对高分辨率图像样本进行降采样处理，得到低分辨率图像样本；将低分辨率图像样本和高分辨率图像样本输入机器学习模型，通过机器学习模型的第一卷积模块对低分辨率图像样本提取低分辨率图像特征；通过机器学习模型的第二卷积模块对低分辨图像特征进行非线性映射，得到高分辨率图像特征；根据高分辨率图像特征构建高分辨率参考图像；利用损失函数计算高分辨率参考图像和高分辨率图像样本间的损失值；将损失值在机器学习模型中进行反向传播，以根据损失值调整机器学习模型的模型参数，直至损失值达到预设值时停止训练；获取低分辨率图像，利用训练后所得的机器学习模型将低分辨率图像重建为高分辨率图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像超分辨率重建方法，包括：
获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；
将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；
通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
根据所述高分辨率图像特征构建高分辨率参考图像；
利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；
将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；
获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。
2.根据权利要求1所述的方法，其特征在于，所述将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型之前，所述方法还包括：
确定图像块尺寸以及划分图像块时所对应的移动步长；所述移动步长小于或等于所述图像块尺寸；
在所述低分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个低分辨率图像块；
在所述高分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个高分辨率图像块；
所述将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，包括：
将所述低分辨率图像块和所述高分辨率图像块输入机器学习模型。
3.根据权利要求2所述的方法，其特征在于，所述通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征，包括：
利用所述第一卷积模块中的卷积核对所述低分辨率图像块进行卷积处理，得到每个所述低分辨率图像块对应的多个图像特征，所述卷积核的数量与每个所述低分辨率图像块对应的图像特征的数量一致；
将属于相同的低分辨率图像块对应的多个图像特征进行组合，得到各低分辨率图像块对应的低分辨率图像特征。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征，包括：
通过所述机器学习模型的第二卷积模块中的卷积层对所述低分辨率图像特征进行卷积处理，得到中间图像特征；
利用所述第二卷积模块中的非线性层对中间图像特征进行映射，得到高分辨率图像特征。
5.根据权利要求1所述的方法，其特征在于，所述利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值，包括：
计算所述高分辨率参考图像与所述高分辨率图像样本间的第一均方误差；
将所述高分辨率参考图像与所述高分辨率图像样本分别输入第一网络，分别得到第一输出结果和第二输出结果，计算所述第一输出结果和所述第二输出结果的第二均方误差；
将所述高分辨率参考图像与所述高分辨率图像样本分别输入第二网络，分别得到第三输出结果和第四输出结果，计算所述第三输出结果和所述第四输出结果的第三均方误差；
将所述第一均方误差、所述第二均方误差与所述第三均方误差之间的和值，作为所述高分辨率参考图像和所述高分辨率图像样本间的损失值。
6.根据权利要求1所述的方法，其特征在于，所述获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像，包括：
将所述低分辨率图像通过双三次插值放大至目标尺寸；
将放大至所述目标尺寸后的低分辨率图像输入训练后所得的目标机器学习模型，通过所述第一卷积模块对所述低分辨率图像提取低分辨率图像特征；
通过所述第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
根据所述高分辨率图像特征构建高分辨率参考图像。
7.一种图像超分辨率重建装置，其特征在于，所述装置包括：
获取模块，用于获取高分辨率图像样本，并对所述高分辨率图像样本进行降采样处理，得到低分辨率图像样本；
第一卷积模块，用于将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，通过所述机器学习模型的第一卷积模块对所述低分辨率图像样本提取低分辨率图像特征；
第二卷积模块，用于通过所述机器学习模型的第二卷积模块对所述低分辨图像特征进行非线性映射，得到高分辨率图像特征；
构建模块，用于根据所述高分辨率图像特征构建高分辨率参考图像；
损失值模块，用于利用损失函数计算所述高分辨率参考图像和所述高分辨率图像样本间的损失值；
反向传播模块，用于将所述损失值在所述机器学习模型中进行反向传播，以根据所述损失值调整所述机器学习模型的模型参数，直至所述损失值达到预设值时停止训练；
重建模块，用于获取低分辨率图像，利用训练后所得的机器学习模型将所述低分辨率图像重建为高分辨率图像。
8.根据权利要求7所述的装置，其特征在于，所述装置包括：
划分模块，用于确定图像块尺寸以及划分图像块时所对应的移动步长；所述移动步长小于或等于所述图像块尺寸；
在所述低分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个低分辨率图像块；
在所述高分辨率图像样本中，按照所述移动步长逐步确定划分起点，并依照所述划分起点逐步划分出所述图像块尺寸的多个高分辨率图像块；
所述将所述低分辨率图像样本和所述高分辨率图像样本输入机器学习模型，包括：
将所述低分辨率图像块和所述高分辨率图像块输入机器学习模型。
9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911213918.3A CN111127317B (zh) | 2019-12-02 | 2019-12-02 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911213918.3A CN111127317B (zh) | 2019-12-02 | 2019-12-02 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127317A true CN111127317A (zh) | 2020-05-08 |
| CN111127317B CN111127317B (zh) | 2023-07-25 |
Family
ID=70497281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911213918.3A Active CN111127317B (zh) | 2019-12-02 | 2019-12-02 | 图像超分辨率重建方法、装置、存储介质和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127317B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724308A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 模糊图像处理方法及系统 |
| CN111931634A (zh) * | 2020-08-06 | 2020-11-13 | 盐城师范学院 | 一种基于深度学习的校园防护方法和系统 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN113011366A (zh) * | 2021-03-31 | 2021-06-22 | 北京京东乾石科技有限公司 | 用于提高人脸识别精度的方法、装置、电子设备和介质 |
| CN114697543A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种图像重建方法、相关装置及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
-
2019
- 2019-12-02 CN CN201911213918.3A patent/CN111127317B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949255A (zh) * | 2017-12-20 | 2019-06-28 | 华为技术有限公司 | 图像重建方法及设备 |
| CN108447020A (zh) * | 2018-03-12 | 2018-08-24 | 南京信息工程大学 | 一种基于极深卷积神经网络的人脸超分辨率重建方法 |
| CN109064396A (zh) * | 2018-06-22 | 2018-12-21 | 东南大学 | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 |
| CN109255755A (zh) * | 2018-10-24 | 2019-01-22 | 上海大学 | 基于多列卷积神经网络的图像超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111724308A (zh) * | 2020-06-28 | 2020-09-29 | 深圳壹账通智能科技有限公司 | 模糊图像处理方法及系统 |
| CN111931634A (zh) * | 2020-08-06 | 2020-11-13 | 盐城师范学院 | 一种基于深度学习的校园防护方法和系统 |
| CN112435162A (zh) * | 2020-11-13 | 2021-03-02 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112435162B (zh) * | 2020-11-13 | 2024-03-05 | 中国科学院沈阳自动化研究所 | 一种基于复数域神经网络的太赫兹图像超分辨重建方法 |
| CN112419151A (zh) * | 2020-11-19 | 2021-02-26 | 北京有竹居网络技术有限公司 | 图像退化处理方法、装置、存储介质及电子设备 |
| CN114697543A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 一种图像重建方法、相关装置及系统 |
| CN114697543B (zh) * | 2020-12-31 | 2023-05-19 | 华为技术有限公司 | 一种图像重建方法、相关装置及系统 |
| CN113011366A (zh) * | 2021-03-31 | 2021-06-22 | 北京京东乾石科技有限公司 | 用于提高人脸识别精度的方法、装置、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127317B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127317A (zh) | 图像超分辨率重建方法、装置、存储介质和计算机设备 | |
| US11227364B2 (en) | Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product | |
| US11200638B2 (en) | Image style transform methods and apparatuses, devices and storage media | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| WO2019218136A1 (zh) | 图像分割方法、计算机设备和存储介质 | |
| CN109523470B (zh) | 一种深度图像超分辨率重建方法及系统 | |
| CN108765425B (zh) | 图像分割方法、装置、计算机设备和存储介质 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN111951167B (zh) | 超分辨率图像重建方法、装置、计算机设备和存储介质 | |
| CN106796716A (zh) | 用于为低分辨率图像提供超分辨率的设备和方法 | |
| JP2021100247A (ja) | 歪んだドキュメント画像の矯正方法及び装置 | |
| US20210097649A1 (en) | Convolutional neural network processor, image processing method and electronic device | |
| CN112419153A (zh) | 图像超分辨率重建方法、装置、计算机设备和存储介质 | |
| CN111028153A (zh) | 图像处理和神经网络训练方法、装置及计算机设备 | |
| Cao et al. | New architecture of deep recursive convolution networks for super-resolution | |
| CN111681165A (zh) | 图像处理方法、装置、计算机设备和计算机可读存储介质 | |
| Guo et al. | Deep learning based image super-resolution with coupled backpropagation | |
| CN115439325A (zh) | 低分辨率高光谱图像处理方法、装置、计算机程序产品 | |
| CN114897711A (zh) | 一种视频中图像处理方法、装置、设备及存储介质 | |
| CN113160079A (zh) | 人像修复模型的训练方法、人像修复方法和装置 | |
| Huang et al. | Anatomical‐functional image fusion based on deep convolution neural networks in local Laplacian pyramid domain | |
| WO2021179117A1 (zh) | 神经网络通道数搜索方法和装置 | |
| CN113838104A (zh) | 基于多光谱与多模态图像一致性增强网络的配准方法 | |
| CN109583512B (zh) | 图像处理方法、装置及系统 | |
| CN116659520B (zh) | 基于仿生偏振视觉增强的匹配定位方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |