CN112581363A - 图像超分辨率重建方法、装置、电子设备及存储介质 - Google Patents
图像超分辨率重建方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112581363A CN112581363A CN201910932742.0A CN201910932742A CN112581363A CN 112581363 A CN112581363 A CN 112581363A CN 201910932742 A CN201910932742 A CN 201910932742A CN 112581363 A CN112581363 A CN 112581363A
- Authority
- CN
- China
- Prior art keywords
- image
- training sample
- neural network
- convolutional neural
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 45
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 352
- 238000013527 convolutional neural network Methods 0.000 claims description 154
- 238000005070 sampling Methods 0.000 claims description 45
- 238000004891 communication Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 239000000523 sample Substances 0.000 description 267
- 230000008569 process Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 5
- 238000003199 nucleic acid amplification method Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明实施例提供了一种图像超分辨率重建方法、装置、电子设备及存储介质，其中，该方法可以包括：获取待处理图像；通过插值算法，对待处理图像进行插值得到插值图像；将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像；重建图像的图像质量高于插值图像的图像质量。通过本发明实施例提供的图像超分辨率重建方法、装置、电子设备及存储介质，能够扩展图像超分辨率重建的应用范围。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像超分辨率重建方法、装置、电子设备及存储介质。
背景技术
图像超分辨率重建是指将低分辨率、低质量的图像重建得到高分辨率、高质量的图像，在图片或视频相关网站、手机软件(Application，App)、手机系统、监控设备、卫星图像、医学影像等领域都有重要的应用价值。
目前，一般借助于卷积神经网络(Convolutional Neural Networks，CNN)完成图像超分辨率重建。如图1所示，实现超分辨率重建的卷积神经网络由多层网络层叠加起来的，如可以包括卷积层101和带步长的反卷积层102，卷积层主要负责提取图像特征，不改变图像分辨率，反卷积层实现上采样，以增大图像分辨率，步长也可以理解为采样系数，如果步长为2则进行2倍放大，可以将图像分辨率为150x150的图像重建得到图像分辨率为300x300图像；步长为3则进行3倍放大，可以将图像分辨率为150x150的图像重建得到图像分辨率为450x450图像；步长为4则进行4倍放大，可以将图像分辨率为150x150的图像重建得到图像分辨率为600x600图像。
目前方式中，步长为正整数，仅能实现图像分辨率的正整数倍放大，即仅能实现整数倍超分(Integral Times Super Resolution)，也就是说，在图像超分辨率重建过程中，重建图像的图像分辨率是重建前图像的图像分辨率的正整数倍，如将图像分辨率为960x540的图像重建得到图像分辨率为1920x1080的图像为2倍超分，如此使得应用范围受限。
发明内容
本发明实施例的目的在于提供一种图像超分辨率重建方法、装置、电子设备及存储介质，以扩展图像超分辨率重建的应用范围。具体技术方案如下：
第一方面，本发明实施例提供了一种图像超分辨率重建方法，包括：
获取待处理图像；
通过插值算法，对所述待处理图像进行插值得到插值图像；
将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络通过以下方式得到，包括：
获取多个第一训练样本图像；
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；
对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
第二方面，本发明实施例提供了一种图像超分辨率重建装置，包括：
第一获取模块，用于获取待处理图像；
插值模块，用于通过插值算法，对所述待处理图像进行插值得到插值图像；
第一确定模块，用于将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，所述装置还包括：
第二获取模块，用于获取多个第一训练样本图像；
第二确定模块，用于针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
训练模块，用于将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
一种可实现实施例中，所述第二确定模块，用于针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，所述第二确定模块，用于获取多个视频图像，将所述多个视频图像作为第一训练样本图像；将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现如下方法步骤：
获取待处理图像；
通过插值算法，对所述待处理图像进行插值得到插值图像；
将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络通过以下方式得到，包括：
获取多个第一训练样本图像；
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；
对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：
获取待处理图像；
通过插值算法，对所述待处理图像进行插值得到插值图像；
将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络通过以下方式得到，包括：
获取多个第一训练样本图像；
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；
对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
第五方面，本发明实施例提供了包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行实现如下方法步骤：
获取待处理图像；
通过插值算法，对所述待处理图像进行插值得到插值图像；
将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，所述预设卷积神经网络通过以下方式得到，包括：
获取多个第一训练样本图像；
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；
对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
本发明实施例提供的图像超分辨率重建方法、装置、电子设备及存储介质，可以获取待处理图像；通过插值算法，对待处理图像进行插值得到插值图像，插值图像的图像分辨率高于待处理图像的图像分辨率；将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像；重建图像的图像质量高于插值图像的图像质量；其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为目前技术中图像超分辨率重建的框架示意图；
图2(a)为目前技术中图像超分辨率重建过程中一种待处理图像示意图；
图2(b)为目前技术中图像超分辨率重建过程中一种重建图像示意图；
图2(c)为目前技术中图像超分辨率重建过程中另一种重建图像示意图；
图3(a)为目前技术中图像超分辨率重建过程中一种待处理图像示意图；
图3(b)为目前技术中图像超分辨率重建过程中另一种重建图像示意图；
图3(c)为目前技术中图像超分辨率重建过程中另一种重建图像示意图；
图4为本发明实施例提供的图像超分辨率重建方法的流程示意图；
图5为本发明实施例提供的一种可实现实施例的流程示意图；
图6为本发明实施例中得到预设卷积神经网络的流程图；
图7为本发明实施例提供的图像超分辨率重建装置的一种结构示意图；
图8为本发明实施例提供的图像超分辨率重建装置的另一种结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。卷积神经网络是一种前馈神经网络，可以由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也可以包括关联权重和池化层(pooling layer)。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。
卷积神经网络作为深度学习结构的一种，能够从海量数据中提取图像的高维度抽象特征，从而获得更为逼真、自然的图像超分辨效果。如图2(a)所示的待处理图像，该待处理图像的图像分辨率为150x150；图2(c)为通过卷积神经网络得到的针对该待处理图像的重建图像，该重建图像的图像分辨率为300x300，相比较于通过传统插值方式得到的图像分辨率为300x300重建图像，如图2(b)所示，通过卷积神经网络得到的重建图像相比较于通过插值方式得到的重建图像细节更逼真。
但是，目前实现图像超分辨率重建方式有一定的局限性，仅能实现整数倍超分，如图3(a)所示为待处理图像，图3(b)所示为对待处理图像进行2倍超分后的重建图像，图3(c)所示为对待处理图像进行4倍超分后的重建图像。目前实现图像超分辨率重建方式在图像超分辨率重建过程中，重建图像的图像分辨率是待处理图像的图像分辨率的正整数倍，然而，图像分辨率与视频技术伴随着图像采集设备、图像处理芯片、终端显示设备等的更新迭代息息相关，在实际应用过程中，不仅有整数倍超分的需求，还有其他需求，如将一个图像重建为另一个图像，重建图像与待处理图像的分辨率之间不是正整数倍关系，目前的图像超分辨率重建方式无法满足这种需求，使得应用范围受限。
为了扩展图像超分辨率重建的应用范围，满足实际应用过程中更多需求，本发明实施例提供了一种图像超分辨率重建方法。
下面对本发明实施例提供的图像超分辨率重建方法进行详细说明。
本发明实施例提供的图像超分辨率重建方法可以应用于电子设备。具体地，电子设备可以为智能手机、平板电脑、笔记本电脑或台式电脑等。
本发明实施例提供了一种图像超分辨率重建方法，如图4所示，可以包括：
S401，获取待处理图像。
待处理图像也可以理解为重建前图像。如可以是待进行超分辨率重建的图像。待处理图像可以是任意格式的图像，本发明实施例不对待处理图像的格式作限制。
待对图像进行超分辨率重建时，电子设备可以获取该图像，即获取待处理图像。
S402，通过插值算法，对待处理图像进行插值得到插值图像。
插值图像的图像分辨率高于待处理图像的图像分辨率。
为了更清楚说明图像分辨率的举例，对下面描述中会用到的专业用词进行说明。
视频传输标准(Video Graphics Array，VGA)。
一种屏幕分辨率，四分之一全高清(Quarter High Definition，qHD)。
720p、1080p表示视频显示格式，P表示指逐行扫描。
宽屏笔记本屏幕(Wide Extended Graphics Array，WXGA)。
图像分辨率指的是图像的像素量，可以通过横向像素数目与纵向像素数目相乘的方式进行表征。如图像分辨率可以包括640x480(VGA)、940x540(qHD)、1280x720(720p)、1366x768(WXGA)、1920x1080(1080p)等等。
插值算法可以包括双三次插值(bicubic插值)、最近邻插值、双线性插值、双立方插值等，本发明实施例不对所采用的插值算法作限制，任何可以实现对待处理图像进行插值的方式均在本发明实施例的保护范围内。
通过插值算法可以增大待处理图像的图像分辨率，且不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率。
S403，将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像。
重建图像的图像质量高于插值图像的图像质量。
其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
插值算法可以增大图像分辨率，但是增加的像素均是通过插值得到的，经过插值算法得到的图像的图像质量一般较低，不够清晰逼真。而一般情况下，图像超分辨率重建不仅希望增大图像分辨率，还希望提高图像质量。本发明实施例中，将通过插值算法得到的插值图像输入预设卷积神经网络，增强插值图像的画质，可以得到图像质量相比较于插值图像的图像质量较高的重建图像。
本发明实施例中可以通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到预设卷积神经网络，在训练过程中，可以将图像质量较低的第二训练样本图像作为训练所用的样本，将图像质量较高的第一训练样本图像作为参考样本，当第二训练样本图像输入卷积神经网络，得到的输出图像无限逼近与该第二训练样本图像的第一训练样本图像，则可以理解卷积神经网络训练完成，得到该预设卷积神经网络。如可以预先确定训练迭代次数，当迭代次数达到预先确定的该训练迭代次数，则训练完成。
针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量，训练得到的预设卷积神经网络可以提高图像质量。
本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。
本发明实施例中，预设卷积神经网络可以仅用于提高图像质量，不改变图像分辨率。或者，预设卷积神经网络除了用于提高图像质量，还可以用于改变图像分辨率。
一种可选实施例中，预设卷积神经网络除了用于提高图像质量，还可以用于改变图像分辨率。因为目前技术中已有卷积神经网络可以用于实现图像超分辨率重建，本发明实施例在图像超分辨率重建过程中可以直接利用已有卷积神经网络的结构。或者，可以通过本发明实施例中多个第一训练样本以及分别对应的第一训练样本进行训练，以得到能够实现提高图像分辨率且提高图像质量的预设卷积神经网络。
这种情况下，虽然受限于卷积神经网络只能实现图像分辨率正整数倍的方法，对于重建图像的图像分辨率是插值图像分辨率的正整数倍，但是，因为插值算法可以实现插值图像的图像分辨率是待处理图像的图像分辨率的任意倍，即可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍。如待处理图像的图像分辨率为150x150，通过插值算法，得到图像分辨率为426x426的插值图像，预设卷积神经网络可以实现图像分辨率的2倍放大，则可以得到图像分辨率为852x852的重建图像，计算可以得到，重建图像的图像分辨率是待处理图像的图像分辨率的5.68倍，即可以重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍。
在一些应用场景中，可以选择已有卷积神经网络，已有卷积神经网络中对输入该卷积神经网络的图像分辨率的放大倍数确定，如可以实现2倍放大、3倍放大、4倍放大等。或者可以训练得到改变图像分辨率的卷积神经网络，此时图像分辨率的放大倍数也可以确定。
一种可实现方式中，当待处理图像的图像分辨率已知，且确定所需重建图像的图像分辨率，则可以计算得到插值算法待实现的放大倍数，如此可以实现对待处理图像的超分辨率重建。如想得到的重建图像的图像分辨率为852x852，选择的已有卷积神经网络的放大倍数为2倍，则输入该卷积神经网络的图像分辨率应该为426x426，若待处理图像的图像分辨率为150x150，则图像分辨率为150x150的待处理图像，通过插值算法，经过2.84倍的放大，得到图像分辨率为426x426的插值图像。
另一种可选实施例中，预设卷积神经网络中上采样倍数与下采样倍数相同。即对输入预设卷积神经网络的图像进行的下采样和上采样成对偶关系，上采样倍数也可以理解为对图像分辨率的放大倍数，下采样倍数也可以理解为对图像分辨率缩小倍数。预设卷积神经网络先后对输入该预设卷积神经网络的图像进行相同倍数的下采样和上采样，则该预设卷积网络输出的图像的图像分辨率与输入该卷积神经网络的图像的图像分辨率相同，即该预设卷积神经网络不改变图像分辨率。
这种情况下，可以理解为将图像超分辨率重建过程分为两步，通过插值算法实现图像分辨率的改变，实现图像分辨率的非正整数倍放大，通过预设卷积神经网络提高图像质量，结合这两步以达到增大图像分辨率且提高图像质量的目的，完成图像超分辨率重建。
一种可实现方式中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数与上采样倍数相同。
如预设卷积神经网络包括3个实现下采样的卷积层，各个卷积层分别将输入该卷积层的图像缩小2倍，同时，该预设卷积神经网络对应包括3个实现上采样的反卷积层，各个反卷积层分别将输入该反卷积层的图像放大2倍，3个卷积层可以位于该预设卷积神经网络的头部，3个反卷积层可以位于该预设卷积神经网络的尾部。总的来说，该预设卷积神经网络实现8倍缩小以及8倍放大，如此，该预设卷积神经网络最终输出的图像的图像分辨率与输入该预设卷积神经网络的图像的图像分辨率相同。
另一种可实现方式中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，但是，实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
如预设卷积神经网络包括3个实现下采样的卷积层，各个卷积层分别将输入该卷积层的图像缩小2倍，同时，该预设卷积神经网络对应包括1个实现上采样的反卷积层，该反卷积层将输入该反卷积层的图像放大8倍，3个卷积层可以位于该预设卷积神经网络的头部，1个反卷积层可以位于该预设卷积神经网络的尾部。总的来说，该预设卷积神经网络实现8倍缩小以及8倍放大，如此，该预设卷积神经网络最终输出的图像的图像分辨率与输入该预设卷积神经网络的图像的图像分辨率相同。
如此，可以实现不改变输入至预设卷积神经网络的插值图像的图像分辨率，即重建图像的图像分辨率与插值图像的分辨率相同。本发明实施例中，预设卷积神经网路主要用于为输入的插值图像的填补细节内容，使得图像的细节更为丰富、图像轮廓、边缘等更为清晰，过度更为自然。
如图5所示，通过插值算法，将待处理图像501进行插值得到插值图像502。待处理图像501的图像分辨率可以为150x150，进行插值后得到的插值图像502的图像分辨率可以为300x300、426x426、287x576等等。可以看出，得到的插值图像502的图像质量非常糟糕，将插值图像502输入至网络层503组成的预设卷积神经网络，以提高插值图像502的图像质量，得到重建图像504。网络层503组成的预设卷积神经网络不改变图像分辨率，因为插值算法可以实现任意倍数的改变图像分辨率。总体来看，通过可以实现插值算法以及不改变图像分辨率的卷积神经网络，可以实现图像分辨率任意倍数的放大且提高图像质量。
本发明实施例中图像超分辨率重建方法能够处理任意图像分辨率之间的超分变换，可以将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，并不限定重建图像的图像分辨率与待处理图像的图像分辨率之间是正整数倍的关系，从而消除了整数倍超分的局限性，大大拓宽了超分辨率重建的应用场景。
本发明实施例中，通过插值算法实现图像分辨率的改变，且插值算法可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，则本发明实施例提供的图像超分辨率重建方法可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，如可以实现将任意图像分辨率的待处理图像转换为高于该图像分辨率的其它任意图像分辨率的重建图像。
本发明一种可选的实施例中，预设卷积神经网络可以通过以下方式得到，如图6所示，可以包括：
S601，获取多个第一训练样本图像。
可以从开源数据集，如Open Images数据集、ImageNet数据集等获取第一训练样本图像。其中，Open Images数据集：是一个包含超过900万个链接图像的数据集。其中包含9,011,219张图像的训练集，41,260张图像的验证集以及125,436张图像的测试集。它的图像种类跨越数千个类别，且有图像层级的标注框进行注释。该数据集是目前最大的包含对象位置标注的数据集。ImageNet数据集：是基于WordNet层次结构组织的图像数据集。WordNet包含约100,000个短语，ImageNet平均提供了约1000个图像来说明每个短语。大小约150GB，数量：图像总数约1,500,000；每个都有多个边界框和相应的类标签。
或者，可以通过网络爬虫等方式获取网络中已存在的图像作为第一训练样本图像。
S602，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像。
一种可选的实施例中，可以针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；对下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
可以将获取第一训练样本图像和第二训练样本图像称之为准备训练数据的过程。将第一训练样本图像进行下采样压缩，下采样压缩时图像质量损失程度随机，上采样的次数随机，且下采样的倍数随机，不限于整数倍，如此会随机丢弃第一训练样本图像中的细节信息。然后将下采样后的图像进行插值，即实现上采样，得到上采样后的图像，其中，上采样的次数随机，上采样算法即进行插值过程采用的算法随机，如可以为最近邻插值、双线性插值、双立方插值等等。插值能够弥补图像的细节信息，但是都是估计值，相比较原始的第一训练样本图像，第二训练样本图像的图像质量较低。
另一种可实现方式中，在准备训练数据的过程中可以采用其他方式，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，可以包括：
获取多个视频图像，将多个视频图像作为第一训练样本图像；将多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
例如将同一高清视频包括的视频图像通过不同码率进行压缩，从而获得图像质量低于压缩前视频图像的图像。只要是能够通过随机图像信号压缩，获得不同质量的压缩图像即可。
若预设卷积神经网络仅用于提高图像质量，不改变图像分辨率，则可以进行压缩得到与压缩前视频图像的图像分辨率相同的不同图像质量的图像。若预设卷积神经网络不仅用于提高图像质量，还用于改变图像分辨率，也可以进行压缩得到与压缩前视频图像的图像分辨率不同的图像。
S603，将多个第二训练样本图像输入第一卷积神经网络，对第一卷积神经网络进行训练，得到预设卷积神经网络。
通过对第一卷积神经网络进行训练，以使第一卷积神经网络可以学习图像质量较低的图像至图像质量较高的图像的映射关系。
具体地，可以将一个第一训练样本图像与该第一训练样本图像对应的第二训练样本图像作为一个样本对，其中，可以将第二训练样本图像作为训练所用的样本，将第一训练样本图像作为参考样本，第一卷积神经网络可以包括待测参数，将第二训练样本图像输入第一卷积神经网络，调整待测参数，以使第二训练样本图像通过第一卷积神经网络后的输出图像无限逼近于第一训练样本图像，如第一卷积神经网络的输出图像与第一训练样本图像之间的代价函数收敛时，确定待测参数，得到的包括确定的待测参数的第一卷积神经网络即为训练好的预设卷积神经网络，或者可以预先确定训练迭代次数，当迭代次数达到预先确定的该训练迭代次数，则训练完成。其中，待测参数可以包括：隐藏层层数，隐藏层神经元的数量，批尺寸，学习速率，和/或迭代次数，等等。
另一种可选实施例中，得到预设卷积神经网络的过程中，也可以先获取图像质量较低的第二训练样本图像，然后通过网络爬虫等方式获取第二训练样本对应的质量较高的第一训练样本图像，如此实现训练样本准备的过程，后续通过得到的多个第一训练样本图像以及各个训练样本图像分别对应的第二训练样本图像训练得到预设卷积神经网络的过程同上述实施例，这里不再赘述。
对应上述实施例提供的图像超分辨率重建方法，本发明实施例提供了一种图像超分辨率重建装置，如图7所示，可以包括：
第一获取模块701，用于获取待处理图像。
插值模块702，用于通过插值算法，对待处理图像进行插值得到插值图像。插值图像的图像分辨率高于待处理图像的图像分辨率。
第一确定模块703，用于将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像。
重建图像的图像质量高于插值图像的图像质量。
其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。
一种可实现实施例中，预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，如图8所示，该装置还包括：
第二获取模块801，用于获取多个第一训练样本图像。
第二确定模块802，用于针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像。
训练模块803，用于将多个第二训练样本图像输入第一卷积神经网络，对第一卷积神经网络进行训练，得到预设卷积神经网络。
一种可实现实施例中，第二确定模块802，用于针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；对下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，第二确定模块802，用于获取多个视频图像，将多个视频图像作为第一训练样本图像；将多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
本发明实施例提供的图像超分辨率重建装置是应用上述图像超分辨率重建方法的装置，则上述图像超分辨率重建方法的所有实施例均适用于该装置，且均能达到相同或相似的有益效果。
本发明实施例还提供了一种电子设备，如图9所示，包括处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。
存储器903，用于存放计算机程序；
处理器901，用于执行存储器903上所存放的程序时，实现上述图像超分辨率重建方法的方法步骤。如可以实现如下方法步骤：
获取待处理图像；
通过插值算法，对待处理图像进行插值得到插值图像。
插值图像的图像分辨率高于待处理图像的图像分辨率；
将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像。
重建图像的图像质量高于插值图像的图像质量。
其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，预设卷积神经网络可以通过以下方式得到，包括：
获取多个第一训练样本图像。
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像。
将多个第二训练样本图像输入第一卷积神经网络，对第一卷积神经网络进行训练，得到预设卷积神经网络。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像。
对下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将多个视频图像作为第一训练样本图像。
将多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
对应上述实施例提供的图像超分辨率重建方法，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述实施例提供的图像超分辨率重建方法的方法步骤。
如可以实现如下方法步骤：
获取待处理图像；
通过插值算法，对待处理图像进行插值得到插值图像。
插值图像的图像分辨率高于待处理图像的图像分辨率；
将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像。
重建图像的图像质量高于插值图像的图像质量。
其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，预设卷积神经网络可以通过以下方式得到，包括：
获取多个第一训练样本图像。
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像。
将多个第二训练样本图像输入第一卷积神经网络，对第一卷积神经网络进行训练，得到预设卷积神经网络。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像。
对下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将多个视频图像作为第一训练样本图像。
将多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图像超分辨率重建方法的方法步骤。如可以实现如下方法步骤：
获取待处理图像。
通过插值算法，对待处理图像进行插值得到插值图像，插值图像的图像分辨率高于待处理图像的图像分辨率。
将插值图像输入预设卷积神经网络，得到插值图像对应的重建图像。
重建图像的图像质量高于插值图像的图像质量。
其中，预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
一种可实现实施例中，预设卷积神经网络中上采样倍数与下采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
一种可实现实施例中，预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
一种可实现实施例中，预设卷积神经网络可以通过以下方式得到，包括：
获取多个第一训练样本图像。
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像。
将多个第二训练样本图像输入第一卷积神经网络，对第一卷积神经网络进行训练，得到预设卷积神经网络。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像。
对下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
一种可实现实施例中，针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将多个视频图像作为第一训练样本图像。
将多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
本发明实施例中，插值算法不受限于正整数倍关系的限制，可以实现将图像分辨率转换为高于该图像分辨率的其它任意图像分辨率，通过将插值算法与预设卷积神经网络结合，不仅能实现整数倍超分，还可以实现重建图像的图像分辨率不是待处理图像的图像分辨率的正整数倍，如此能够扩展图像超分辨率重建的应用范围。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、存储介质及计算机程序产品实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (16)
1.一种图像超分辨率重建方法，其特征在于，包括：
获取待处理图像；
通过插值算法，对所述待处理图像进行插值得到插值图像；
将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
2.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
3.根据权利要求2所述的方法，其特征在于，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
4.根据权利要求2所述的方法，其特征在于，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
5.根据权利要求1所述的方法，其特征在于，所述预设卷积神经网络通过以下方式得到：
获取多个第一训练样本图像；
针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
6.根据权利要求5所述的方法，其特征在于，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；
对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
7.根据权利要求5所述的方法，其特征在于，所述针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像，包括：
获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
8.一种图像超分辨率重建装置，其特征在于，包括：
第一获取模块，用于获取待处理图像；
插值模块，用于通过插值算法，对所述待处理图像进行插值得到插值图像；
第一确定模块，用于将所述插值图像输入预设卷积神经网络，得到所述插值图像对应的重建图像；所述重建图像的图像质量高于所述插值图像的图像质量；其中，所述预设卷积神经网络是通过多个第一训练样本图像以及各个第一训练样本图像分别对应的第二训练样本图像训练得到的，针对各个第一训练样本，该第一训练样本的图像质量高于该第一训练样本对应的第二训练样本的图像质量。
9.根据权利要求8所述的装置，其特征在于，所述预设卷积神经网络中上采样倍数与下采样倍数相同。
10.根据权利要求9所述的装置，其特征在于，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数相同，且各个网络层的下采样倍数或上采样倍数相同。
11.根据权利要求9所述的装置，其特征在于，所述预设卷积神经网络中实现下采样的网络层与实现上采样的网络层的层数不同，且实现下采样的各个网络层总的下采样倍数与实现上采样的各个网络层总的上采样倍数相同。
12.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第二获取模块，用于获取多个第一训练样本图像；
第二确定模块，用于针对各个第一训练样本图像，确定各个第一训练样本图像分别对应的第二训练样本图像；
训练模块，用于将多个第二训练样本图像输入第一卷积神经网络，对所述第一卷积神经网络进行训练，得到所述预设卷积神经网络。
13.根据权利要求12所述的装置，其特征在于，所述第二确定模块，用于针对各个第一训练样本图像，将该第一训练样本图像进行不固定次数的下采样，得到下采样图像；对所述下采样图像进行不固定次数的插值，得到该第一训练样本对应的第二训练样本图像。
14.根据权利要求12所述的装置，其特征在于，所述第二确定模块，用于获取多个视频图像，将所述多个视频图像作为第一训练样本图像；
将所述多个视频图像分别进行不同码率的压缩，得到第二训练样本图像。
15.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，所述处理器，所述通信接口，所述存储器通过所述通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-7任一所述的方法步骤。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910932742.0A CN112581363A (zh) | 2019-09-29 | 2019-09-29 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910932742.0A CN112581363A (zh) | 2019-09-29 | 2019-09-29 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112581363A true CN112581363A (zh) | 2021-03-30 |
Family
ID=75110984
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910932742.0A Pending CN112581363A (zh) | 2019-09-29 | 2019-09-29 | 图像超分辨率重建方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112581363A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781298A (zh) * | 2021-08-05 | 2021-12-10 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
-
2019
- 2019-09-29 CN CN201910932742.0A patent/CN112581363A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
| CN110246084A (zh) * | 2019-05-16 | 2019-09-17 | 五邑大学 | 一种超分辨率图像重构方法及其系统、装置、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 占文枢;伦增珉;陈洪刚;周霞;陈敬勖;滕奇志;: "基于像素及梯度域双层深度卷积神经网络的页岩图像超分辨率重建", 科学技术与工程, no. 03 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781298A (zh) * | 2021-08-05 | 2021-12-10 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
| CN113781298B (zh) * | 2021-08-05 | 2023-09-15 | 中国科学院生物物理研究所 | 超分辨率图像的处理方法及装置、电子设备、存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886871B (zh) | 基于通道注意力机制和多层特征融合的图像超分辨率方法 | |
| CN108022212B (zh) | 高分辨率图片生成方法、生成装置及存储介质 | |
| CN109118432B (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| WO2022057868A1 (zh) | 图像超分方法和电子设备 | |
| Kuang et al. | Image super-resolution with densely connected convolutional networks | |
| CN112801904B (zh) | 一种基于卷积神经网络的混合退化图像增强方法 | |
| CN106127689A (zh) | 图像视频超分辨率方法和装置 | |
| US20220301106A1 (en) | Training method and apparatus for image processing model, and image processing method and apparatus | |
| López-Tapia et al. | A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models | |
| CN109118428B (zh) | 一种基于特征增强的图像超分辨率重建方法 | |
| CN112991171A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114972036B (zh) | 一种基于融合退化先验的盲图像超分辨率重建方法和系统 | |
| CN116563100A (zh) | 一种基于内核引导网络的盲超分辨率重建方法 | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| Liu et al. | Arbitrary-scale super-resolution via deep learning: A comprehensive survey | |
| CN112581363A (zh) | 图像超分辨率重建方法、装置、电子设备及存储介质 | |
| CN115880516A (zh) | 图像分类方法、图像分类模型训练方法及相关设备 | |
| CN109996085B (zh) | 模型训练方法、图像处理方法、装置及电子设备 | |
| US20230060988A1 (en) | Image processing device and method | |
| CN104867107B (zh) | 一种图像超分辨方法 | |
| Wang et al. | Fast image super-resolution with the simplified residual network | |
| CN103577445A (zh) | 在浏览器上快速显示医学图像的方法 | |
| CN106204445A (zh) | 基于结构张量全变差的图像视频超分辨率方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |