CN109996085A - 模型训练方法、图像处理方法、装置及电子设备 - Google Patents
模型训练方法、图像处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109996085A CN109996085A CN201910367654.0A CN201910367654A CN109996085A CN 109996085 A CN109996085 A CN 109996085A CN 201910367654 A CN201910367654 A CN 201910367654A CN 109996085 A CN109996085 A CN 109996085A
- Authority
- CN
- China
- Prior art keywords
- image
- initial pictures
- compression
- neural network
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000007906 compression Methods 0.000 claims abstract description 83
- 230000006835 compression Effects 0.000 claims abstract description 78
- 238000012545 processing Methods 0.000 claims abstract description 77
- 238000003062 neural network model Methods 0.000 claims abstract description 53
- 230000000694 effects Effects 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000032258 transport Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000013527 convolutional neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008602 contraction Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- 238000004088 simulation Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000001154 acute effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种模型训练方法、图像处理方法、装置及电子设备，涉及图像处理技术领域，包括：获取多个初始图像；其中，所述多个初始图像中包括边缘锐利的图像；对于每个所述初始图像分别进行多次压缩处理，得到训练集，其中，所述训练集中包括：多组图像，所述多组图像的每一组图像包括：所述初始图像，对所述初始图像进行压缩处理得到的压缩图像；利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型，解决了现有技术中存在的对图像进行超分辨率处理时没有很好地解决振铃效应，从而导致产生的图像的视觉效果较差的技术问题。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种模型训练方法、图像处理方法、装置及电子设备。
背景技术
随着电视机、移动终端等图像及视频播放设备分辨率的不断提升，在低分辨率图像在高分辨率屏幕下显示时，相关技术中的方案，为适应高分辨率屏幕，一般会直接利用简单的插值技术对低分辨率图像进行放大，这样可能会导致视觉效果变差，比如容易产生马赛克，因此，更高分辨率图像的需求与日俱增，图像的质量较为重要。
另外，处理的图像在传输过程中被多次压缩，图像信息丢失，尤其是高频信息的丢失，图像灰度剧烈变化的邻域便会出现振荡，图像中人或物体的轮廓可能出现失真，从而使图像质量降低，这一现象称为振铃效应(Ringing effect)。
相关技术中，对图像进行超分辨率处理时，还没有很好地解决振铃效应，从而导致产生的图像的视觉效果较差。
发明内容
有鉴于此，本发明的目的在于提供一种模型训练方法、图像处理方法、装置及电子设备，以解决现有技术中存在的图像的视觉效果较差的技术问题。
第一方面，本发明实施例提供了一种模型训练方法，包括：
获取多个初始图像；其中，所述多个初始图像中包括边缘锐利的图像；
对于每个所述初始图像分别进行多次压缩处理，得到训练集，其中，所述训练集中包括：多组图像，所述多组图像的每一组图像包括：所述初始图像，对所述初始图像进行压缩处理得到的压缩图像；
利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，通过以下方式对所述初始图像进行多次压缩处理：
确定对所述图像进行压缩的次数；
基于确定的所述次数对所述图像进行压缩；其中，每次对所述图像进行压缩的过程包括：确定所述图像的质量值，基于确定的所述质量值对所述图像进行处理，得到处理后的图像；确定是否对所述图像的大小进行调整，在确定进行调整的情况下，确定调整所述图像的算法，基于所述算法对所述处理后的图像进行调整。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述确定对所述图像进行压缩的次数，包括：
生成第一随机数值n；
将所述n作为所述次数；其中，n为正整数。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，确定所述图像的质量值，基于确定的所述质量值对所述图像进行处理，得到处理后的图像，包括：
生成第二随机数值m；
以所述m为质量值，对所述图像进行处理；
其中，m为正整数。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，确定是否对所述图像的大小进行调整包括：
生成第三随机数值P；其中，在所述P为第一数值的情况下，确定对所述图像的大小进行调整；在所述P为第二数值的情况下，确定不对所述图像的大小进行调整。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，确定调整所述图像的算法，基于所述算法对所述处理后的图像进行调整包括：
随机确定所述图像的算法；
基于确定的所述算法对所述处理后的图像的尺寸以随机比例进行缩放；
将缩放后的图像的尺寸缩放为原尺寸。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型包括：
针对所述训练集中的每一组图像，依次执行以下操作：
将所述压缩图像输入至神经网络模型，得到重建图像；
将所述重建图像与所述压缩图像对应的初始图像进行对比，获得图像差异；
根据所述图像差异调整所述神经网络模型的参数。
第二方面，本发明实施例还提供一种图像处理方法，包括：
获取待处理图像；
将待处理图像输入至训练后的神经网络模型，得到目标图像；其中，所述训练后的神经网络模型为利用训练集对神经网络模型训练得到的，所述训练集中包括多组图像，所述多组图像的每一组图像包括：初始图像和与所述初始图像对应的压缩图像，所述压缩图像为对所述初始图像进行多次压缩处理得到的图像，所述多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与所述边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。
第三方面，本发明实施例还提供一种模型训练装置，包括：
获取单元，用于获取多个初始图像；其中，所述多个初始图像中包括边缘锐利的图像；
处理单元，用于对于每个所述初始图像分别进行多次压缩处理，得到训练集，其中，所述训练集中包括：多组图像，所述多组图像的每一组图像包括：所述初始图像，对所述初始图像进行压缩处理得到的压缩图像；
训练单元，用于利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型。
结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，所述处理单元包括：
第一确定模块，用于确定对所述初始图像进行压缩的次数；
压缩模块，用于基于确定的所述次数对所述初始图像进行压缩；其中，每次对所述初始图像进行压缩的过程包括：确定图像的质量值，基于确定的所述质量值对所述初始图像进行处理，得到处理后的图像；确定是否对图像的大小进行调整，在确定进行调整的情况下，确定调整图像的算法，基于所述算法对所述处理后的图像进行调整。
结合第三方面，本发明实施例提供了第三方面的第二种可能的实施方式，其中，所述处理单元还包括：
第一生成模块，用于生成第一随机数值n；
第二确定模块，用于将所述n作为所述次数；
其中，n为正整数。
结合第三方面，本发明实施例提供了第三方面的第三种可能的实施方式，其中，所述处理单元还包括：
第二生成模块，用于生成第二随机数值m；
处理模块，用于以所述m为质量值，对所述初始图像进行处理；
其中，m为正整数。
结合第三方面，本发明实施例提供了第三方面的第四种可能的实施方式，其中，所述处理单元还包括：
第三生成模块，用于生成第三随机数值P；
第三确定模块，用于在所述P为第一数值的情况下，确定对图像的大小进行调整，以及在所述P为第二数值的情况下，确定不对图像的大小进行调整。
结合第三方面，本发明实施例提供了第三方面的第五种可能的实施方式，其中，所述处理单元还包括：
缩放模块，用于随机确定图像的算法，基于确定的所述算法对所述处理后的图像的尺寸以随机比例进行缩放，并将缩放后的图像的尺寸缩放为原尺寸。
结合第三方面，本发明实施例提供了第三方面的第六种可能的实施方式，其中，所述训练单元包括输入模块、对比模块和调整模块；
针对所述训练集中的每一组图像：
所述输入模块，用于将所述压缩图像输入至神经网络模型，得到重建图像；
所述对比模块，用于将所述重建图像与所述压缩图像对应的初始图像进行对比，获得图像差异；
所述调整模块，用于根据所述图像差异调整所述神经网络模型的参数。
第四方面，本发明实施例还提供一种图像处理装置，包括：
获取单元，用于获取待处理图像；
输入单元，用于将待处理图像输入至训练后的神经网络模型，得到目标图像；其中，所述训练后的神经网络模型为利用训练集对神经网络模型训练得到的，所述训练集中包括多组图像，所述多组图像的每一组图像包括：初始图像和与所述初始图像对应的压缩图像，所述压缩图像为对所述初始图像进行多次压缩处理得到的图像，所述多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与所述边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。
第五方面，本发明实施例还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面或第二方面所述的方法的步骤。
第六方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行如第一方面或第二方面所述的方法。
本发明实施例提供的技术方案带来了以下有益效果：本发明实施例提供的模型训练方法、图像处理方法、装置及电子设备。首先，获取多个初始图像，其中的多个初始图像中包括边缘锐利的图像，然后，对于每个初始图像分别进行多次压缩处理从而得到训练集，其中的训练集中包括有多组图像，该多组图像的每一组图像包括初始图像和对初始图像进行压缩处理得到的压缩图像，之后，利用训练集对神经网络模型进行训练从而得到训练后的神经网络模型，因此，通过在训练集图像的预处理过程中将图像压缩多次，使压缩时图像产生振铃效应，以更加真实的模拟出现实中图像在传输时被多次压缩的过程，使神经网络能够更好的学习到低分辨率图像与高分辨率图像之间的映射关系，从而使基于深度学习的图像超分辨率算法的效果得到提升，以通过更好的解决振铃效应的过程来使图像的视觉效果得到提升，从而解决了现有技术中存在的图像的视觉效果较差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例一所提供的模型训练方法的流程图；
图2示出了本发明实施例二所提供的模型训练方法的流程图；
图3示出了本发明实施例二所提供的模型训练方法中具体压缩过程的流程图；
图4示出了本发明实施例六所提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，随着电视机、移动终端等图像及视频播放设备分辨率的不断提升，在低分辨率图像在高分辨率屏幕下显示时，相关技术中的方案，为适应高分辨率屏幕，一般会直接利用简单的插值技术对低分辨率图像进行放大，这样可能会导致视觉效果变差，比如容易产生马赛克，因此，更高分辨率图像的需求与日俱增，图像的质量较为重要。
另外，处理的图像在传输过程中被多次压缩，图像信息丢失，尤其是高频信息的丢失，图像灰度剧烈变化的邻域便会出现振荡，图像中人或物体的轮廓可能出现失真，从而使图像质量降低，这一现象称为振铃效应(Ringing effect)。
现有的解决振铃效应的方法包括基于深度学习的图像超分辨率处理(ImageSuper Resolution，简称：图像超分)方法，其中，深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换而构成的多个处理层，对数据进行高层抽象的算法。图像超分(Image Super Resolution)为图像超分辨率技术，是指从低分辨率图像重建出相应的高分辨率图像，该技术在图片或视频相关网站、手机系统、监控设备、卫星图像、医学影像等领域都具有重要的应用价值。
具体的，目前解决振铃效应的图像超分方法主要是构建卷积神经网络(Convolutional Neural Network，CNN)，投入图像训练样本，通过训练大量样本数据，使CNN学习到低分辨率图像与高分辨率图像之间的映射关系，即向CNN输入一张低分辨率图像，使CNN生成并输出一张高分辨率图像，在图像经过超分模型处理后，便可提升图像质量，从而消除马赛克、噪声等。
需要说明的是，CNN是一种前馈神经网络，它是由一个或多个卷积层和顶端的全连通层(对应经典的神经网络)组成，同时也包括关联权重和池化层(pooling layer)。与其他深度学习的结构相比，CNN在图像和语音识别方面能够给出更好的结果。
但是，目前在对图像进行超分辨率处理时，还没有很好地解决振铃效应，从而导致产生的图像的视觉效果较差。
基于此，本发明实施例提供的一种模型训练方法、图像处理方法、装置及电子设备，可以解决现有技术中存在的图像的视觉效果较差的技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种模型训练方法、图像处理方法、装置及电子设备进行详细介绍。
实施例一：
本发明实施例提供的一种模型训练方法，如图1所示，包括：
S11：获取多个初始图像，其中，多个初始图像中包括边缘锐利的图像。
作为本实施例的优选实施方式，获取到的初始图像可以为视频图像，也可以是单帧图片。再者，这些初始图像可以设置于电子文件中，例如压缩包、文件夹等。
在实际应用中，这些获取到的初始图像中包含有图像边缘锐利的图像，以此实现在这些初始图像中包含有轮廓锐利的高清图像。边缘锐利的图像可以是指图像中包含色度或灰度突然变化的边缘轮廓，即该边缘轮廓两边的色度或灰度具有明显的大幅度变化，也可以是颜色对比强烈的边缘的图像，例如边缘锐利的图像可以包括以下几类：轮廓锐利的动漫图像、人手或人脸等边缘较为锐利的图像、人物与背景之间色差明显的图像等。
多个初始图像中可以包括有若干个轮廓锐利的高清图像，当然，这些轮廓锐利的高清图像在多个图像中所占比例可以为任意值。
S12：对于每个初始图像分别进行多次压缩处理，得到训练集。
其中，训练集中包括：多组图像，多组图像的每一组图像包括：初始图像，以及对初始图像进行压缩处理得到的压缩图像。
本实施例中，在训练集图像的预处理过程中将图像随机压缩了多次。具体的，对训练集图像预处理时，将图像随机压缩多次，模拟现实中图像在传输时被多次压缩的过程。由于训练集中的每一组图像中包括有初始图像以及对初始图像进行压缩处理得到的压缩图像，而且，这些初始图像中还包含有轮廓锐利的高清图像，在初始图像为边缘锐利的图像时，生成的与初始图像对应的压缩图像为具有振铃效应的图像。因此，经过压缩后能够更好的模拟出现实中的振铃效应，从而使预处理后的训练集中包括了具有振铃效应的压缩后的图像。
作为一个优选方案，通过随机压缩的方式对初始图像进行压缩处理。本步骤中，对每个初始图像进行随机压缩处理的具体体现可以不同，只要是将图像随机压缩多次，以达到模拟现实中图像在传输、存储等各种情景下被多次压缩的过程。由于每次压缩处理过程对该图像都会造成随机程度的质量损失，从而使这一过程模拟了现实中图像在传输、存储等过程中的各种复杂情况造成的质量损失。
S13：利用训练集对神经网络模型进行训练，得到训练后的神经网络模型。
本实施例中的神经网络模型优选为CNN。由于预处理后的训练集中包括了具有振铃效应的压缩后的图像，使CNN能够更好的学习到高清图像(初始图像)与其对应产生的轮廓失真图像(压缩图像)之间的映射关系，进而使之后的基于深度学习的图像超分辨率算法的效果能够得到提升，从而能够在进行图像超分处理过程中改善解决图像振铃效应的效果，以通过更好的解决振铃效应来使图像的质量得到提高。例如，对于人手边缘等边缘较为锐利的图像，这部分的振铃效应便能够得到更好的解决。
本实施例中，通过对训练集图像的收集和预处理过程进行改进，再利用这些预处理后的训练集对神经网络模型进行训练，能够使超分辨率处理后图像的振铃效应得到更好的改善，以使产生的图像获得了更好的视觉效果。
实施例二：
本发明实施例提供的一种模型训练方法，如图2所示，包括：
S21：获取多个初始图像，其中，多个初始图像中包括边缘锐利的图像。
需要说明的是，边缘锐利的图像通常是指图像中包含色度或灰度突然变化的边缘轮廓，也可以是颜色对比强烈的边缘的图像。以所选用的边缘锐利的图像为动漫图像为例，因此，多个初始图像中包括若干动漫图像，动漫图像在多个初始图像中所占比例可以为任意值。作为本实施例的优选实施方式，动漫图像在多个初始图像中所占比例为0.2％至1％之间。例如，选取1000张图像作为初始图像，其中包括有2至10张的动漫图像。
S22：确定对初始图像进行压缩的次数。
具体的，生成第一随机数值n，其中，n为正整数，优选为5以内的正整数，然后将n作为对初始图像进行压缩的次数。
在另一种可选的实施方式中，n也可以为0到5之间的整数。对于气滞n＝0的情况，在1000张初始图像中，可以允许小部分初始图像不经过压缩处理。
S23：基于确定的次数对初始图像进行压缩，得到训练集。
在实际应用中，对获取到的初始图像进行n次的压缩处理，从而得到训练集。
如图3所示，每次对初始图像进行压缩的过程具体包括以下步骤：
S231：确定图像的质量值，基于确定的质量值对初始图像进行处理，得到处理后的图像。
具体的，可以先生成第二随机数值m，其中，m可以为任意值的正整数，例如，m可以为1至100之间的整数。作为本实施例的优选实施方式，m为20至40之间的整数，即在20至40之间随机选取一个整数m。
然后，以m为质量值，对初始图像进行压缩处理。例如，在每一次图像压缩过程中，在20至40之间随机选取一个整数m作为图像的质量值，即基于该图像的质量值m对图像进行压缩处理。需要说明的是，该质量值可以理解为图像的质量损失程度。因此，按照之前确定的图像的质量损失程度对图像进行压缩处理，得到处理后的图像。而该质量损失程度与整数m之间的关系可以任意设置，例如，整数m的值越小，图像的质量损失便越大，则图像质量越差；或者也可以是整数m的值越大，图像的质量损失便越小，则图像质量越佳。因此，每次压缩处理过程对该图像都会造成随机程度的质量损失。
S232：确定是否对图像的大小进行调整。
本步骤中，可以先生成第三随机数值P。其中，在P为第一数值的情况下，确定对图像的大小进行调整；在P为第二数值的情况下，确定不对图像的大小进行调整。例如，可以在0和1之间随机取值：若取到0则不调整图像大小，即如果取到0则对图像不做处理；若取到1则对图像大小进行调整，即对图像的尺寸进行放大或缩小。
S233：在确定进行调整的情况下，确定调整图像的算法，基于算法对处理后的图像进行调整。
在P取到1的情况下，首先，随机确定调整图像的算法，之后基于确定的算法对处理后的图像的尺寸以随机比例进行放大或缩小。作为一个优选方案，缩放的比例为原来的0.5倍至2倍之间。其中，每次缩放过程都可以在现有的多种缩放方法中随机选择一种，优选的，缩放的方式为最近邻法、双线性插值法、双立方插值法和抗锯齿缩放法中的任意一种。
最近邻法也为最近邻插值法(nearest neighbor)，指将变换后的图像中的原像素点最邻近像素的灰度值赋给原像素点的方法；双线性插值(Bilinear Interpolation)也为双线性内插，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面；双立方插值法(Bicubic Interpolation)与双线性插值算法类似，对于放大后未知的像素点，将对其影响的范围扩大到邻近的16个像素点；抗锯齿缩放法是实现区域平均算法在图片缩放里的应用。
然后，将缩放后的图像的尺寸缩放为原尺寸。具体的，将缩放后的图像的尺寸调整回原来的大小，每次缩放过程都可以在现有的多种缩放方法中随机选择一种。作为一个优选方案，缩放的方式为最近邻法、双线性插值法、双立方插值法和抗锯齿缩放法中的任意一种。
需要说明的是，只在进行画质增强时，进行本步骤的过程，即将缩放后的图像的尺寸缩放为原尺寸，从而使最终缩放得到的图像尺寸为原尺寸。而在进行图像超分同时增强画质时，最终缩放得到的图像尺寸是低分辨率图像尺寸。例如，对于2倍超分的模型准备训练集，如果原图宽为w，高为h，则训练集预处理缩放后低分辨率图像的宽为w/2，高为h/2。
因此，本实施例包括两种实施方式，一个是在对图像超分的同时进行画质增强(即不包括将缩放后的图像的尺寸缩放为原尺寸的过程)，另一个是单纯只进行画质增强而图像尺寸不变(即包括了将缩放后的图像的尺寸缩放为原尺寸的过程)。
本实施例中，在对训练集图像进行预处理时，将图像随机压缩多次，随机压缩具体体现在以下几个方面：首先，压缩的次数随机；并且，压缩时图像的质量损失程度随机；再者，是否调整图像大小随机；若调整图像大小，则调整后图像的大小也随机；而且，调整图像的算法也随机，如最近邻法、双线性插值法、双立方插值法和抗锯齿缩放法等。从而能够模拟出现实中更加真实的图像传输、存储等过程中的各种复杂情况下对图像造成的质量损失。
由于每次压缩处理过程对该图像都会造成随机程度的质量损失，因此，步骤S22至步骤S23的过程模拟了初始图像在传输、存储等过程中的各种复杂情况下产生的质量损失。因此，步骤S23中最后生成的训练集中包括了具有振铃效应的压缩后的图像。
此外，本实施例中还向训练集中加入了高清的动漫图像(即步骤S21)，动漫图像的特点是其轮廓锐利，经过压缩后能够更好的模拟出现实中的振铃效应。
S24：利用训练集对神经网络模型进行训练，得到训练后的神经网络模型。
本步骤中，针对训练集中的每一组图像，依次执行以下操作：
首先，将压缩图像输入至神经网络模型，得到重建图像。然后，将重建图像与压缩图像对应的初始图像进行对比，获得图像差异。最后，根据图像差异调整神经网络模型的参数。
通过模拟现实中图像在传输时被多次压缩和缩放的过程，使处理后得到的低分辨率图像发生了振铃效应，以便于神经网络模型在训练过程中，能够更好的学习到高清图像(初始图像)与对应产生的轮廓失真图像(压缩图像)之间的对应关系。从而能够在对图像进行超分辨率处理过程中，改善解决图像振铃效应的效果，通过更好的解决振铃效应来使图像的质量得到提高。因此，本实施例提供的模型训练方法也可以作为一种有效消除振铃效应的基于深度学习的画质增强方法。
实施例三：
本发明实施例提供一种图像处理方法，包括：
获取待处理图像；
将待处理图像输入至训练后的神经网络模型，得到目标图像。
其中，训练后的神经网络模型为利用训练集对神经网络模型训练得到的，训练集中包括多组图像，多组图像的每一组图像包括：初始图像和与初始图像对应的压缩图像，压缩图像为对初始图像进行多次压缩处理得到的图像，多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。比如，该训练后的神经网络模型，可以是通过上述实施例二提供的模型训练方法训练获得的。
本发明实施例提供的图像处理方法，与上述实施例提供的模型训练方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例四：
本发明实施例提供的一种模型训练装置，包括：
获取单元，用于获取多个初始图像。其中，多个初始图像中包括边缘锐利的图像；在实际应用中，多个初始图像中包括若干动漫图像。作为本实施例的优选实施方式，其动漫图像在多个图像中所占比例为0.2％至1％之间。
处理单元，用于对于每个初始图像分别进行多次压缩处理，得到训练集，其中，训练集中包括：多组图像，多组图像的每一组图像包括：初始图像，对初始图像进行压缩处理得到的压缩图像。
训练单元，用于利用训练集对神经网络模型进行训练，得到训练后的神经网络模型。
具体的，处理单元包括：
第一确定模块，用于确定对初始图像进行压缩的次数。
压缩模块，用于基于确定的次数对初始图像进行压缩；其中，每次对初始图像进行压缩的过程包括：确定图像的质量值，基于确定的质量值对初始图像进行处理，得到处理后的图像；确定是否对图像的大小进行调整，在确定进行调整的情况下，确定调整图像的算法，基于算法对处理后的图像进行调整。
进一步的是，处理单元还包括：
第一生成模块，用于生成第一随机数值n。
第二确定模块，用于将n作为次数，优选为5以内的正整数。
作为本实施例的优选实施方式，处理单元还包括：
第二生成模块，用于生成第二随机数值m。
处理模块，用于以m为质量值，对初始图像进行处理。其中，m为正整数。作为一个优选方案，m为20至40之间的整数。
本实施例中，处理单元还包括：
第三生成模块，用于生成第三随机数值P；
第三确定模块，用于在P为第一数值的情况下，确定对图像的大小进行调整，以及在P为第二数值的情况下，确定不对图像的大小进行调整。
进一步，处理单元还包括：
缩放模块，用于随机确定图像的算法，并基于确定的算法对处理后的图像的尺寸以随机比例进行缩放，优选的，其缩放比例为0.5倍至2倍之间。
在实际应用中，缩放模块还用于将缩放后的图像的尺寸缩放为原尺寸。需要说明的是，第二缩放单元只在进行画质增强时进行运行，以使最终缩放得到的图像尺寸为原尺寸。而在进行图像超分同时增强画质时，最终缩放得到的图像尺寸是低分辨率图像尺寸。例如，为2倍超分的模型准备训练集，具体的，如果原图宽为w，高为h，则训练集预处理缩放后低分辨率图像的宽为w/2，高为h/2。本实施例中，上述缩放的方式可以为最近邻法、双线性插值法、双立方插值法和抗锯齿缩放法中的任意一种。
此外，训练单元包括输入模块、对比模块和调整模块。针对训练集中的每一组图像：
输入模块，用于将压缩图像输入至神经网络模型，得到重建图像。
对比模块，用于将重建图像与压缩图像对应的初始图像进行对比，获得图像差异。
调整模块，用于根据图像差异调整神经网络模型的参数。
本发明实施例提供的模型训练装置，与上述实施例提供的模型训练方法以及图像处理方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例五：
本申请实施例提供的一种图像处理装置，包括：
获取单元，用于获取待处理图像；
输入单元，用于将待处理图像输入至训练后的神经网络模型，得到目标图像。其中，训练后的神经网络模型为利用训练集对神经网络模型训练得到的，训练集中包括多组图像，多组图像的每一组图像包括：初始图像和与初始图像对应的压缩图像，压缩图像为对初始图像进行多次压缩处理得到的图像，多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。
实施例六：
本申请实施例提供的一种电子设备，如图4所示，电子设备4包括存储器41、处理器42，所述存储器中存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一、实施例二或实施例三提供的方法的步骤。
参见图4，电子设备还包括：总线43和通信接口44，处理器42、通信接口44和存储器41通过总线43连接；处理器42用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口44(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线43可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，所述处理器42在接收到执行指令后，执行所述程序，前述本申请任一实施例揭示的过程定义的装置所执行的方法可以应用于处理器42中，或者由处理器42实现。
处理器42可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器42中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器42可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器42读取存储器41中的信息，结合其硬件完成上述方法的步骤。
实施例七：
本发明实施例提供的一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行上述实施例一、实施例二或实施例三提供的方法。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
本发明实施例提供的具有处理器可执行的非易失的程序代码的计算机可读介质，与上述实施例提供的模型训练方法、图像处理方法、装置及电子设备具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行模型训练方法及图像处理方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (18)
1.一种模型训练方法，其特征在于，包括：
获取多个初始图像；其中，所述多个初始图像中包括边缘锐利的图像；
对于每个所述初始图像分别进行多次压缩处理，得到训练集，其中，所述训练集中包括：多组图像，所述多组图像的每一组图像包括：所述初始图像，对所述初始图像进行压缩处理得到的压缩图像；
利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型。
2.根据权利要求1所述的方法，其特征在于，通过以下方式对所述初始图像进行多次压缩处理：
确定对所述初始图像进行压缩的次数；
基于确定的所述次数对所述初始图像进行压缩；其中，每次对所述初始图像进行压缩的过程包括：确定图像的质量值，基于确定的所述质量值对所述初始图像进行处理，得到处理后的图像；确定是否对图像的大小进行调整，在确定进行调整的情况下，确定调整图像的算法，基于所述算法对所述处理后的图像进行调整。
3.根据权利要求2所述的方法，其特征在于，确定对所述初始图像进行压缩的次数，包括：
生成第一随机数值n；
将所述n作为所述次数；
其中，n为正整数。
4.根据权利要求2所述的方法，其特征在于，确定图像的质量值，基于确定的所述质量值对所述初始图像进行处理，得到处理后的图像，包括：
生成第二随机数值m；
以所述m为质量值，对所述初始图像进行处理；
其中，m为正整数。
5.根据权利要求2所述的方法，其特征在于，确定是否对图像的大小进行调整，包括：
生成第三随机数值P；其中，在所述P为第一数值的情况下，确定对图像的大小进行调整；在所述P为第二数值的情况下，确定不对图像的大小进行调整。
6.根据权利要求2所述的方法，其特征在于，确定调整图像的算法，基于所述算法对所述处理后的图像进行调整包括：
随机确定图像的算法；
基于确定的所述算法对所述处理后的图像的尺寸以随机比例进行缩放；
将缩放后的图像的尺寸缩放为原尺寸。
7.根据权利要求1所述的方法，其特征在于，利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型包括：
针对所述训练集中的每一组图像，依次执行以下操作：
将所述压缩图像输入至神经网络模型，得到重建图像；
将所述重建图像与所述压缩图像对应的初始图像进行对比，获得图像差异；
根据所述图像差异调整所述神经网络模型的参数。
8.一种图像处理方法，其特征在于，包括：
获取待处理图像；
将所述待处理图像输入至训练后的神经网络模型，得到目标图像；其中，所述训练后的神经网络模型为利用训练集对神经网络模型训练得到的，所述训练集中包括多组图像，所述多组图像的每一组图像包括：初始图像和与所述初始图像对应的压缩图像，所述压缩图像为对所述初始图像进行多次压缩处理得到的图像，所述多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与所述边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。
9.一种模型训练装置，其特征在于，包括：
获取单元，用于获取多个初始图像；其中，所述多个初始图像中包括边缘锐利的图像；
处理单元，用于对于每个所述初始图像分别进行多次压缩处理，得到训练集，其中，所述训练集中包括：多组图像，所述多组图像的每一组图像包括：所述初始图像，对所述初始图像进行压缩处理得到的压缩图像；
训练单元，用于利用所述训练集对神经网络模型进行训练，得到训练后的神经网络模型。
10.根据权利要求9所述的装置，其特征在于，所述处理单元包括：
第一确定模块，用于确定对所述初始图像进行压缩的次数；
压缩模块，用于基于确定的所述次数对所述初始图像进行压缩；其中，每次对所述初始图像进行压缩的过程包括：确定图像的质量值，基于确定的所述质量值对所述初始图像进行处理，得到处理后的图像；确定是否对图像的大小进行调整，在确定进行调整的情况下，确定调整图像的算法，基于所述算法对所述处理后的图像进行调整。
11.根据权利要求10所述的装置，其特征在于，所述处理单元还包括：
第一生成模块，用于生成第一随机数值n；
第二确定模块，用于将所述n作为所述次数；
其中，n为正整数。
12.根据权利要求10所述的装置，其特征在于，所述处理单元还包括：
第二生成模块，用于生成第二随机数值m；
处理模块，用于以所述m为质量值，对所述初始图像进行处理；
其中，m为正整数。
13.根据权利要求10所述的装置，其特征在于，所述处理单元还包括：
第三生成模块，用于生成第三随机数值P；
第三确定模块，用于在所述P为第一数值的情况下，确定对图像的大小进行调整，以及在所述P为第二数值的情况下，确定不对图像的大小进行调整。
14.根据权利要求10所述的装置，其特征在于，所述处理单元还包括：
缩放模块，用于随机确定图像的算法，基于确定的所述算法对所述处理后的图像的尺寸以随机比例进行缩放，并将缩放后的图像的尺寸缩放为原尺寸。
15.根据权利要求9所述的装置，其特征在于，所述训练单元包括输入模块、对比模块和调整模块；
针对所述训练集中的每一组图像：
所述输入模块，用于将所述压缩图像输入至神经网络模型，得到重建图像；
所述对比模块，用于将所述重建图像与所述压缩图像对应的初始图像进行对比，获得图像差异；
所述调整模块，用于根据所述图像差异调整所述神经网络模型的参数。
16.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理图像；
输入单元，用于将所述待处理图像输入至训练后的神经网络模型，得到目标图像；其中，所述训练后的神经网络模型为利用训练集对神经网络模型训练得到的，所述训练集中包括多组图像，所述多组图像的每一组图像包括：初始图像和与所述初始图像对应的压缩图像，所述压缩图像为对所述初始图像进行多次压缩处理得到的图像，所述多组图像中至少一组图像中包括的初始图像为边缘锐利的图像，与所述边缘锐利的图像对应的压缩图像为具有振铃效应的压缩图像。
17.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至8任一项所述的方法的步骤。
18.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367654.0A CN109996085B (zh) | 2019-04-30 | 2019-04-30 | 模型训练方法、图像处理方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910367654.0A CN109996085B (zh) | 2019-04-30 | 2019-04-30 | 模型训练方法、图像处理方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109996085A true CN109996085A (zh) | 2019-07-09 |
| CN109996085B CN109996085B (zh) | 2021-05-14 |
Family
ID=67136098
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910367654.0A Active CN109996085B (zh) | 2019-04-30 | 2019-04-30 | 模型训练方法、图像处理方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109996085B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485661A (zh) * | 2016-11-15 | 2017-03-08 | 杭州当虹科技有限公司 | 一种高质量的图像放大方法 |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
| US20180268284A1 (en) * | 2017-03-15 | 2018-09-20 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
-
2019
- 2019-04-30 CN CN201910367654.0A patent/CN109996085B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485661A (zh) * | 2016-11-15 | 2017-03-08 | 杭州当虹科技有限公司 | 一种高质量的图像放大方法 |
| US20180268284A1 (en) * | 2017-03-15 | 2018-09-20 | Samsung Electronics Co., Ltd. | System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions |
| CN106960416A (zh) * | 2017-03-20 | 2017-07-18 | 武汉大学 | 一种内容复杂性自适应的视频卫星压缩图像超分辨率方法 |
| US20180336662A1 (en) * | 2017-05-17 | 2018-11-22 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image capturing apparatus, and storage medium |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
| CN107563965A (zh) * | 2017-09-04 | 2018-01-09 | 四川大学 | 基于卷积神经网络的jpeg压缩图像超分辨率重建方法 |
| CN109325928A (zh) * | 2018-10-12 | 2019-02-12 | 北京奇艺世纪科技有限公司 | 一种图像重建方法、装置及设备 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110930333A (zh) * | 2019-11-22 | 2020-03-27 | 北京金山云网络技术有限公司 | 图像修复方法、装置、电子设备及计算机可读存储介质 |
| CN111182254A (zh) * | 2020-01-03 | 2020-05-19 | 北京百度网讯科技有限公司 | 一种视频处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109996085B (zh) | 2021-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kobler et al. | Variational networks: connecting variational methods and deep learning | |
| Yu et al. | A unified learning framework for single image super-resolution | |
| Wang et al. | Deep networks for image super-resolution with sparse prior | |
| CN111429347A (zh) | 图像超分辨率重建方法、装置及计算机可读存储介质 | |
| CN106228512A (zh) | 基于学习率自适应的卷积神经网络图像超分辨率重建方法 | |
| CN105844653B (zh) | 一种多层卷积神经网络优化系统及方法 | |
| CN108376387A (zh) | 基于聚合膨胀卷积网络的图像去模糊方法 | |
| CN110310229A (zh) | 图像处理方法、图像处理装置、终端设备及可读存储介质 | |
| US20100124383A1 (en) | Systems and methods for resolution-invariant image representation | |
| CN107729948A (zh) | 图像处理方法及装置、计算机产品和存储介质 | |
| CN109949224B (zh) | 一种基于深度学习的联级超分辨率重建的方法及装置 | |
| CN107590775B (zh) | 一种利用回归树场的图像超分辨率放大方法 | |
| Zhang et al. | Accurate and efficient image super-resolution via global-local adjusting dense network | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| CN112991165B (zh) | 一种图像的处理方法及装置 | |
| CN108875900A (zh) | 视频图像处理方法和装置、神经网络训练方法、存储介质 | |
| Chira et al. | Image super-resolution with deep variational autoencoders | |
| CN110062282A (zh) | 一种超分辨率视频重建方法、装置及电子设备 | |
| Guan et al. | Srdgan: learning the noise prior for super resolution with dual generative adversarial networks | |
| Kim et al. | Pynet-ca: enhanced pynet with channel attention for end-to-end mobile image signal processing | |
| CN109996085A (zh) | 模型训练方法、图像处理方法、装置及电子设备 | |
| CN110830808A (zh) | 一种视频帧重构方法、装置及终端设备 | |
| Liu et al. | A deep recursive multi-scale feature fusion network for image super-resolution | |
| CN111160501A (zh) | 一种二维码训练数据集的构建方法及装置 | |
| Liu et al. | Facial image inpainting using multi-level generative network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |