CN113177888A - 超分修复网络模型生成方法、图像超分修复方法及装置 - Google Patents
超分修复网络模型生成方法、图像超分修复方法及装置 Download PDFInfo
- Publication number
- CN113177888A CN113177888A CN202110459814.1A CN202110459814A CN113177888A CN 113177888 A CN113177888 A CN 113177888A CN 202110459814 A CN202110459814 A CN 202110459814A CN 113177888 A CN113177888 A CN 113177888A
- Authority
- CN
- China
- Prior art keywords
- network model
- image
- loss function
- trained
- resolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 76
- 238000005070 sampling Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 147
- 238000012549 training Methods 0.000 claims description 33
- 238000004821 distillation Methods 0.000 claims description 25
- 230000008439 repair process Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 16
- 230000005540 biological transmission Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013140 knowledge distillation Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种超分修复网络模型生成方法，具体地，获取待训练图像，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，生成获得超分修复网络。学生网络模型为ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续处理模块的输入，增强特征的传递，使得后续处理模块利用更多的图像特征进行训练，提高修复效果。在处理模块中增加具有较小卷积核的第一卷积层，降低图像特征的维度，减少计算量，提高处理速度。
Description
技术领域
本申请涉及图像处理技术领域，具体涉及一种超分修复网络模型生成方法、图像超分修复方法及装置。
背景技术
随着互联网技术的不断发展，短平快的大流量传播内容逐渐获得各大平台和用户的青睐，尤其是短视频的传输。然而，由于噪声、压缩等损失导致视频、图像画面模糊、噪点密集等情况，进而造成展示的画面较差。
为提高图像的质量，出现了大量的图像修复方法，如利用超分修复网络对图像进行修复。然而，为实现较好的修复效果，很多超分修复方法耗时严重，导致无法平衡修复效果和时延。
发明内容
有鉴于此，本申请实施例提供一种超分修复网络模型生成方法、图像超分修复方法及装置，提高修复效果，降低修复时延。
为解决上述问题，本申请实施例提供的技术方案如下：
在本申请实施例第一方面，提供了一种超分修复网络模型生成方法，该方法可以包括：
获取待训练图像，所述待训练图像为低分变率图像；
将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；
所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
在一种具体的实现方式中，所述第一卷积层的卷积核为1*1。
在一种具体的实现方式中，所述基本模块包括一个RRDB模块。
在一种具体的实现方式中，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于所述第一卷积层的卷积核。
在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。
在一种具体的实现方式中，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；
对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。
在一种具体的实现方式中，所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数；所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数；第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数，所述第一像素为所述待训练图像中的任一像素。
在一种具体的实现方式中，在将所述待训练图像分别输入学生网络模型之前，所述方法还包括：
将所述待训练图像分别输入初始网络模型和教师网络模型，以获得像素蒸馏对应的第四损失函数；
根据所述第四损失函数对所述初始网络模型的参数进行更新，以获得学生网络模型。
在一种具体的实现方式中，所述第四损失函数表示所述初始网络模型针对所述待训练图像中第二像素的输出结果与所述教师网络模型针对所述待训练图像中所述第二像素的输出结果之间的损失函数，所述第二像素为所述待训练图像中的任一像素。
在本申请实施例第二方面，提供了一种图像超分修复方法，所述方法包括：
获取待处理图像，所述待处理图像为低分辨率图像；
将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据第一方面所述的方法训练生成的。
在本申请实施例第三方面，提供了一种超分修复网络模型生成装置，所述装置包括：
第一获取单元，用于获取待训练图像，所述待训练图像为低分变率图像；
第二获取单元，用于将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
生成单元，用于根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络；
所述学生网络模型为增强型超分辨生成对抗ESRGAN网络，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个RRDB模块，所述RRDB模块包括多个处理模块，每个所述处理模块的输出作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
在本申请实施例第四方面，提供了一种图像超分修复装置，所述装置包括：
第一获取单元，用于获取待处理图像，所述待处理图像为低分辨率图像；
第二获取单元，用于将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据第一方面所述的方法训练生成的。
在本申请实施例第五方面，提供了一种电子设备，所述设备包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行第一方面所述的超分修复网络模型生成方法或第二方面所述的图像超分修复方法。
在本申请实施例第六方面，提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行以上第一方面所述的超分修复网络模型生成方法或第二方面所述的图像超分修复方法。
由此可见，本申请实施例具有如下有益效果：
本申请实施例获取待训练图像(低分辨率图像)，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。其中，教师网络模型为已经完成训练的大型网络。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，进而生成获得超分修复网络。其中，学生网络模型为增强型超分辨生成对抗ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。其中，基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续的处理模块的输入。也就是，在训练时学生网络模型时，将每个处理模型的输入作为后续每个处理处理模块的输入，增强特征的传递，以使得后续处理模块可以利用更多的图像特征进行训练，以提高超分修复的效果。其中，处理模块包括依次相连的第一卷积层、第二卷积层和激活层，且第一卷积层的卷积核小于所述第二卷积层的卷积核。即，在处理模块中增加了具有较小卷积核的第一卷积层，进而降低图像特征的维度，减少计算量，提高处理速度。
在实际应用中，获取具有低分辨率的待处理图像，将该待处理图像输入超分修复网络模型中，以获得具有高分辨率的目标图像，即超分修复图像。
附图说明
图1a为传统的RRDB模块结构图；
图1b为本申请实施例提供的一种RRDB模块结构图；
图1c为本申请实施例提供的一种ESRGAN网络结构图；
图2为本申请实施例提供的一种超分修复网络模型生成方法流程图；
图3为本申请实施例提供的一种图像超分修复方法流程图；
图4为本申请实施例提供的一种超分修复网络模型生成装置结构图；
图5为本申请实施例提供的一种图像超分修复装置结构图；
图6为本申请实施例提供的一种电子设备结构图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请实施例作进一步详细的说明。
发明人在对图像修复研究中发现，传统的图像修复方法普遍存在修复效果和处理延时无法平衡的问题，导致耗时严重。此外，传统的图像超分修复方法以峰值信噪比(PeakSignal to Noise Ratio，PSNR)为指标进行超分修复网络训练。其中，PSNR主要计算原图像与被处理图像之间的均方误差，无法与人眼看到的视觉效果一致，影响修复效果。
基于此，本申请实施例提供了一种超分修复网络模型，该超分修复网络模型为增强型超分辨生成对抗网络(Enhanced super-Resolution Generative adversarialnetwork，ESRGAN)，该ESRGAN网络包括基本模块、上采样模块以及卷积模块；其中，基本模块包括一个或多个(Residual-in-Residual Dense Block，RRDB)，该RRDB包括多个处理模块，每个处理模块包括依次相连的第一卷积层、第二卷积层和激活层。其中，每个处理模块的输入均作为后续每个处理模块的输入，增加训练时的图像特征，提高修复效果，同时第一卷积层小于第二卷积层，减少计算量，降低处理时延。
为便于理解本申请实施例的技术方案，将先对本申请实施例中的ESRGAN网络进行简单说明。
ESRGAN网络，是通过对超分辨率生成对抗网络(super-Resolution Generativeadversarial network，SRGAN)进行改进获得。具体地，对三个SRGAN网络的三个关键部分进行改进：1)网络结构，将SRGAN网络的基本单元从基本的残差单元变为RRDB；2)对抗性损失，GAN网络改进为(Relativistic average GAN，RaGAN)；3)感知域损失函数，使用激活前的计算机视觉组(Visual Geometry Group，VGG)特征。
通常情况下，RRDB模块的结构如图1a所示，包括多个依次相连的卷积层conv和激活层LRelu。其中，每个卷积层的输入也将作为后续多个卷积层的输入，从而增加训练时所依据的图像特征的数量。虽然该方式可以提高模型训练效果，但将增加计算量，降低训练速率，提高时延。为保证训练效果，同时降低计算量，本申请实施例增加了一卷积层，即第一卷积层，该第一卷积层的卷积核小于原卷积层(第二卷积层)的卷积核。如图1b所示，原卷积层为Conv2，新增的第一卷积层为Conv1。例如，Conv2的卷积核为3*3，Conv1的卷积核可以为1*1。再例如，Conv2的卷积核为5*5，Conv1的卷积核可以为3*3。通过新增的第一卷积层可以降低图像特征的维度，进而减少计算量，提高处理效率。
另外，ERSGAN网络本身包括由16-23个RRDB模块串联构成的基本模块Basicblock，为减少计算量，本申请实施例中的基本模块可以根据实际需求配置，例如，基本模块仅包括1个RRDB模块。进一步地，为减少计算量，本申请实施例中的ESRGAN网络中的卷积模块还可以包括第三卷积层。例如图1c所示，本申请实施例包括基本模块、上采样模块Upsampling以及卷积模块，其中，卷积模块包括两个第三卷积层covn1和两个第四卷积层covn2。其中，第三卷积层的卷积核可以等于第一卷积层的卷积核，第四卷积层的卷积核可以等于第二卷积层的卷积核。
为便于理解本申请实施例的技术方案，下面将结合附图进行说明。
参见图2，该图为本申请实施例提供的一种超分修复网络模型生成方法流程图，如图2所示，该方法可以包括：
S201：获取待训练图像，该待训练图像为低分辨率图像。
为训练生成超分修复网络模型，首先获取待训练图像，以利用待训练图像对学生网络模型进行训练。具体地，为提高训练效果以及网络的泛化性，可以获取大量的、多样化的待训练图像，增强网络的学习能力。
S202：将待训练图像分别输入学生网络模型和教师网络模型，获得学生网络模型对应的损失函数。
在获取到待训练图像，本实施例利用知识蒸馏算法对学生网络模型进行训练，以使得训练后的学生网络模型的处理效果可以逼近教师网络模型的处理效果。因此，将待训练图像分别输入学生网络模型和教师网络模型，获得学生网络模型对应的损失函数。其中，知识蒸馏指的是模型压缩的思想，通过使用一个较大的已经训练好的网络(教师网络模型)去引导一个较小的网络(学生网络模型)学习教师网络模型所具有的能力或行为。
本实施例中，针对获得学生网络模型对应的损失函数可以通过以下方式实现：
将待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数以及整体蒸馏对应的第二损失函数；根据第一损失函数和第二损失函数获得学生网络模型对应的损失函数。其中，像素蒸馏(pixel-wise-distillation)将每个像素pixel看作分类的单位，独立地进行蒸馏；整体蒸馏(holistic distillation)利用了对抗式训练策略，如以教师网络模型的输出为真，以学生网络模型的输出为假，进行对抗学习，使得学生网络模型和教师网络模型的输出没法被区分出来，达到了图像级别的知识蒸馏。其中，整体蒸馏主要训练的是图像的纹理特征。第一损失函数表示学生网络模型针对待训练图像中第一像素的输出结果与教师网络模型针对待训练图像中所述第一像素的输出结果之间的损失函数；第二损失函数表示学生网络模型针对所述待训练图像的输出结果与教师网络模型针对所述待训练图像的输出结果之间的损失函数。其中，第一像素为待训练图像中的任一像素。
具体地，像素蒸馏对应的第一损失函数可以为L1 loss损失函数或L2 loss损失函数。其中，L1 loss损失函数又称最小绝对值偏差或最小绝对值误差，计算公式如下：
其中，yi表示教师网络模型第i个像素值，f(xi)表示学生网络第i个像素值，n表示待训练图像存在的像素数量。
其中，L2 loss损失函数又可以称为最小均方值偏差或最小均方值误差，公式如下：
需要说明的是，可以在ESRGAN网络的基本模块的输出所在位置计算获得第一损失函数loss1。
对于整体蒸馏所对应的第二损失函数loss2，具体可以为gan网络通常所采用的交叉熵损失函数，或者其他可以度量两个参数之间距离的函数，例如基于Wassersteindistance的损失函数等。其中，计算第二损失函数的位置为学生网络模型的最终输出以及教师网络模型的最终输出。其中，交叉熵损失函数的计算公式如下：
L(G,D)＝∑E(log Dd)+∑E[log(1-D(G(p)))]
其中，G生成器，D判别器，d表示真实的数据，Dd表示判别器对真实数据的判别结果，G(p)表示生成的假数据，D(G(p))表示判别器对于假数据的判别结果。log函数在区间【0,1】之间的取值是(-∞，0)是一个递增函数。该公式体现了生成器和判别器博弈的过程，生成器希望损失约小越好，而判别器希望越大越好。
在获得第一损失函数loss1和第二损失函数loss2后，可以根据loss1和loss2获得学生网络模型对应的整体损失函数。例如，loss1和loss2分别对应的权重为a、b，则整体损失函数loss＝a*loss1+b*loss2。
进一步地，还可以获得判别器对应的第三损失函数loss3，即学生网络模型对应的判别器与教师网络模型对应的判别器之间的损失函数。例如该第三损失函数可以为L1loss损失函数或L2 loss损失函数。则可以根据loss1、loss2以及loss3进行加权求和，获得学生网络模型对应的整体损失函数。
在一种实现方式中，学生网络模型可以为初始网络模型，也可以为对初始网络模型进行简单训练后的网络模型，从而提高后续训练效率。具体地，将待训练图像分别输入初始网络模型以及教师网络模型，以获得像素蒸馏对应的第四损失函数；根据第四损失函数对初始网络模型的参数进行更新，以获得学生网络模型，进而在对学生网络模型进行训练。其中，第四损失函数可以为L1 loss函数或L2 loss损失函数。
其中，学生网络模型或初始网络模型为增强型超分辨生成对抗网络ESRGAN，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。其中，基本模块包括一个或多个残差密度模块RRDB，该RRDB包括多个处理模块，每个处理模块的输入作为后续的处理模块的输入，且处理模块包括依次相连的第一卷积层、第二卷积层和激活层。其中，第一卷积层的卷积核小于所述第二卷积层的卷积核。具体地，RRDB模块的结构可以参见图1b，ESRGAN网络结构可以参见图1c。
另外，在训练学生网络模型时，为使得学生网络模型的输出图像更符合人眼视觉效果，可以以学习知觉图像补丁相似度(Learned Perceptual Image Patch Similarity，LPIPS)为指标进行训练。
S203：根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，训练生成超分修复网络模型。
在每次训练后，获得学生网络模型对应的损失函数，进而可以利用反向传播算法对学生网络模型的参数进行不断更新，以使得学生网络模型的损失函数满足预设条件，进而训练生成超分修复网络模型。其中，预设条件可以为学生网络模型对应的损失函数最小。
通过上述方法可知，获取待训练图像(低分辨率图像)，并将该待训练图像分别输入学生网络模型和教师网络模型，以获得该学生网络模型对应的损失函数。其中，教师网络模型为已经完成训练的大型网络。根据损失函数对学生网络模型的参数进行更新，以使得学生网络模型的损失函数满足预设条件，进而生成获得超分修复网络。其中，学生网络模型为增强型超分辨生成对抗ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。其中，基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续的处理模块的输入。也就是，在训练时学生网络模型时，将每个处理模型的输入作为后续每个处理处理模块的输入，增强特征的传递，以使得后续处理模块可以利用更多的图像特征进行训练，以提高超分修复的效果。其中，处理模块包括依次相连的第一卷积层、第二卷积层和激活层，且第一卷积层的卷积核小于所述第二卷积层的卷积核。即，在处理模块中增加了具有较小卷积核的第一卷积层，进而降低图像特征的维度，减少计算量，提高处理速度。
基于上述实施例训练生成的超分修复网络模型，在实际应用中，可以利用该超分修复网络模型对低分辨率的图像进行修复。
参见图3，该图为本申请实施例提供的一种图像超分修复方法流程图，如图3所示，该方法可以包括：
S301：获取待处理图像，所述待处理图像为低分辨率图像。
S302：将所述待处理图像输入超分修复网络模型，获得目标图像，:该目标图像为所述待处理图像对应的超分辨率图像。
本实施例中，在训练生成超分修复网络模型后，在需要对低分辨率图像进行超分修复时，可以将该低分辨率图像输入超分修复网络模型中，以对该低分辨率图像进行超分修复，获得超分辨率图像。其中，超分修复网络模型可以通过图2所示方法训练生成。
通过上述实施例可知，由于本申请实施例训练生成的超分修复网络模型为增强型超分辨生成对抗ESRGAN网络，该ESRGAN网络包括基本模块、上采样模块以及卷积模块。其中，基本模块包括一个或多个RRDB模块，该RRDB模块包括多个处理模块，每个处理模块的输入作为后续的处理模块的输入。也就是，在训练时学生网络模型是，将每个处理模型的输入作为后续每个处理处理模块的输入，增强特征的传递，以使得后续处理模块可以利用更多的图像特征进行训练，以提高超分修复的效果。同时，为减少计算量，还增加了具有较小卷积核的第一卷积层，从而降低处理时延。可见，通过利用该超分修复网络模型可以平衡修复效果与处理时延。
基于上述方法实施例，本申请实施例还提供了一种超分修复网络模型生成装置以及图像超分修复装置，下面将结合附图进行说明。
参见图4，该图为本申请实施例提供的一种超分修复网络模型生成装置结构图，如图4所示，该装置400可以包括：
第一获取单元401，用于获取待训练图像，所述待训练图像为低分变率图像；
第二获取单元402，用于将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
生成单元403，用于根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络；
所述学生网络模型为增强型超分辨生成对抗ESRGAN网络，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个RRDB模块，所述RRDB模块包括多个处理模块，每个所述处理模块的输出作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
在一种具体的实施方式中，所述第一卷积层的卷积核为1*1。
在一种具体的实施方式中，所述基本模块包括一个RRDB模块。
在一种具体的实施方式中，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于第一卷积层的卷积核。
在一种具体的实施方式中，所述第二获取单元，具体用于将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。
在一种具体的实施方式中，所述第二获取单元，具体用于将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。
在一种具体的实施方式中，所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数；所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数；第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数，所述第一像素为所述待训练图像中的任一像素。
在一种具体的实施方式中，所述装置还包括：
第三获取单元，用于将所述待训练图像分别输入初始网络模型和教师网络模型，以获得像素蒸馏对应的第四损失函数；根据所述第四损失函数对所述初始网络模型的参数进行更新，以获得学生网络模型。
在一种具体的实施方式中，所述第四损失函数表示所述初始网络模型针对所述待训练图像中第二像素的输出结果与所述教师网络模型针对所述待训练图像中所述第二像素的输出结果之间的损失函数，所述第二像素为所述待训练图像中的任一像素。
需要说明的是，本实施例中各个单元的实现可以参见图2所示方法中的相关描述，本实施例在此不再赘述。
参见图5，该图为本申请实施例提供的一种图像超分修复装置结构图，所述装置500包括：
第一获取单元501，用于获取待处理图像，所述待处理图像为低分辨率图像；
第二获取单元502，用于将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据所述的超分修复网络模型生成方法训练生成的。
需要说明的是，本实施例中各个单元的具体实现可以参见上述相应方法实施例，本实施例在此不再赘述。
参见图6，其示出了适于用来实现本公开实施例的电子设备(例如图6中的终端设备或服务器)700的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储装置706加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置706；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置706被安装，或者从ROM702被安装。在该计算机程序被处理装置701执行时，执行本公开实施例的方法中限定的上述功能。
本公开实施例提供的电子设备与上述实施例提供的超分修复网络模型生成方法或图像超分修复方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
本公开实施例提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例所提供的超分修复网络模型生成方法或图像超分修复方法。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备可以执行：
获取待训练图像，所述待训练图像为低分变率图像；
将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；
所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
或者，使得该电子设备可以执行：
获取待处理图像，所述待处理图像为低分辨率图像；
将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据上述方法训练生成的。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元/模块的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (14)
1.一种超分修复网络模型生成方法，其特征在于，所述方法包括：
获取待训练图像，所述待训练图像为低分变率图像；
将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络模型；
所述学生网络模型为增强型超分辨生成对抗网络ESRGAN，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个残差密度模块RRDB，所述RRDB包括多个处理模块，每个所述处理模块的输入作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
2.根据权利要求1所述的方法，其特征在于，所述第一卷积层的卷积核为1*1。
3.根据权利要求1或2所述的方法，其特征在于，所述基本模块包括一个RRDB模块。
4.根据权利要求1或2所述的方法，其特征在于，所述卷积模块包括第三卷积层，所述第三卷积层的卷积核等于所述第一卷积层的卷积核。
5.根据权利要求1所述的方法，其特征在于，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数获得所述学生网络模型对应的损失函数。
6.根据权利要求1所述的方法，其特征在于，所述将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数，包括：
将所述待训练图像分别输入学生网络模型和教师网络模型，以获得像素蒸馏对应的第一损失函数、整体蒸馏对应的第二损失函数以及判别器对应的第三损失函数；
对所述第一损失函数、第二损失函数以及第三损失函数进行加权，获得所述学生网络模型对应的损失函数。
7.根据权利要求5或6所述的方法，其特征在于，所述第一损失函数表示所述学生网络模型针对所述待训练图像中第一像素的输出结果与所述教师网络模型针对所述待训练图像中所述第一像素的输出结果之间的损失函数；所述第二损失函数表示所述学生网络模型针对所述待训练图像的输出结果与所述教师网络模型针对所述待训练图像的输出结果之间的损失函数；第三损失函数表示所述学生网络模型对应的判别器与所述教师网络模型对应的判别器之间的损失函数，所述第一像素为所述待训练图像中的任一像素。
8.根据权利要求1所述的方法，其特征在于，在将所述待训练图像分别输入学生网络模型之前，所述方法还包括：
将所述待训练图像分别输入初始网络模型和教师网络模型，以获得像素蒸馏对应的第四损失函数；
根据所述第四损失函数对所述初始网络模型的参数进行更新，以获得学生网络模型。
9.根据权利要求8所述的方法，其特征在于，所述第四损失函数表示所述初始网络模型针对所述待训练图像中第二像素的输出结果与所述教师网络模型针对所述待训练图像中所述第二像素的输出结果之间的损失函数，所述第二像素为所述待训练图像中的任一像素。
10.一种图像超分修复方法，其特征在于，所述方法包括：
获取待处理图像，所述待处理图像为低分辨率图像；
将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据权利要求1-9任一项所述的方法训练生成的。
11.一种超分修复网络模型生成装置，其特征在于，所述装置包括：
第一获取单元，用于获取待训练图像，所述待训练图像为低分变率图像；
第二获取单元，用于将所述待训练图像分别输入学生网络模型和教师网络模型，获得所述学生网络模型对应的损失函数；
生成单元，用于根据所述损失函数对所述学生网络模型的参数进行更新，以使得所述学生网络模型的损失函数满足预设条件，生成超分修复网络；
所述学生网络模型为增强型超分辨生成对抗ESRGAN网络，所述ESRGAN网络包括基本模块、上采样模块以及卷积模块，所述基本模块包括一个或多个RRDB模块，所述RRDB模块包括多个处理模块，每个所述处理模块的输出作为后续的处理模块的输入，所述处理模块包括依次相连的第一卷积层、第二卷积层和激活层，所述第一卷积层的卷积核小于所述第二卷积层的卷积核。
12.一种图像超分修复装置，其特征在于，所述装置包括：
第一获取单元，用于获取待处理图像，所述待处理图像为低分辨率图像；
第二获取单元，用于将所述待处理图像输入超分修复网络模型，获得目标图像，所述目标图像为所述待处理图像对应的超分辨率图像，所述超分修复网络模型是根据权利要求1-9任一项所述的方法训练生成的。
13.一种电子设备，所述设备包括：处理器和存储器；
所述存储器，用于存储指令或计算机程序；
所述处理器，用于执行所述存储器中的所述指令或计算机程序，以使得所述电子设备执行权利要求1-9任一项所述的超分修复网络模型生成方法或权利要求10所述的图像超分修复方法。
14.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行以上权利要求1-9任一项所述的超分修复网络模型生成方法或权利要求10所述的图像超分修复方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110459814.1A CN113177888A (zh) | 2021-04-27 | 2021-04-27 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| PCT/CN2022/080294 WO2022227886A1 (zh) | 2021-04-27 | 2022-03-11 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110459814.1A CN113177888A (zh) | 2021-04-27 | 2021-04-27 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177888A true CN113177888A (zh) | 2021-07-27 |
Family
ID=76926642
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110459814.1A Pending CN113177888A (zh) | 2021-04-27 | 2021-04-27 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113177888A (zh) |
| WO (1) | WO2022227886A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113850367A (zh) * | 2021-08-31 | 2021-12-28 | 荣耀终端有限公司 | 网络模型的训练方法、图像处理方法及其相关设备 |
| CN113922985A (zh) * | 2021-09-03 | 2022-01-11 | 西南科技大学 | 一种基于集成学习的网络入侵检测方法及系统 |
| WO2022227886A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| CN116071275A (zh) * | 2023-03-29 | 2023-05-05 | 天津大学 | 基于在线知识蒸馏和预训练先验的人脸图像修复方法 |
| CN116681594A (zh) * | 2023-07-26 | 2023-09-01 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法及装置、设备、介质 |
| CN117857842A (zh) * | 2024-03-07 | 2024-04-09 | 淘宝（中国）软件有限公司 | 直播场景中的画质处理方法及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116994309B (zh) * | 2023-05-06 | 2024-04-09 | 浙江大学 | 一种公平性感知的人脸识别模型剪枝方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796619A (zh) * | 2019-10-28 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种图像处理模型训练方法、装置、电子设备及存储介质 |
| CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN112288632A (zh) * | 2020-10-29 | 2021-01-29 | 福州大学 | 基于精简esrgan的单图像超分辨率方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180268292A1 (en) * | 2017-03-17 | 2018-09-20 | Nec Laboratories America, Inc. | Learning efficient object detection models with knowledge distillation |
| CN108830813B (zh) * | 2018-06-12 | 2021-11-09 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
| CN110418139B (zh) * | 2019-08-01 | 2021-08-13 | 广东工业大学 | 一种视频超分辨修复方法、装置、设备及存储介质 |
| CN112200722A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 图像超分辨重构模型的生成方法、重构方法及电子设备 |
| CN113177888A (zh) * | 2021-04-27 | 2021-07-27 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
-
2021
- 2021-04-27 CN CN202110459814.1A patent/CN113177888A/zh active Pending
-
2022
- 2022-03-11 WO PCT/CN2022/080294 patent/WO2022227886A1/zh active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110796619A (zh) * | 2019-10-28 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种图像处理模型训练方法、装置、电子设备及存储介质 |
| CN111062872A (zh) * | 2019-12-17 | 2020-04-24 | 暨南大学 | 一种基于边缘检测的图像超分辨率重建方法及系统 |
| CN112288632A (zh) * | 2020-10-29 | 2021-01-29 | 福州大学 | 基于精简esrgan的单图像超分辨率方法及系统 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022227886A1 (zh) * | 2021-04-27 | 2022-11-03 | 北京有竹居网络技术有限公司 | 超分修复网络模型生成方法、图像超分修复方法及装置 |
| CN113850367A (zh) * | 2021-08-31 | 2021-12-28 | 荣耀终端有限公司 | 网络模型的训练方法、图像处理方法及其相关设备 |
| CN113850367B (zh) * | 2021-08-31 | 2022-08-26 | 荣耀终端有限公司 | 网络模型的训练方法、图像处理方法及其相关设备 |
| CN113922985A (zh) * | 2021-09-03 | 2022-01-11 | 西南科技大学 | 一种基于集成学习的网络入侵检测方法及系统 |
| CN113922985B (zh) * | 2021-09-03 | 2023-10-31 | 西南科技大学 | 一种基于集成学习的网络入侵检测方法及系统 |
| CN116071275A (zh) * | 2023-03-29 | 2023-05-05 | 天津大学 | 基于在线知识蒸馏和预训练先验的人脸图像修复方法 |
| CN116071275B (zh) * | 2023-03-29 | 2023-06-09 | 天津大学 | 基于在线知识蒸馏和预训练先验的人脸图像修复方法 |
| CN116681594A (zh) * | 2023-07-26 | 2023-09-01 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法及装置、设备、介质 |
| CN116681594B (zh) * | 2023-07-26 | 2023-11-21 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法及装置、设备、介质 |
| CN117857842A (zh) * | 2024-03-07 | 2024-04-09 | 淘宝（中国）软件有限公司 | 直播场景中的画质处理方法及电子设备 |
| CN117857842B (zh) * | 2024-03-07 | 2024-05-28 | 淘宝（中国）软件有限公司 | 直播场景中的画质处理方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022227886A1 (zh) | 2022-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113177888A (zh) | 超分修复网络模型生成方法、图像超分修复方法及装置 | |
| CN111402112B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN110413812B (zh) | 神经网络模型的训练方法、装置、电子设备及存储介质 | |
| CN110211017B (zh) | 图像处理方法、装置及电子设备 | |
| CN111292406B (zh) | 模型渲染方法、装置、电子设备及介质 | |
| CN113190872B (zh) | 数据保护方法、网络结构训练方法、装置、介质及设备 | |
| CN112800276B (zh) | 视频封面确定方法、装置、介质及设备 | |
| CN113327318B (zh) | 图像显示方法、装置、电子设备和计算机可读介质 | |
| CN113642673A (zh) | 图像生成方法、装置、设备及存储介质 | |
| CN113449070A (zh) | 多模态数据检索方法、装置、介质及电子设备 | |
| CN112330788A (zh) | 图像处理方法、装置、可读介质及电子设备 | |
| CN116385328A (zh) | 基于为图像添加噪声的图像数据增强方法及装置 | |
| CN115908640A (zh) | 生成图像的方法、装置、可读介质及电子设备 | |
| CN114066722B (zh) | 用于获取图像的方法、装置和电子设备 | |
| CN117894038A (zh) | 一种图像中对象姿态生成方法和装置 | |
| CN113673446A (zh) | 图像识别方法、装置、电子设备和计算机可读介质 | |
| CN116596748A (zh) | 图像风格化处理方法、装置、设备、存储介质和程序产品 | |
| CN111680754B (zh) | 图像分类方法、装置、电子设备及计算机可读存储介质 | |
| CN113744379B (zh) | 图像生成方法、装置和电子设备 | |
| CN113780534B (zh) | 网络模型的压缩方法、图像生成方法、装置、设备及介质 | |
| CN114972876A (zh) | 基于知识蒸馏技术的图像处理方法、装置、设备及介质 | |
| CN112070888B (zh) | 图像生成方法、装置、设备和计算机可读介质 | |
| CN116188254A (zh) | 基于傅里叶域的超分图像处理方法、装置、设备及介质 | |
| CN112926629B (zh) | 超参数确定方法、装置、深度强化学习框架、介质及设备 | |
| CN112465717B (zh) | 脸部图像处理模型训练方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |