CN113808021B - 图像处理及其模型训练方法、装置及电子设备 - Google Patents

图像处理及其模型训练方法、装置及电子设备 Download PDF

Info

Publication number
CN113808021B
CN113808021B CN202111102994.4A CN202111102994A CN113808021B CN 113808021 B CN113808021 B CN 113808021B CN 202111102994 A CN202111102994 A CN 202111102994A CN 113808021 B CN113808021 B CN 113808021B
Authority
CN
China
Prior art keywords
image
training
model
image processing
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111102994.4A
Other languages
English (en)
Other versions
CN113808021A (zh
Inventor
贺沁雯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202111102994.4A priority Critical patent/CN113808021B/zh
Publication of CN113808021A publication Critical patent/CN113808021A/zh
Application granted granted Critical
Publication of CN113808021B publication Critical patent/CN113808021B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Image Processing (AREA)

Abstract

本申请提供了一种图像处理及其模型训练方法、装置及电子设备，涉及图像处理技术领域。其中，方法包括：获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，训练样本集中的边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。本申请能够提升图像超分辨率模型或图像增强模型图像处理的视觉效果。

Description

图像处理及其模型训练方法、装置及电子设备
技术领域
本申请涉及软件图像处理技术领域，尤其是涉及一种图像处理及其模型训练方法、装置及电子设备。
背景技术
图像超分辨率技术是指由一幅低分辨率图像或图像序列恢复出高分辨率图像；图像增强技术是将视觉效果较差的图像处理为视觉效果更好的图像。现有技术中，通常采用一些神经网络进行图像超分辨率模型或图像增强模型的训练，而训练样本往往是大量成对的低分辨率图像和高分辨率图像，或者是成对的低清晰度图像和高清晰度图像；通过这些训练样本训练出的模型，其图像处理效果一般，无法达到更好的视觉效果。
发明内容
本申请的目的在于提供一种图像处理及其模型训练方法、装置及电子设备，能够提升图像超分辨率模型或图像增强模型图像处理的视觉效果。
第一方面，本申请实施例提供一种图像处理模型训练方法，该方法包括：获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，所述训练样本集中的所述边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。
在一些实施例中，上述获取训练样本集的步骤，包括：获取初始训练样本集，初始训练样本集中的样本包括：成对的低质量图像和高质量图像；针对每个样本中的低质量图像进行边缘提取，得到每个低质量图像对应的边缘图像；由每个成对的低质量图像和高质量图像，及低质量图像对应的边缘图像组成一个新样本，得到包含多个新样本的训练样本集。
在一些实施例中，上述初始网络模型包括以下之一：CNN网络模型、GAN网络模型或RNN网络模型。
在一些实施例中，上述利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型的步骤，包括：确定训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像；根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值；根据本轮训练的损失函数值对初始网络模型进行反向传播训练，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型。
在一些实施例中，上述将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像的步骤，包括：针对当前训练样本子集中的每个样本，均执行以下步骤：将样本中的低质量图像和边缘图像输入初始网络模型；利用初始网络模型提取低质量图像对应的第一特征图和边缘图像对应的第二特征图，并将第一特征图和第二特征图进行合并；通过初始网络模型根据合并后的特征图进行特征映射学习，输出样本对应的输出图像。
在一些实施例中，上述根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值的步骤，包括：根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将平均绝对误差作为本轮训练对应的损失函数值。
第二方面，本申请实施例还提供一种图像处理方法，方法应用于电子设备；电子设备中预存有通过第一方面所述的方法训练得到的图像处理模型；方法包括：获取待处理图像；将待处理图像输入图像处理模型；通过图像处理模型对待处理图像进行图像处理，得到待处理图像对应的目标图像。
第三方面，本申请实施例还提供一种图像处理模型训练装置，装置包括：样本获取模块，用于获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；模型训练模块，用于利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，训练样本集中的所述边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。
第四方面，本申请实施例还提供一种图像处理装置，装置应用于电子设备；电子设备中预存有通过第方法训练得到的图像处理模型；装置包括：图像获取模块，用于获取待处理图像；图像输入模型，用于将待处理图像输入图像处理模型；图像处理模块，用于通过图像处理模型对待处理图像进行图像处理，得到待处理图像对应的目标图像。
第五方面，本申请实施例还提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现上述第一方面所述的方法。
第六方面，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述第一方面所述的方法。
本申请实施例提供的图像处理及其模型训练方法、装置及电子设备中，首先获取包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像的样本作为训练样本集；其中，质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；然后应用该训练样本集中的边缘图像作为先验信息，通过样本对初始网络模型进行图像超分辨率训练或图像增强训练，得到图像超分辨率模型或图像增强模型。本申请利用添加有边缘图像的样本进行图像超分辨率训练或图像增强训练，以边缘图像作为先验信息，能够使图像超分辨率/图像增强训练过程中更多关注图像边缘的细节特征，提升图像超分辨率模型或图像增强模型图像处理的视觉效果。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像处理模型训练方法的流程图；
图2为本申请实施例提供的一种样本获取方法的流程图；
图3为本申请实施例提供的一种基于CNN或RNN的模型训练方法的流程图；
图4为本申请实施例提供的一种基于CNN网络模型架构示意图；
图5为本申请实施例提供的一种图像处理方法的流程图；
图6为本申请实施例提供的一种图像处理模型训练装置的结构框图；
图7为本申请实施例提供的一种图像处理装置的结构框图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合实施例对本申请的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
现有技术中，对于图像超分辨率模型或图像增强模型的训练，通常会采用一些神经网络，如CNN、RNN、GAN等进行训练，而训练样本往往是大量成对的低分辨率图像和高分辨率图像，或者是成对的低清晰度图像和高清晰度图像；以CNN训练图像超分辨率模型为例，训练样本为成对的低分辨率图像和高分辨率图像；首先需要将低分辨率图像作为网络输入，利用对应的高分辨率图像对网络输出结果进行约束，由低分辨率图像与高分辨率图像间的映射关系学习网络各层的参数，使网络学习将低分辨率图像重建为高分辨率图像。而通过这些训练样本训练出的模型，其图像处理效果一般，无法达到更好的视觉效果。
基于此，本申请实施例提供一种图像处理及其模型训练方法、装置及电子设备，为便于对本实施例进行理解，首先对本申请实施例所公开的一种图像处理模型训练方法进行详细介绍。
图1为本申请实施例提供的一种图像处理模型训练方法，该方法可以应用于电子设备，电子设备预存有初始网络模型，该初始网络模型包括以下之一：CNN网络模型、GAN网络模型或RNN网络模型。需要说明的是，本申请实施例提供的模型训练方法中用到的网络模型包括但不限于上述提到的几个。参见图1所示，上述图像处理模型训练方法包括以下步骤：
步骤S102，获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像。
其中，质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；也就是说，获取的训练样本集中，可以包括成对的低分辨率图像和高分辨率图像，也可以是成对的低清晰度图像和高清晰度图像，或者成对的低色彩饱和度图像和高色彩饱和度图像。需要说明的是，边缘图像是对低质量图像，如低分辨率图像、低清晰度图像或低色彩饱和度图像进行边缘提取，得到的黑白图像，即边缘图像中边缘像素点对应的像素值为1，非边缘像素点对应的像素值为0。
步骤S104，利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，所述训练样本集中的所述边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。
对于不同的初始网络模型，图像超分辨率训练或图像增强训练的过程是不完全相同的，如针对CNN或RNN网络模型，需要将低质量图像和其对应的边缘图像同时输入到网络模型中，然后利用对应的高分辨率图像对该网络模型的输出结果进行约束训练，得到最终的图像超分辨率模型。而对于GAN网络模型，需要利用低质量图像和其对应的边缘图像输入GAN网络模型的生成器，然后利用判别器对生成器的输出结果进行判断真伪，而后利用生成器的输出结果和高质量图像进行重建损失的计算，并进行其它的GAN损失和判别器的损失的计算，然后不断的迭代出最优化的模型。
在上述训练过程中，均将样本中的边缘图像作为先验信息参考到训练过程中，从而使得训练出的模型能够更多地关注边缘的细节特征，从而提高模型图像处理的视觉效果。
本申请实施例提供的图像处理模型训练方法中，首先获取包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像的样本作为训练样本集；其中，质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；然后应用该训练样本集中的边缘图像作为先验信息，通过样本对初始网络模型进行图像超分辨率训练或图像增强训练，得到图像超分辨率模型或图像增强模型。本申请利用添加有边缘图像的样本进行图像超分辨率训练或图像增强训练，以边缘图像作为先验信息，能够使图像超分辨率/图像增强训练过程中更多关注图像边缘的细节特征，提升图像超分辨率模型或图像增强模型图像处理的视觉效果。
本申请实施例还提供一种图像处理方法，该方法在上述实施例方法的基础上实现；该方法重点描述根据训练样本的获取过程，及模型训练过程如图2所示，该训练样本的获取过程包括以下步骤：
步骤S202，获取初始训练样本集，初始训练样本集中的样本包括：成对的低质量图像和高质量图像。
实际应用中，可以首先收集大量的高清图像，即高质量图像，然后用插值方法对其进行下采样，得到低分辨率图像，或者进一步对高清图像进行JPEG压缩或其它量化操作，引入块效应、振铃效应或其它失真，得到低清晰度图像。上述下采样过程可选最近邻插值法、双线性插值法、双三次插值法等，或混用不同插值方法，对不同的高清样本使用不同的插值方法进行下采样操作。
需要说明的是，对于不同的模型训练需求，可以制作不同的样本，如，对于训练图像超分辨率模型，需要制作的样本为：成对的低分辨率图像和高分辨率图像；对于训练图像增强模型，需要制作的样本为：成对的低清晰度图像和高清晰度图像，或者成对的低色彩饱和度图像和高色彩饱和度图像，样本可以根据模型需求进行调整。
步骤S204，针对每个样本中的低质量图像进行边缘提取，得到每个低质量图像对应的边缘图像。
具体的可以采用不同的预设边缘检测算子，如canny算子、sobel算子或Laplace算子对低质量图像进行边缘检测，得到边缘图像。
步骤S206，由每个成对的低质量图像和高质量图像，及低质量图像对应的边缘图像组成一个新样本，得到包含多个新样本的训练样本集。
比如，上述高清图像A，通过下采样处理后得到对应的低分辨率图像B，然后再对低分辨率图像B进行边缘提取，得到边缘图像C，这样就可以得到一组新样本，A、B和C。以此类推可以得到训练样本集，其中每个样本均包括：成对的低质量图像和高质量图像，以及低质量图像对应的边缘图像。
下面以初始网络模型为CNN网络模型、RNN网络模型或GAN网络模型为例详细说明具体的模型训练过程，参见图3所示，训练过程包括以下几个步骤：
步骤S32，确定训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型：
比如，每轮训练选择16个样本作为训练样本子集，然后基于该训练样本子集执行下述三个步骤的模型训练过程，直到训练轮次达到预设次数(如100次)或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型。
步骤S322，将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像。
具体实施时，针对当前训练样本子集中的每个样本，均执行以下步骤：
(1)将样本中的低质量图像和边缘图像分别输入初始网络模型；
(2)利用初始网络模型提取低质量图像对应的第一特征图和边缘图像对应的第二特征图，并将第一特征图和第二特征图进行合并。比如，利用concat来整合两个特征图的信息。
(3)通过初始网络模型根据合并后的特征图进行特征映射学习，输出样本对应的输出图像。
需要说明的是，如果初始网络模型为GAN网络模型，则将低质量图像和边缘图像分别输入GAN网络模型的生成器中，通过生成器输出样本对应的输出图像。
步骤S324，根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值。
计算损失函数值的方式有多种，如L1损失、MSE均方误差损失等，本申请实施例中，根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将平均绝对误差作为本轮训练对应的损失函数值。
平均绝对误差MAE的计算公式如下：
其中，m表示当前训练样本子集中的样本数量；yi表示当前训练样本子集中的第i个样本中的高质量图像；f(xi)表示当前训练样本子集中的第i个样本对应的输出图像。
对于GAN网络模型，还可以增加一些其它的损失计算，比如GAN损失等。
步骤S326，根据本轮训练的损失函数值对初始网络模型进行反向传播训练。也就是根据本轮训练的损失函数值对初始网络模型中的参数进行调整，即反向传播更新网络参数，然后再返回执行上述步骤S322，进行循环迭代，得到图像处理模型。
需要说明的是，如果样本中包括的是成对的低分辨率图像和高分辨率图像，及低分辨率图像对应的边缘图像，那么训练出的图像处理模型就是图像超分辨率模型；如果样本中包括的是成对的低清晰度图像和高清晰度图像，及低清晰度图像对应的边缘图像，或者成对的低色彩饱和度图像和高色彩饱和度图像及低色彩饱和度图像对应的边缘图像，那么训练出的图像处理模型就是图像增强模型。
基于GAN网络模型训练图像处理模型的过程稍微复杂一些，也是将边缘图像作为先验信息参与训练的，以训练图像超分辨率模型为例进行说明：GAN在训练时包含生成器和判别器，首先将低分辨率图像和对应的边缘图像输入生成器，使生成器生成超分辨率图像，判别器区分该超分辨率图像是伪造图像还是真实图像。网络的损失函数包含重建损失和GAN损失。重建损失是生成器输出图像与原始真实图像之间的差异。GAN损失旨在对生成器和判别器进行优化，包含对生成器的优化和对判别器的优化，生成器部分期望生成器输出的图像能够以假乱真，使得判别器对生成器输出的判别结果接近1；判别器部分的损失函数可以是二分类的交叉熵损失函数，期望判别器能够区分真实图像和生成器伪造的图像，生成器与判别器交替迭代训练，生成器的伪造技术和判别器的鉴别技术都得到提升。GAN训练好的生成器即图像超分辨率模型。
下面列举一个具体的应用实例，通过CNN网络模型进行图像超分辨率模型的训练，如图4所示，在CNN网络模型中分别输入低分辨率图像和边缘图像，通过卷积层分别提取低分辨率图像中的第一特征图和边缘图像中的第二特征图，然后基于第一特征图和第二特征图合并特征，根据合并后的特征重建为输出图像，如图中最右侧的图像，重建的过程利用到了pixelshuffle算法，该算法的功能是：将一个H×W的低分辨率输入图像(LowResolution)，通过Sub-pixel操作将其变为rH x rW的高分辨率图像(High Resolution)。但是其实现过程不是直接通过插值等方式产生这个高分辨率图像，而是通过卷积先得到r2个通道的特征图(特征图大小和输入低分辨率图像一致)，然后通过周期筛选(periodicshuffing)的方法得到这个高分辨率的图像，其中r为上采样因子(upscaling factor)，也就是图像的扩大倍率。然后再利用上述输出图像和样本中的高分辨率图像进行损失计算，迭代训练，得到最终的图像超分辨率模型。
本申请实施例提供的图像处理模型训练方法中，考虑到人眼视觉对于图像边缘的敏感感知，利用边缘图像作为图像超分辨率任务或图像增强任务的先验信息，从而使网络利用到人眼视觉的敏感特征，提升超分辨率图像或增强图像的视觉效果。
基于上述方法实施例，本申请实施例还提供一种图像处理方法，方法应用于电子设备；电子设备中预存有通过上一实施例所述的方法训练得到的图像处理模型；参见图5所示，该方法包括：
步骤S502，获取待处理图像；
步骤S504，将待处理图像输入图像处理模型；
步骤S506，通过图像处理模型对待处理图像进行图像处理，得到待处理图像对应的目标图像。
本申请实施例提供的方法中，利用上一实施例提供的图像处理模型训练方法训练出的图像超分辨率模型或图像增强模型，对待处理图像进行图像处理，可以提高模型输出的目标图像的视觉效果。
基于上述训练方法实施例，本申请实施例还提供一种图像处理模型训练装置，参见图6所示，该装置包括：
样本获取模块62，用于获取训练样本集；训练样本集中的样本包括成对的低质量图像和高质量图像、以及低质量图像对应的边缘图像；质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；模型训练模块64，用于利用训练样本集中的样本对初始网络模型进行训练，得到图像处理模型；其中，训练样本集中的边缘图像作为先验信息参与训练；图像处理模型包括图像超分辨率模型或图像增强模型。
本申请实施例提供的图像处理模型训练装置，利用添加有边缘图像的样本进行图像超分辨率训练或图像增强训练，以边缘图像作为先验信息，能够使图像超分辨率/图像增强训练过程中更多关注图像边缘的细节特征，提升图像超分辨率模型或图像增强模型图像处理的视觉效果。
上述样本获取模块62，还用于获取初始训练样本集，初始训练样本集中的样本包括：成对的低质量图像和高质量图像；针对每个样本中的低质量图像进行边缘提取，得到每个低质量图像对应的边缘图像；由每个成对的低质量图像和高质量图像，及低质量图像对应的边缘图像组成一个新样本，得到包含多个新样本的训练样本集。
上述初始网络模型包括以下之一：CNN网络模型、GAN网络模型或RNN网络模型。
上述模型训练模块64，还用于确定训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个样本对应的输出图像；根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像计算本轮训练对应的损失函数值；根据本轮训练的损失函数值对初始网络模型进行反向传播训练，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型。
上述模型训练模块64，还用于针对当前训练样本子集中的每个样本，均执行以下步骤：将样本中的低质量图像和边缘图像输入初始网络模型；利用初始网络模型提取低质量图像对应的第一特征图和边缘图像对应的第二特征图，并将第一特征图和第二特征图进行合并；通过初始网络模型根据合并后的特征图进行特征映射学习，输出样本对应的输出图像。
上述模型训练模块64，还用于根据当前训练样本子集中每个样本的输出图像与样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将平均绝对误差作为本轮训练对应的损失函数值。
本申请实施例提供的图像处理模型训练装置，其实现原理及产生的技术效果和前述图像处理模型训练方法实施例相同，为简要描述，图像处理模型训练装置的实施例部分未提及之处，可参考前述图像处理模型训练方法实施例中相应内容。
基于上述图像处理方法实施例，本申请实施例还提供一种图像处理装置，该装置应用于电子设备；电子设备中预存有通过第方法训练得到的图像处理模型；参见图7所示，该装置包括：
图像获取模块72，用于获取待处理图像；图像输入模型74，用于将待处理图像输入图像处理模型；图像处理模块76，用于通过图像处理模型对待处理图像进行图像处理，得到待处理图像对应的目标图像。
本申请实施例提供的图像处理装置，其实现原理及产生的技术效果和前述图像处理方法实施例相同，为简要描述，图像处理装置的实施例部分未提及之处，可参考前述图像处理方法实施例中相应内容。
本申请实施例还提供了一种电子设备，如图8所示，为该电子设备的结构示意图，其中，该电子设备包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述方法。
在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。
其中，存储器80可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是ISA(IndustryStandard Architecture，工业标准体系结构)总线、PCI(Peripheral ComponentInterconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述实施例的方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述方法，具体实现可参见前述方法实施例，在此不再赘述。
本申请实施例所提供的方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现得到，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种图像处理模型训练方法，其特征在于，所述方法包括：
获取训练样本集；所述训练样本集中的样本包括成对的低质量图像和高质量图像、以及所述低质量图像对应的边缘图像；所述质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；
确定所述训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：
将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个所述样本对应的输出图像；根据当前训练样本子集中每个样本的输出图像与所述样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将所述平均绝对误差作为本轮训练对应的损失函数值；
根据本轮训练的损失函数值对所述初始网络模型进行反向传播训练，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型；其中，所述训练样本集中的所述边缘图像作为先验信息参与训练；所述图像处理模型包括图像超分辨率模型或图像增强模型。
2.根据权利要求1所述的方法，其特征在于，获取训练样本集的步骤，包括：
获取初始训练样本集，所述初始训练样本集中的样本包括：成对的低质量图像和高质量图像；
针对每个样本中的低质量图像进行边缘提取，得到每个低质量图像对应的边缘图像；
由每个成对的低质量图像和高质量图像，及所述低质量图像对应的边缘图像组成一个新样本，得到包含多个新样本的训练样本集。
3.根据权利要求1所述的方法，其特征在于，所述初始网络模型包括以下之一：CNN网络模型、GAN网络模型或RNN网络模型。
4.根据权利要求1所述的方法，其特征在于，将当前训练样本子集中每个样本中的低质量图像和边缘图像输入所述初始网络模型，得到每个所述样本对应的输出图像的步骤，包括：
针对当前训练样本子集中的每个样本，均执行以下步骤：
将所述样本中的低质量图像和边缘图像分别输入所述初始网络模型；
利用所述初始网络模型提取所述低质量图像对应的第一特征图和所述边缘图像对应的第二特征图，并将所述第一特征图和所述第二特征图进行合并；
通过所述初始网络模型根据合并后的特征图进行特征映射学习，输出所述样本对应的输出图像。
5.一种图像处理方法，其特征在于，所述方法应用于电子设备；所述电子设备中预存有通过权利要求1-4任一项所述方法训练得到的图像处理模型；所述方法包括：
获取待处理图像；
将所述待处理图像输入所述图像处理模型；
通过所述图像处理模型对所述待处理图像进行图像处理，得到所述待处理图像对应的目标图像。
6.一种图像处理模型训练装置，其特征在于，所述装置包括：
样本获取模块，用于获取训练样本集；所述训练样本集中的样本包括成对的低质量图像和高质量图像、以及所述低质量图像对应的边缘图像；所述质量的评价参数包括以下之一：分辨率、清晰度、色彩饱和度；
模型训练模块，用于确定所述训练样本集中的每轮训练对应的训练样本子集，对于每轮训练均执行以下操作：将当前训练样本子集中每个样本中的低质量图像和边缘图像输入初始网络模型，得到每个所述样本对应的输出图像；根据当前训练样本子集中每个样本的输出图像与所述样本中的高质量图像，计算当前训练样本子集对应的平均绝对误差；将所述平均绝对误差作为本轮训练对应的损失函数值；根据本轮训练的损失函数值对所述初始网络模型进行反向传播训练，直到训练轮次达到预设次数或者损失函数值收敛至预设收敛阈值时停止训练，得到图像处理模型；其中，所述训练样本集中的所述边缘图像作为先验信息参与训练；所述图像处理模型包括图像超分辨率模型或图像增强模型。
7.一种图像处理装置，其特征在于，所述装置应用于电子设备；所述电子设备中预存有通过权利要求1-4任一项所述方法训练得到的图像处理模型；所述装置包括：
图像获取模块，用于获取待处理图像；
图像输入模型，用于将所述待处理图像输入所述图像处理模型；
图像处理模块，用于通过所述图像处理模型对所述待处理图像进行图像处理，得到所述待处理图像对应的目标图像。
8.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至5任一项所述的方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至5任一项所述的方法。
CN202111102994.4A 2021-09-17 2021-09-17 图像处理及其模型训练方法、装置及电子设备 Active CN113808021B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111102994.4A CN113808021B (zh) 2021-09-17 2021-09-17 图像处理及其模型训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111102994.4A CN113808021B (zh) 2021-09-17 2021-09-17 图像处理及其模型训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113808021A CN113808021A (zh) 2021-12-17
CN113808021B true CN113808021B (zh) 2024-06-28

Family

ID=78896033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111102994.4A Active CN113808021B (zh) 2021-09-17 2021-09-17 图像处理及其模型训练方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113808021B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912602B (zh) * 2023-09-11 2023-12-15 荣耀终端有限公司 图像处理模型的训练方法、图像处理方法及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN113160056A (zh) * 2021-04-19 2021-07-23 东南大学 一种基于深度学习的带噪图像超分辨率重建方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107154023B (zh) * 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN110443768B (zh) * 2019-08-08 2023-05-12 齐鲁工业大学 基于多重一致性约束的单帧图像超分辨率重建方法
CN112446826A (zh) * 2019-09-03 2021-03-05 联咏科技股份有限公司 用于图像超分辨率、图像增强及模型训练的方法及装置
CN113034358B (zh) * 2019-12-09 2024-06-28 华为技术有限公司 一种超分辨率图像处理方法以及相关装置
CN111079624B (zh) * 2019-12-11 2023-09-01 北京金山云网络技术有限公司 一种样本信息采集的方法、装置、电子设备以及介质
CN111080528B (zh) * 2019-12-20 2023-11-07 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
WO2021121108A1 (zh) * 2019-12-20 2021-06-24 北京金山云网络技术有限公司 图像超分辨率和模型训练方法、装置、电子设备及介质
CN111080527B (zh) * 2019-12-20 2023-12-05 北京金山云网络技术有限公司 一种图像超分辨率的方法、装置、电子设备及存储介质
CN112561799A (zh) * 2020-12-21 2021-03-26 江西师范大学 一种红外图像超分辨率重建方法
CN112581370A (zh) * 2020-12-28 2021-03-30 苏州科达科技股份有限公司 人脸图像的超分辨率重建模型的训练及重建方法
CN112990432B (zh) * 2021-03-04 2023-10-27 北京金山云网络技术有限公司 目标识别模型训练方法、装置及电子设备
CN113269722A (zh) * 2021-04-22 2021-08-17 北京邮电大学 生成对抗网络的训练方法、及高分辨率图像重建方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111062872A (zh) * 2019-12-17 2020-04-24 暨南大学 一种基于边缘检测的图像超分辨率重建方法及系统
CN113160056A (zh) * 2021-04-19 2021-07-23 东南大学 一种基于深度学习的带噪图像超分辨率重建方法

Also Published As

Publication number Publication date
CN113808021A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN109325954B (zh) 图像分割方法、装置及电子设备
CN110516201B (zh) 图像处理方法、装置、电子设备及存储介质
CN112598579B (zh) 面向监控场景的图像超分辨率方法、装置及存储介质
CN110136055B (zh) 图像的超分辨率方法和装置、存储介质、电子装置
CN112602088B (zh) 提高弱光图像的质量的方法、系统和计算机可读介质
CN113362331A (zh) 图像分割方法、装置、电子设备及计算机存储介质
Liang et al. Improved non-local iterative back-projection method for image super-resolution
CN110991310B (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN108876716B (zh) 超分辨率重建方法及装置
CN113808021B (zh) 图像处理及其模型训练方法、装置及电子设备
CN113139906A (zh) 一种生成器的训练方法、装置与存储介质
CN114529687A (zh) 图像重建方法、装置、电子设备及计算机可读存储介质
CN110136061B (zh) 一种基于深度卷积预测与插值的分辨率提升方法及系统
CN115311145A (zh) 图像处理方法及装置、电子设备、存储介质
CN112669204B (zh) 图像处理方法、图像处理模型的训练方法和装置
CN118541728A (zh) 图像生成装置、方法及程序、以及学习装置及学习数据
CN113284074B (zh) 全景图像的目标对象去除方法、装置、服务器及存储介质
Ooi et al. Enhanced dense space attention network for super-resolution construction from single input image
CN113781310A (zh) 图像处理方法、图像处理模型的训练方法和装置
US9225876B2 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
US9648208B2 (en) Method and apparatus and using an enlargement operation to reduce visually detected defects in an image
CN113781309B (zh) 图像处理方法、装置及电子设备
CN114861904A (zh) 图像训练数据的生成方法、装置、终端设备及存储介质
CN114764839A (zh) 动态视频生成方法、装置、可读存储介质及终端设备
CN111369425A (zh) 图像处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant