CN113436112A - 一种图像增强方法、装置及设备 - Google Patents

一种图像增强方法、装置及设备 Download PDF

Info

Publication number
CN113436112A
CN113436112A CN202110826781.XA CN202110826781A CN113436112A CN 113436112 A CN113436112 A CN 113436112A CN 202110826781 A CN202110826781 A CN 202110826781A CN 113436112 A CN113436112 A CN 113436112A
Authority
CN
China
Prior art keywords
image
sample
network model
noise
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110826781.XA
Other languages
English (en)
Other versions
CN113436112B (zh
Inventor
李志胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN202110826781.XA priority Critical patent/CN113436112B/zh
Publication of CN113436112A publication Critical patent/CN113436112A/zh
Application granted granted Critical
Publication of CN113436112B publication Critical patent/CN113436112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请提供一种图像增强方法、装置及设备，该方法包括：对样本清晰图像进行加模糊处理，得到样本模糊图像；对样本模糊图像进行加噪声处理，得到样本噪声图像；将样本噪声图像输入给初始网络模型，由初始网络模型对样本噪声图像进行图像增强，得到样本增强图像；确定样本增强图像与样本清晰图像之间的目标损失值，基于目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；若调整后网络模型已满足收敛条件，将调整后网络模型作为已训练的目标网络模型；否则将调整后网络模型作为初始网络模型，返回执行将样本噪声图像输入给初始网络模型的操作；目标网络模型用于对待检测图像进行图像增强。通过本申请的技术方案，能够提升图像质量。

Description

一种图像增强方法、装置及设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像增强方法、装置及设备。
背景技术
车窗图像是车辆信息识别的重要组成部分，车窗图像可以包括驾驶员的人脸特征、驾驶员的行为特征(如是否打电话等)，因此，需要得到清晰的车窗图像，继而对车窗图像进行分析。但是，由于摄像机的分辨率低、大气环境较差、夜间光照昏暗、车辆运动过快产生模糊等原因，导致车窗图像的清晰度比较差，车窗图像一般会存在模糊和噪声等现象，即无法得到清晰的车窗图像。
为此，需要对车窗图像进行图像增强，图像增强是指：增强图像中的有用信息，改善图像的视觉效果，强调图像的整体或局部特性，将不清晰的图像变得清晰或强调某些感兴趣的特征，从而改善图像质量、丰富图像的信息量。
图像增强方式可以分成两类：频率域法和空间域法。频率域法是将图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强，采用低通滤波去掉图像中的噪声，采用高通滤波增强边缘等高频信号，使模糊的图像变得清晰。空间域法包括局部求平均值和中值滤波等，可以去除或减弱图像中的噪声。
但是，对于存在模糊和噪声等现象的车窗图像，频率域法和空间域法对车窗图像的增强效果较差，即使进行图像增强，也无法得到清晰的车窗图像。
发明内容
本申请提供一种图像增强方法，所述方法包括：
获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；以及，对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于所述目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，返回执行将所述样本噪声图像输入给初始网络模型的操作；
其中，所述目标网络模型用于对待检测图像进行图像增强。
在一种可能的实施方式中，所述对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，包括：
通过高斯模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述高斯模糊核包括多个权重值，所述多个权重值服从正态分布；
或，通过真实模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述真实模糊核的确定方式为：获取场景模糊图像，确定所述场景模糊图像对应的梯度矩阵和暗通道矩阵，基于所述梯度矩阵和所述暗通道矩阵确定真实模糊核；所述梯度矩阵由所述场景模糊图像的梯度值确定，所述暗通道矩阵由所述场景模糊图像的R通道、G通道和B通道的最小值确定；
或，采用预设插值算法对所述样本清晰图像进行下采样，采用所述预设插值算法对下采样后的样本清晰图像进行上采样，得到所述样本模糊图像；其中，所述预设插值算法包括最近邻插值算法、双线性插值算法、双三次插值算法。
在一种可能的实施方式中，所述对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，包括：
为所述样本模糊图像添加高斯白噪声，得到所述样本噪声图像；其中，所述高斯白噪声的确定方式包括：基于已配置的噪声方差确定所述高斯白噪声。
在一种可能的实施方式中，所述初始网络模型包括第一卷积激活层、池化层、残差层、上采样层、叠加层、第二卷积激活层；所述将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像，包括：
将所述样本噪声图像输入给第一卷积激活层，由所述第一卷积激活层对所述样本噪声图像进行卷积激活处理，得到第一特征向量；
将所述第一特征向量输入给池化层和叠加层，由所述池化层对第一特征向量进行下采样，得到第二特征向量；将所述第二特征向量输入给残差层，由所述残差层对第二特征向量进行残差处理，得到第三特征向量；将所述第三特征向量输入给上采样层，由所述上采样层对第三特征向量进行上采样，得到第四特征向量；将所述第四特征向量输入给叠加层，由所述叠加层对所述第四特征向量和所述第一特征向量进行叠加处理，得到第五特征向量；
将所述第五特征向量输入给第二卷积激活层，以使第二卷积激活层对所述第五特征向量进行卷积激活处理，得到所述样本增强图像。
在一种可能的实施方式中，所述池化层的数量为至少两个，所述上采样层的数量为至少两个，所述叠加层的数量为至少两个，所述残差层的数量为至少两个；所述上采样层的数量与所述池化层的数量相同，所述叠加层的数量与所述上采样层的数量相同；针对每个池化层，在特征向量经过该池化层后，则特征向量的通道数翻倍，且特征向量的宽度减半，特征向量的高度减半；
针对每个上采样层，在特征向量经过该上采样层后，则特征向量的通道数减半，且特征向量的宽度翻倍，特征向量的高度翻倍。
在一种可能的实施方式中，所述确定所述样本增强图像与所述样本清晰图像之间的目标损失值，包括：确定所述样本增强图像与所述样本清晰图像之间的峰值信噪比损失值；确定所述样本增强图像与所述样本清晰图像之间的结构相似度损失值；确定所述样本增强图像与所述样本清晰图像之间的特征损失值；
基于所述峰值信噪比损失值、所述结构相似度损失值和所述特征损失值，确定所述样本增强图像与所述样本清晰图像之间的目标损失值。
在一种可能的实施方式中，所述确定所述样本增强图像与所述样本清晰图像之间的峰值信噪比损失值，包括：基于所述样本增强图像中各像素点的像素值和所述样本清晰图像中各像素点的像素值确定均方误差值；基于所述均方误差值和图像位数确定所述峰值信噪比损失值；
所述确定所述样本增强图像与所述样本清晰图像之间的结构相似度损失值，包括：基于所述样本增强图像中各像素点的像素值和所述样本清晰图像中各像素点的像素值，确定所述样本增强图像对应的第一均值和第一方差、所述样本清晰图像对应的第二均值和第二方差、及所述样本增强图像与所述样本清晰图像之间的协方差；基于所述第一均值、所述第二均值、所述第一方差、所述第二方差和所述协方差确定所述结构相似度损失值；
所述确定所述样本增强图像与所述样本清晰图像之间的特征损失值，包括：将所述样本增强图像输入给特征提取网络，得到所述样本增强图像对应的第一特征值；将所述样本清晰图像输入给特征提取网络，得到所述样本清晰图像对应的第二特征值；基于第一特征值和第二特征值确定所述特征损失值。
在一种可能的实施方式中，所述将所述调整后网络模型作为已训练的目标网络模型之后，还包括：获取待检测图像，所述待检测图像是存在模糊以及噪声的图像；将所述待检测图像输入给所述目标网络模型，由所述目标网络模型对所述待检测图像进行图像增强，得到与所述待检测图像匹配的清晰图像。
本申请提出一种图像增强装置，所述装置包括：
处理模块，用于获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
增强模块，用于将所述样本噪声图像输入给初始网络模型，由所述初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定模块，用于确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
输出模块，用于若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，由所述增强模块将所述样本噪声图像输入给初始网络模型；
其中，所述目标网络模型用于对待检测图像进行图像增强。
本申请提出一种图像增强设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；以及，对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于所述目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，返回执行将所述样本噪声图像输入给初始网络模型的操作；
其中，所述目标网络模型用于对待检测图像进行图像增强。
由以上技术方案可见，本申请实施例中，可以对样本清晰图像进行加模糊处理和加噪声处理，得到样本噪声图像，即存在模糊和噪声的图像，基于样本清晰图像和样本噪声图像对初始网络模型进行训练，得到已训练的目标网络模型，并基于目标网络模型对待检测图像(如存在模糊和噪声的车窗图像)进行图像增强，具有很好的增强效果，能够对待检测图像进行去模糊和降噪等处理，对待检测图像的通透度和清晰度进行提升，从而提升图像质量，提高图像视觉效果，图像细节更多，边缘过渡部分比较清晰，饱和度得到提升。
附图说明
为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。
图1是本申请一种实施方式中的目标网络模型的训练过程的示意图；
图2是本申请一种实施方式中的图像增强方法的流程示意图；
图3是本申请一种实施方式中的高斯模糊核的示意图；
图4是本申请一种实施方式中的采用插值算法的示意图；
图5A-图5C是本申请一种实施方式中的初始网络模型的结构示意图；
图6是本申请一种实施方式中的图像增强方法的流程示意图；
图7是本申请一种实施方式中的图像增强装置的结构示意图；
图8是本申请一种实施方式中的图像增强设备的硬件结构图。
具体实施方式
在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请实施例提出一种图像增强方法，可以生成训练数据集，基于训练数据集训练得到目标网络模型，并基于目标网络模型对待检测图像(如存在模糊和噪声的车窗图像)进行图像增强，得到与待检测图像匹配的清晰图像，从而能够对待检测图像进行去模糊和降噪等处理，对待检测图像的通透度和清晰度进行提升，能够提升图像质量，提高图像视觉效果，具有很好的增强效果。
本申请实施例中，涉及目标网络模型的训练过程和目标网络模型的检测过程。在目标网络模型的训练过程中，可以生成训练数据集，该训练数据集可以包括多组训练数据，针对每组训练数据来说，该组训练数据包括样本清晰图像和该样本清晰图像匹配的样本噪声图像(如存在模糊和噪声的图像)。基于该训练数据集对已配置的初始网络模型进行训练，得到已训练的目标网络模型(为了区分方便，本实施例中将已训练的网络模型称为目标网络模型)。
在目标网络模型的检测过程中，针对摄像机采集的待检测图像(如存在模糊和噪声的车窗图像)，可以将该待检测图像输入给目标网络模型，由目标网络模型对待检测图像进行图像增强，从而得到与待检测图像匹配的清晰图像。
针对目标网络模型的训练过程，参见图1所示，该训练过程包括训练数据集生成阶段和模型训练阶段。在训练数据集生成阶段中，生成训练数据集，该训练数据集的每组训练数据包括样本清晰图像和样本噪声图像。在模型训练阶段中，基于该训练数据集对初始网络模型进行训练，得到目标网络模型。
参见图1所示，在训练数据集生成阶段中，输入是多个样本清晰图像，针对每个样本清晰图像来说，可以采用高斯模糊核生成与该样本清晰图像匹配的样本模糊图像，或者，采用真实模糊核生成与该样本清晰图像匹配的样本模糊图像，或者，采用插值算法生成与该样本清晰图像匹配的样本模糊图像。
针对所有样本清晰图像来说，可以采用相同方式生成样本模糊图像，比如说，均采用高斯模糊核生成样本模糊图像。或者，可以采用不同方式生成样本模糊图像，比如说，部分样本清晰图像采用高斯模糊核生成样本模糊图像，部分样本清晰图像采用插值算法生成样本模糊图像，对此生成方式不做限制。
针对每个样本清晰图像来说，在得到与该样本清晰图像匹配的样本模糊图像后，还可以在该样本模糊图像上添加高斯白噪声，得到与该样本清晰图像匹配的样本噪声图像，该样本噪声图像是包含模糊和噪声的图像。
综上所述，可以得到训练数据集，该训练数据集包括多组训练数据，针对每组训练数据来说，可以包括样本清晰图像和样本噪声图像，样本噪声图像作为初始网络模型的输入数据，样本清晰图像作为初始网络模型的标签数据。
参见图1所示，在模型训练阶段中，针对每组训练数据来说，将该组训练数据中的样本噪声图像输入给初始网络模型，由初始网络模型对该样本噪声图像进行图像增强，得到样本增强图像。基于此，可以基于样本增强图像与样本清晰图像之间的目标损失值对初始网络模型进行迭代训练，并保存最优的网络模型，在迭代训练结束后，就可以将最优的网络模型作为目标网络模型。
综上所述，在目标网络模型的训练过程中，可以训练得到一个目标网络模型，为了训练得到目标网络模型，本申请实施例中提出一种图像增强方法，参见图2所示，为该图像增强方法的流程示意图，该方法可以包括：
步骤201、获取样本清晰图像，并对该样本清晰图像进行加模糊处理，得到与该样本清晰图像匹配的样本模糊图像。示例性的，该样本清晰图像可以是没有噪声和模糊的图像，该样本模糊图像可以是存在模糊的图像。
示例性的，可以获取到多个样本清晰图像，每个样本清晰图像的处理方式相同，为了方便描述，以一个样本清晰图像为例进行说明。在得到样本清晰图像后，就可以对该样本清晰图像进行加模糊处理，得到样本模糊图像。比如说，可以采用如下方式对该样本清晰图像进行加模糊处理，得到样本模糊图像，当然，如下方式只是示例，对此不做限制，只要能够得到样本模糊图像即可。
方式1、采用高斯模糊核生成与该样本清晰图像匹配的样本模糊图像，比如说，通过高斯模糊核对该样本清晰图像进行卷积运算，得到该样本模糊图像。
在方式1中，需要先获取高斯模糊核，该高斯模糊核包括多个权重值，且多个权重值服从正态分布。当然，多个权重值也可以任意配置，对此不做限制。
高斯模糊核可以理解为一个卷积核(卷积核是能够从图像中提取特定特征的矩阵)，即能够使得清晰图像变模糊的卷积核，如高斯模糊核是包含N*N个权重值(即权重参数值)的矩阵，N*N表示高斯模糊核的大小。在高斯模糊核的生成过程中，高斯模糊核的多个权重值服从正态分布，因此，可以采用正态分布定义高斯模糊核的多个权重值，即各权重值服从公式(1)所示的正态分布。
Figure BDA0003174029770000091
在公式(1)中，μ表示高斯模糊核的所有权重值的均值，σ表示高斯模糊核的所有权重值的方差。在实际应用中，由于高斯模糊核的中心点为原点，因此，高斯模糊核的所有权重值的均值μ可以为0，高斯模糊核的所有权重值的方差σ可以根据经验配置，如动态配置为0.5～3之间的取值，如1.5等。
w表示清晰图像中的像素点对应的分布值，可以基于清晰图像中各像素点的像素值确定。例如，针对清晰图像中的每个像素点(如像素点x)，以像素点x为中心，基于像素点x周围的N*N个像素点(包括像素点x)的像素值确定像素点x对应的分布值，如将N*N个像素点的像素值的平均值作为分布值。
综上所述，针对清晰图像中的每个像素点(如像素点x)，可以确定出像素点x对应的分布值，并采用公式(1)确定出像素点x对应的权重值，继而基于多个像素点对应的权重值得到高斯模糊核。比如说，在采用高斯模糊核对样本清晰图像的某个子块(如N*N个像素点组成的子块)进行卷积运算时，该子块的N*N个像素点对应的N*N个权重值，就可以组成该高斯模糊核。
在方式1中，在得到高斯模糊核后，就可以通过该高斯模糊核对样本清晰图像进行卷积运算，得到样本模糊图像。比如说，对高斯模糊核与样本清晰图像的某个子块(如N*N个像素点组成的子块，不同子块对应的高斯模糊核可以不同，是基于每个像素点的分布值确定)进行卷积运算，将运算后的数值作为该子块的中心像素点的模糊值。显然，通过遍历样本清晰图像的所有子块，就可以得到所有像素点的模糊值，将所有像素点的模糊值组成样本模糊图像。
参见图3所示，为高斯模糊核的一个示例，该高斯模糊核可以包括3*3个权重值，在图3中，以高斯模糊核的所有权重值的均值μ为0，高斯模糊核的所有权重值的方差σ为1.5为例。在该应用场景下，对样本清晰图像进行加模糊处理，得到样本模糊图像的过程，可以定义为样本清晰图像与高斯模糊核的卷积过程，参见如下公式所示：
Figure BDA0003174029770000101
在上述公式中，Y'可以表示样本模糊图像，Y可以表示样本清晰图像，k可以表示高斯模糊核，
Figure BDA0003174029770000102
可以表示卷积运算。
方式2、采用真实模糊核生成与该样本清晰图像匹配的样本模糊图像，比如说，通过真实模糊核对该样本清晰图像进行卷积运算，得到该样本模糊图像。
在方式2中，需要先获取真实模糊核，与高斯模糊核不同的是，高斯模糊核是预先配置的卷积核(如包含N*N个权重值的矩阵)，而真实模糊核是实际场景下的模糊核，可以基于实际场景的模糊图像(记为场景模糊图像)计算得到真实模糊核。在一种可能的实施方式中，真实模糊核的确定方式可以包括但不限于：获取场景模糊图像，确定该场景模糊图像对应的梯度矩阵和暗通道矩阵，并基于该梯度矩阵和该暗通道矩阵确定实际场景中的真实模糊核。该梯度矩阵由场景模糊图像的梯度值确定，该暗通道矩阵由场景模糊图像的R通道、G通道和B通道的最小值确定。当然，上述只是确定真实模糊核的示例，对此确定方式不做限制，只要能够基于场景模糊图像确定真实模糊核即可。
以下结合具体应用场景，对真实模糊核的确定过程进行说明。
在一种可能的实施方式中，图像去模糊的建模方式可以参见公式(2)：
Figure BDA0003174029770000103
在公式(2)中，Y'表示场景模糊图像，是已知图像，Y表示清晰图像，是未知图像，k表示模糊核，是需要确定的真实模糊核，
Figure BDA0003174029770000104
为保真项，该保真项是为了保证清晰图像Y与模糊核k进行卷积运算后，与场景模糊图像Y'相近，||prior||0表示图像去模糊的某一个先验的零范数，可以根据场景模糊图像Y'计算得到该零范数。ratio表示该先验对应的正则项系数，可以根据经验配置。
综上所述，公式(2)中的场景模糊图像Y'、零范数||prior||0和正则项系数ratio均是已知值，而清晰图像Y和模糊核k均是未知值，需要基于公式(2)求解清晰图像Y和模糊核k。由于该方程的非凸性，可以采用凸优化的方法进行求解，凸优化理论中该方程的求解方法比较多，可以采用交替方向乘子算法或者交替坐标下降法等，本实施例中不再赘述该方程的求解过程。显然，通过求解该方程(即公式(2)所示的方程)，就可以得到模糊核k的取值，也就是说，可以得到真实模糊核的取值。在该取值下，能够使得该方程的取值为最小。
在另一种可能的实施方式中，可以将暗通道先验和梯度先验引入去模糊方程，由于模糊核未知，因此，图像去模糊的建模方式可以参见公式(3)：
Figure BDA0003174029770000111
在公式(3)中，Y'表示场景模糊图像，是已知图像，Y表示清晰图像，是未知图像，k表示模糊核，是需要确定的真实模糊核。
Figure BDA0003174029770000112
为模糊核的正则项，γ为模糊核的正则项系数。
Figure BDA0003174029770000113
为场景模糊图像Y'的梯度矩阵的零范数，该项保证了去模糊过程中能够保留大的梯度，并去除微小的细节部分，μ为梯度先验的正则项系数。||D(Y)||0为场景模糊图像Y'的暗通道矩阵的零范数，该项保证了去模糊后的图像的暗通道矩阵是稀疏的，λ为暗通道先验的正则项系数。
针对公式(3)来说，
Figure BDA0003174029770000114
是与模糊核k有关的参数，在模糊核k确定后，模糊核k的正则项
Figure BDA0003174029770000115
就能够确定，且模糊核的正则项系数γ可以根据经验配置。
针对公式(3)来说，可以确定场景模糊图像Y'对应的梯度矩阵，该梯度矩阵可以由场景模糊图像Y'的梯度值(即各像素点的梯度值)确定，例如，针对场景模糊图像Y'的每个像素点，可以确定该像素点的梯度值(比如说，基于该像素点的像素值与该像素点的相邻像素点的像素值的差值确定该梯度值，对此确定方式不做限制)。然后，将所有像素点的梯度值组成梯度矩阵。在得到场景模糊图像Y'对应的梯度矩阵后，就可以计算该梯度矩阵的零范数，即
Figure BDA0003174029770000116
对此计算方式不做限制。并且，梯度先验的正则项系数μ可以根据经验配置。
针对公式(3)来说，可以确定场景模糊图像Y'对应的暗通道矩阵，该暗通道矩阵可以由场景模糊图像Y'的R通道、G通道和B通道的最小值确定，例如，针对场景模糊图像Y'的每个像素点(如像素点x)，选取以像素点x为中心的小块，该小块包括多个像素点，且多个像素点均对应R通道值、G通道值和B通道值，从所有R通道值、所有G通道值和所有B通道值中选取最小值，该最小值作为像素点x的暗通道值。综上所述，可以得到场景模糊图像Y'的每个像素点的暗通道值，并将所有像素点的暗通道值组成暗通道矩阵。在得到场景模糊图像Y'对应的暗通道矩阵后，就可以计算该暗通道矩阵的零范数，即||D(Y)||0，对此计算方式不做限制。并且，暗通道先验的正则项系数λ可以根据经验配置。
比如说，可以定义场景模糊图像Y'中的某个小块的最小值为暗通道，建模参见公式(4)所示。D(Y)i表示场景模糊图像Y'在像素点i处的暗通道值，N(i)表示中心位于像素点i位置处的小块，Yc表示场景模糊图像Y'的第c个通道。
Figure BDA0003174029770000121
综上所述，公式(3)中的场景模糊图像Y'、正则项系数γ、梯度矩阵的零范数
Figure BDA0003174029770000122
正则项系数μ、暗通道矩阵的零范数||D(Y)||0、正则项系数λ均是已知值，而清晰图像Y、模糊核k和正则项
Figure BDA0003174029770000123
均是未知值，且正则项
Figure BDA0003174029770000124
基于模糊核k确定，因此，需要基于公式(3)求解清晰图像Y和模糊核k。由于该方程的非凸性，可以采用凸优化的方法进行求解，凸优化理论中该方程的求解方法比较多，可以采用交替方向乘子算法或者交替坐标下降法等，本实施例中不再赘述该方程的求解过程。显然，通过求解该方程(即公式(3)所示)，就可以得到模糊核k的取值，即真实模糊核。在该取值下，能够使得该方程的取值为最小。
在方式2中，在得到真实模糊核后，就可以通过该真实模糊核对样本清晰图像进行卷积运算，得到样本模糊图像。比如说，对真实模糊核与样本清晰图像的某个子块进行卷积运算，将运算后的数值作为该子块的中心像素点的模糊值。显然，通过遍历样本清晰图像的所有子块，就可以得到所有像素点的模糊值，将所有像素点的模糊值组成样本模糊图像。例如，可以定义样本清晰图像与真实模糊核的卷积过程为：
Figure BDA0003174029770000131
在上述公式中，Y'可以表示样本模糊图像，Y可以表示样本清晰图像，k可以表示真实模糊核，
Figure BDA0003174029770000132
可以表示卷积运算。
方式3、采用插值算法生成与该样本清晰图像匹配的样本模糊图像，比如说，采用预设插值算法对样本清晰图像进行下采样，并采用预设插值算法对下采样后的样本清晰图像进行上采样，得到该样本模糊图像。示例性的，该预设插值算法可以包括但不限于最近邻插值算法、双线性插值算法、双三次插值算法。
比如说，参见图4所示，可以先采用最近邻插值算法对样本清晰图像进行下采样，得到下采样后的样本清晰图像，且下采样后的样本清晰图像的尺寸小于样本清晰图像的尺寸。采用最近邻插值算法对下采样后的样本清晰图像进行上采样，得到样本模糊图像，且样本模糊图像的尺寸等于样本清晰图像的尺寸。
又例如，可以先采用双线性插值算法对样本清晰图像进行下采样，得到下采样后的样本清晰图像。然后，采用双线性插值算法对下采样后的样本清晰图像进行上采样，得到样本模糊图像。又例如，可以先采用双三次插值算法对样本清晰图像进行下采样，得到下采样后的样本清晰图像。然后，采用双三次插值算法对下采样后的样本清晰图像进行上采样，得到样本模糊图像。
在上述实施例中，对样本清晰图像进行下采样时，下采样的倍率可以为2、3、4等，不同的下采样的倍率可以得到不同模糊程度的样本模糊图像。
在采用插值算法生成样本模糊图像时，样本模糊图像没有明显的像素偏移现象，在训练过程中，有一定程度能防止去模糊后的图像的像素偏移现象。
步骤202、对样本模糊图像进行加噪声处理，得到与该样本模糊图像匹配的样本噪声图像，该样本噪声图像可以是存在模糊和噪声的图像。
示例性的，在得到样本模糊图像后，可以采用如下方式对该样本模糊图像进行加噪声处理，得到样本噪声图像(样本噪声图像也可以称为样本模糊噪声图像)，当然，如下方式只是示例，对此加噪声方式不做限制。
为该样本模糊图像添加高斯白噪声，得到该样本噪声图像，该高斯白噪声的确定方式可以包括但不限于：基于已配置的噪声方差确定该高斯白噪声。
比如说，在得到样本模糊图像后，为了提高网络模型的增强能力与泛化性能，同时考虑到实际场景中的图像往往携带噪声，因此，对样本模糊图像添加高斯白噪声，得到样本噪声图像。该高斯白噪声可以为：
Figure BDA0003174029770000141
也就是说，对样本模糊图像中每个像素点的像素值添加该高斯白噪声，得到样本噪声图像。
在该高斯白噪声中，σ'可以表示高斯白噪声的方差，即已配置的噪声方差，可以根据经验进行配置，如可以动态配置为1-10之间的任意取值。
步骤203、将样本噪声图像输入给初始网络模型，由该初始网络模型对该样本噪声图像进行图像增强，得到与该样本噪声图像匹配的样本增强图像。
在一种可能的实施方式中，可以预先配置一个初始网络模型，该初始网络模型可以为基于深度学习算法的网络模型，如基于神经网络的网络模型，对此初始网络模型的结构不做限制，只要能够实现图像增强功能即可。
比如说，初始网络模型可以包括但不限于：第一卷积激活层、池化层、残差层、上采样层、叠加层和第二卷积激活层。步骤203中，可以将样本噪声图像输入给第一卷积激活层，由第一卷积激活层对样本噪声图像进行卷积激活处理，得到第一特征向量。将第一特征向量输入给池化层和叠加层，由池化层对第一特征向量进行下采样，得到第二特征向量。将第二特征向量输入给残差层，由残差层对第二特征向量进行残差处理，得到第三特征向量。将第三特征向量输入给上采样层，由上采样层对第三特征向量进行上采样，得到第四特征向量。将第四特征向量输入给叠加层，由叠加层对第四特征向量和第一特征向量进行叠加处理，得到第五特征向量。将第五特征向量输入给第二卷积激活层，以使第二卷积激活层对第五特征向量进行卷积激活处理，得到样本增强图像。
参见图5A所示，为初始网络模型的结构示意图，该初始网络模型可以包括但不限于：Conv1、Relu1、Conv2、Relu2、Pool、Residual Block、up、add、Conv3、Relu3、Conv4。在上述各网络层中，Conv1(卷积层)、Relu1(激活层)、Conv2、Relu2组成第一卷积激活层，Pool为池化层，Residual Block为残差层(残差块)，up为上采样层，add为叠加层，Conv3、Relu3、Conv4组成第二卷积激活层。
步骤203中，可以将样本噪声图像输入给Conv1，Conv1对样本噪声图像进行卷积操作，得到特征向量a1，将特征向量a1输入给Relu1。Relu1对特征向量a1进行激活操作，得到特征向量a2，将特征向量a2输入给Conv2。Conv2对特征向量a2进行卷积操作，得到特征向量a3，将特征向量a3输入给Relu2。Relu2对特征向量a3进行激活操作，得到特征向量a4(即第一特征向量)，将特征向量a4分别输入给Pool和add。Pool对特征向量a4进行池化操作(即下采样操作)，得到特征向量a5(即第二特征向量)，将特征向量a5输入给Residual Block。
Residual Block对特征向量a5进行残差处理，得到特征向量a6(即第三特征向量)，将特征向量a6输入给up。参见图5B所示，为Residual Block的结构示意图，ResidualBlock可以包括但不限于：两个卷积层、一个激活层和一个叠加层，Residual Block对特征向量a5进行残差处理，得到特征向量a6，可以包括但不限于：将特征向量a5输入给第一个卷积层和叠加层。第一个卷积层对特征向量a5进行卷积操作，得到特征向量a5-1，将特征向量a5-1输入给激活层。激活层对特征向量a5-1进行激活操作，得到特征向量a5-2，将特征向量a5-2输入给第二个卷积层。第二个卷积层对特征向量a5-2进行卷积操作，得到特征向量a5-3，将特征向量a5-3输入给叠加层。叠加层的输入是特征向量a5和特征向量a5-3，对特征向量a5和特征向量a5-3进行叠加操作，得到特征向量a6。
Residual Block将特征向量a6输入给up之后，up对特征向量a6进行上采样操作，得到特征向量a7(即第四特征向量)，将特征向量a7输入给add。add的输入是特征向量a4和特征向量a7，对特征向量a4和特征向量a7进行叠加操作，得到特征向量a8(即第五特征向量)，将特征向量a8输入给Conv3。
Conv3对特征向量a8进行卷积操作，得到特征向量a9，将特征向量a9输入给Relu3。Relu3对特征向量a9进行激活操作，得到特征向量a10，将特征向量a10输入给Conv4。Conv4对特征向量a10进行卷积操作，得到样本增强图像，至此，通过初始网络模型输出与样本噪声图像匹配的样本增强图像。
在一种可能的实施方式中，在初始网络模型中，池化层(Pool)的数量可以为至少两个，上采样层(up)的数量可以为至少两个，叠加层(add)的数量可以为至少两个，且残差层(Residual Block)的数量可以为至少两个。上采样层的数量与池化层的数量可以相同，叠加层的数量与上采样层的数量可以相同。
比如说，参见图5C所示，为初始网络模型的另一个结构示意图，该初始网络模型可以包括但不限于：Conv1、Relu1、Conv2、Relu2、Pool1、Residual Block1、Pool2、ResidualBlock2、Pool3、Residual Block3、up1、add1、Residual Block4、up2、add2、ResidualBlock5、up3、add3、Conv3、Relu3、Conv4。
综上可以看出，初始网络模型由卷积层、激活层、池化层、残差层、上采样层、叠加层组成。卷积层的数量为4个，激活层的数量为3个，池化层的数量为3个，残差层的数量为5个，上采样层的数量为3个，叠加层的数量为3个。当然，图5C只是示例，对各种类型的网络层的数量均不做限制。
通过3个池化层和3个上采样层，可以实现三次下采样和三次上采样。通过5个残差层(残差块)，能够有效防止过拟合现象。通过3个叠加层，能够采用浅层特征与深层特征叠加融合的方法来提高模型的拟合能力和泛化能力。
参见图5C所示，初始网络模型的输入数据可以为128×128×3的彩色图像(即样本噪声图像)，初始网络模型的输出数据可以为128×128×3的彩色图像(即样本增强图像)。针对每个卷积层(如Conv1、Conv2、Conv3、Conv4)来说，通道数为16。针对每个池化层(如Pool1、Pool2、Pool3)来说，在特征向量经过该池化层后，则特征向量的通道数翻倍，且特征向量的宽度减半，特征向量的高度减半。针对每个上采样层(如up1、up2、up3)来说，在特征向量经过该上采样层后，则特征向量的通道数减半，且特征向量的宽度翻倍，特征向量的高度翻倍。采用上述设计的目的是：保证每一层的特征图总数相同，能够有效防止下采样或上采样带来的像素损失，从而提高初始网络模型的拟合能力。
基于图5C所示的初始网络模型，在步骤203中，可以将样本噪声图像输入给Conv1，继而由Conv1、Relu1、Conv2、Relu2、Pool1、Residual Block1、Pool2、Residual Block2、Pool3、Residual Block3、up1、add1、Residual Block4、up2、add2、Residual Block5、up3、add3、Conv3、Relu3、Conv4等网络层依次对特征向量进行处理，最终得到样本增强图像，对各网络层的处理过程不再赘述。
步骤204、确定样本增强图像与样本清晰图像之间的目标损失值，并基于该目标损失值对初始网络模型的参数进行调整，得到调整后网络模型。
示例性的，在得到目标损失值后，就可以基于该目标损失值对初始网络模型的参数进行调整，比如说，可以采用反向传播算法、梯度下降算法等，对初始网络模型的参数进行调整，对此调整算法不做限制，只要能够基于该目标损失值对初始网络模型的参数进行调整，以提高网络模型的性能即可。
在对初始网络模型的参数进行调整时，参数调整的优化目标是，在基于调整后网络模型重新执行步骤203时，能够促使目标损失值变小。
在一种可能的实施方式中，基于样本增强图像和样本清晰图像，可以采用如下步骤确定样本增强图像与样本清晰图像之间的目标损失值：
步骤2041、确定样本增强图像与样本清晰图像之间的峰值信噪比损失值。比如说，基于样本增强图像中各像素点的像素值和样本清晰图像中各像素点的像素值确定均方误差值，并基于均方误差值和图像位数确定峰值信噪比损失值。
比如说，基于样本增强图像中各像素点的像素值和样本清晰图像中各像素点的像素值，可以采用公式(5)确定均方误差值，当然，公式(5)只是示例，对此确定方式不做限制。基于均方误差值，可以采用公式(6)确定峰值信噪比损失值(PSNR损失值)，当然，公式(6)只是示例，对此确定方式不做限制。
Figure BDA0003174029770000171
Figure BDA0003174029770000172
在公式(5)和公式(6)中，MSE表示均方误差值，M表示样本增强图像(或样本清晰图像)的宽度，N表示样本增强图像(或样本清晰图像)的高度，X(i,j)表示样本清晰图像中的像素点(i,j)的像素值，X*(i,j)表示样本增强图像中的像素点(i,j)的像素值，Lpsnr表示峰值信噪比损失值，n表示图像位数，由于样本增强图像(或样本清晰图像)为彩色图像，因此，图像位数n可以为8。
步骤2042、确定样本增强图像与样本清晰图像之间的结构相似度损失值。
比如说，基于样本增强图像中各像素点的像素值和样本清晰图像中各像素点的像素值，确定样本增强图像对应的第一均值(即样本增强图像中所有像素点的像素值的平均值)和第一方差(即样本增强图像中所有像素点的像素值的方差值)、样本清晰图像对应的第二均值(即样本清晰图像中所有像素点的像素值的平均值)和第二方差(即样本清晰图像中所有像素点的像素值的方差值)、及样本增强图像与样本清晰图像之间的协方差(即样本增强图像中所有像素点的像素值与样本清晰图像中所有像素点的像素值之间的协方差)。基于第一均值、第二均值、第一方差、第二方差和协方差确定该结构相似度损失值。
比如说，基于样本增强图像中各像素点的像素值以及样本清晰图像中各像素点的像素值，可以确定出第一均值、第二均值、第一方差、第二方差和协方差，并可以采用公式(7)确定结构相似度损失值，当然，公式(7)只是一个示例，对此结构相似度损失值(SSIM损失值)的确定方式不做限制。
Figure BDA0003174029770000181
在公式(7)中，μX表示样本清晰图像对应的第二均值，
Figure BDA0003174029770000182
表示样本增强图像对应的第一均值，
Figure BDA0003174029770000183
表示样本清晰图像对应的第二方差，
Figure BDA0003174029770000184
表示样本增强图像对应的第一方差，
Figure BDA0003174029770000185
表示样本增强图像与样本清晰图像之间的协方差。Lssim表示样本增强图像与样本清晰图像之间的结构相似度损失值。
步骤2043、确定样本增强图像与样本清晰图像之间的特征损失值。
比如说，将样本增强图像输入给特征提取网络，得到样本增强图像对应的第一特征值，将样本清晰图像输入给特征提取网络，得到样本清晰图像对应的第二特征值，并基于该第一特征值和该第二特征值确定该特征损失值。
示例性的，可以预先配置特征提取网络，这个特征提取网络用于提取图像的特征值(即特征向量值)，对此特征提取网络不做限制，只要能够提取图像的特征值即可，如VGG(Visual Geometry Group，超分辨率测试序列)等。在此基础上，可以将样本增强图像输入给特征提取网络，由特征提取网络提取样本增强图像的特征值，后续记为第一特征值。将样本清晰图像输入给特征提取网络，由特征提取网络提取样本清晰图像的特征值，后续记为第二特征值。
基于该第一特征值和该第二特征值，可以采用公式(8)确定特征损失值，当然，公式(8)只是一个示例，对此特征损失值的确定方式不做限制。
Lfeature＝||VGG(X)-VGG(X*)||公式(8)
在公式(8)中，VGG(X)表示样本清晰图像对应的第二特征值，VGG(X*)表示样本增强图像对应的第一特征值，Lfeature表示该特征损失值。
步骤2044、基于该峰值信噪比损失值、该结构相似度损失值和该特征损失值，确定样本增强图像与样本清晰图像之间的目标损失值。
比如说，可以基于该峰值信噪比损失值、该峰值信噪比损失值对应的权重系数、该结构相似度损失值、该结构相似度损失值对应的权重系数、该特征损失值、以及该特征损失值对应的权重系数，确定该目标损失值。参见公式(9)所示，为确定该目标损失值的示例，对此目标损失值的确定方式不做限制。
Ltotal＝k1*Lpsnr+k2*Lssim+k3*Lfeature 公式(9)
在公式(9)中，Ltotal表示目标损失值，Lpsnr表示峰值信噪比损失值，Lssim表示结构相似度损失值，Lfeature表示特征损失值，k1表示峰值信噪比损失值对应的权重系数，k2表示结构相似度损失值对应的权重系数，k3表示特征损失值对应的权重系数。k1、k2、k3的取值可以根据经验配置，对此不做限制，比如说，k1的取值为1，k2的取值为1，k3的取值为0.1，基于此，上述公式(9)可以等价为Ltotal＝Lpsnr+Lssim+0.1·Lfeature，当然，上述只是k1、k2、k3的取值的示例。
综上所述，本申请实施例中设计一种损失函数(参见公式(9)所示)，该损失函数采用峰值信噪比损失值(PSNR-loss)、结构相似度损失值(SSIM-loss)和特征损失值(Feature-loss)，来指导网络模型的训练。当然，上述方式只是损失函数的示例，对此不做限制，还可以采用其它方式确定目标损失值。
示例性的，目标损失值可以基于峰值信噪比损失值(PSNR-loss)、结构相似度损失值(SSIM-loss)和特征损失值(Feature-loss)中的至少一个来确定。
比如说，确定样本增强图像与样本清晰图像之间的峰值信噪比损失值，并基于该峰值信噪比损失值确定该目标损失值。或者，确定样本增强图像与样本清晰图像之间的结构相似度损失值，并基于该结构相似度损失值确定该目标损失值。或者，确定样本增强图像与样本清晰图像之间的特征损失值，并基于该特征损失值确定该目标损失值。或者，确定峰值信噪比损失值和结构相似度损失值，并基于该峰值信噪比损失值和该结构相似度损失值确定该目标损失值。或者，确定峰值信噪比损失值和特征损失值，并基于该峰值信噪比损失值和该特征损失值确定该目标损失值。或者，确定结构相似度损失值和特征损失值，并基于该结构相似度损失值和该特征损失值确定该目标损失值。
步骤205、确定调整后网络模型是否已满足收敛条件。
若是，则可以执行步骤206，若否，则可以执行步骤207。
在一种可能的实施方式中，若目标损失值小于预设阈值(可根据经验配置，如大于0且接近0的数值，目标损失值小于预设阈值时，表示目标损失值较小，样本增强图像与样本清晰图像比较接近)，确定调整后网络模型已满足收敛条件。若目标损失值不小于预设阈值，确定调整后网络模型未满足收敛条件。
在另一种可能的实施方式中，若初始网络模型的迭代次数达到次数阈值(可以根据经验配置)，则确定调整后网络模型已满足收敛条件，若初始网络模型的迭代次数未达到次数阈值，则确定调整后网络模型未满足收敛条件。
比如说，每次基于训练数据集中的多组训练数据对初始网络模型进行一次迭代(即执行步骤203-步骤204)后，将初始网络模型的迭代次数加1，并判断迭代次数是否达到次数阈值，从而获知调整后网络模型是否满足收敛条件。
当然，上述方式只是确定调整后网络模型是否满足收敛条件的两个示例，对此确定方式不做限制，比如说，若初始网络模型的迭代总时长已经达到时长阈值，也可以确定调整后网络模型已满足收敛条件，在此不再赘述。
步骤206、将调整后网络模型作为已训练的目标网络模型，至此，完成初始网络模型的训练过程，得到已训练的目标网络模型。在一种可能的实施方式中，该目标网络模型可以用于对待检测图像进行图像增强，参见后续实施例。
步骤207，将调整后网络模型作为初始网络模型，返回执行将样本噪声图像输入给初始网络模型(即调整后网络模型)的操作，即返回步骤203-步骤204，重新对初始网络模型的参数进行调整，得到调整后网络模型，以此类推。
在一种可能的实施方式中，基于已训练的目标网络模型，针对目标网络模型的检测过程，本申请实施例中提出一种图像增强方法，参见图6所示，为该图像增强方法的流程示意图，该图像增强方法可以包括：
步骤601、获取待检测图像，该待检测图像可以是存在模糊以及噪声的图像。比如说，待检测图像可以是摄像机采集的存在模糊和噪声的车窗图像。
步骤602、将该待检测图像输入给目标网络模型，由目标网络模型对该待检测图像进行图像增强，得到与该待检测图像匹配的清晰图像。
示例性的，目标网络模型的结构与初始网络模型的结构相同，即目标网络模型可以参见图5A或者图5C所示。目标网络模型的处理过程与初始网络模型的处理过程类似，只是输入数据是待检测图像，输出数据是与该待检测图像匹配的清晰图像，对此目标网络模型的处理过程不再赘述，可以参见上述实施例。
由以上技术方案可见，本申请实施例中，可以对样本清晰图像进行加模糊处理和加噪声处理，得到样本噪声图像，即存在模糊和噪声的图像，基于样本清晰图像和样本噪声图像对初始网络模型进行训练，得到已训练的目标网络模型，并基于目标网络模型对待检测图像(如存在模糊和噪声的车窗图像)进行图像增强，具有很好的增强效果，能够对待检测图像进行去模糊和降噪等处理，对待检测图像的通透度和清晰度进行提升，从而提升图像质量，提高图像视觉效果，图像细节更多，边缘过渡部分比较清晰，饱和度得到提升。在训练数据集的生成过程中，可以基于场景模糊图像提取真实模糊核，然后叠加到样本清晰图像(初始网络模型的标签)上获得样本模糊图像和样本噪声图像(初始网络模型的输入)，使得训练数据集中的样本噪声图像尽可能接近真实模糊图像。在网络模型的设计方面，能够缩小网络模型的复杂度，同时将浅层特征与深层特征进行融合，网络拟合效果更佳。在损失函数的设计方面，采用了特征损失、PSNR损失和SSIM损失相结合，特征损失的引入使得网络模型训练回传时效果更佳，PSNR损失的引入是客观评判标准，PSNR损失越大意味着网络模型越优。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像增强装置，参见图7所示，为所述图像增强装置的结构示意图，所述装置可以包括：
处理模块71，用于获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
增强模块72，用于将所述样本噪声图像输入给初始网络模型，由所述初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定模块73，用于确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
输出模块74，用于若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，由所述增强模块将所述样本噪声图像输入给初始网络模型；其中，所述目标网络模型用于对待检测图像进行图像增强。
示例性的，所述处理模块71对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像时具体用于：
通过高斯模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述高斯模糊核包括多个权重值，所述多个权重值服从正态分布；
或，通过真实模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述真实模糊核的确定方式为：获取场景模糊图像，确定所述场景模糊图像对应的梯度矩阵和暗通道矩阵，基于所述梯度矩阵和所述暗通道矩阵确定真实模糊核；所述梯度矩阵由所述场景模糊图像的梯度值确定，所述暗通道矩阵由所述场景模糊图像的R通道、G通道和B通道的最小值确定；
或，采用预设插值算法对所述样本清晰图像进行下采样，采用所述预设插值算法对下采样后的样本清晰图像进行上采样，得到所述样本模糊图像；其中，所述预设插值算法包括最近邻插值算法、双线性插值算法、双三次插值算法。
示例性的，所述初始网络模型包括第一卷积激活层、池化层、残差层、上采样层、叠加层、第二卷积激活层；所述增强模块72将所述样本噪声图像输入给初始网络模型，由所述初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像时具体用于：
将所述样本噪声图像输入给第一卷积激活层，由所述第一卷积激活层对所述样本噪声图像进行卷积激活处理，得到第一特征向量；
将所述第一特征向量输入给池化层和叠加层，由所述池化层对第一特征向量进行下采样，得到第二特征向量；将所述第二特征向量输入给残差层，由所述残差层对第二特征向量进行残差处理，得到第三特征向量；将所述第三特征向量输入给上采样层，由所述上采样层对第三特征向量进行上采样，得到第四特征向量；将所述第四特征向量输入给叠加层，由所述叠加层对所述第四特征向量和所述第一特征向量进行叠加处理，得到第五特征向量；
将所述第五特征向量输入给第二卷积激活层，以使第二卷积激活层对所述第五特征向量进行卷积激活处理，得到所述样本增强图像。
示例性的，所述确定模块73确定所述样本增强图像与样本清晰图像之间的目标损失值时具体用于：确定所述样本增强图像与所述样本清晰图像之间的峰值信噪比损失值；确定所述样本增强图像与所述样本清晰图像之间的结构相似度损失值；确定所述样本增强图像与所述样本清晰图像之间的特征损失值；基于所述峰值信噪比损失值、所述结构相似度损失值和所述特征损失值，确定所述样本增强图像与所述样本清晰图像之间的目标损失值。
基于与上述方法同样的申请构思，本申请实施例中提出一种图像增强设备，参见图8所示，所述图像增强设备可以包括：处理器81和机器可读存储介质82，所述机器可读存储介质82存储有能够被所述处理器81执行的机器可执行指令；所述处理器81用于执行机器可执行指令，以实现如下步骤：
获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；以及，对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于所述目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，返回执行将所述样本噪声图像输入给初始网络模型的操作；
其中，所述目标网络模型用于对待检测图像进行图像增强。
基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像增强方法。
其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像增强方法，其特征在于，所述方法包括：
获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；以及，对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于所述目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，返回执行将所述样本噪声图像输入给初始网络模型的操作；
其中，所述目标网络模型用于对待检测图像进行图像增强。
2.根据权利要求1所述的方法，其特征在于，所述对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，包括：
通过高斯模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述高斯模糊核包括多个权重值，所述多个权重值服从正态分布；
或，通过真实模糊核对所述样本清晰图像进行卷积运算，得到所述样本模糊图像；其中，所述真实模糊核的确定方式为：获取场景模糊图像，确定所述场景模糊图像对应的梯度矩阵和暗通道矩阵，基于所述梯度矩阵和所述暗通道矩阵确定真实模糊核；所述梯度矩阵由所述场景模糊图像的梯度值确定，所述暗通道矩阵由所述场景模糊图像的R通道、G通道和B通道的最小值确定；
或，采用预设插值算法对所述样本清晰图像进行下采样，采用所述预设插值算法对下采样后的样本清晰图像进行上采样，得到所述样本模糊图像；其中，所述预设插值算法包括最近邻插值算法、双线性插值算法、双三次插值算法。
3.根据权利要求1所述的方法，其特征在于，所述对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，包括：
为所述样本模糊图像添加高斯白噪声，得到所述样本噪声图像；其中，所述高斯白噪声的确定方式包括：基于已配置的噪声方差确定所述高斯白噪声。
4.根据权利要求1所述的方法，其特征在于，所述初始网络模型包括第一卷积激活层、池化层、残差层、上采样层、叠加层、第二卷积激活层；所述将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像，包括：
将所述样本噪声图像输入给第一卷积激活层，由所述第一卷积激活层对所述样本噪声图像进行卷积激活处理，得到第一特征向量；
将所述第一特征向量输入给池化层和叠加层，由所述池化层对第一特征向量进行下采样，得到第二特征向量；将所述第二特征向量输入给残差层，由所述残差层对第二特征向量进行残差处理，得到第三特征向量；将所述第三特征向量输入给上采样层，由所述上采样层对第三特征向量进行上采样，得到第四特征向量；将所述第四特征向量输入给叠加层，由所述叠加层对所述第四特征向量和所述第一特征向量进行叠加处理，得到第五特征向量；
将所述第五特征向量输入给第二卷积激活层，以使第二卷积激活层对所述第五特征向量进行卷积激活处理，得到所述样本增强图像。
5.根据权利要求4所述的方法，其特征在于，
所述池化层的数量为至少两个，所述上采样层的数量为至少两个，所述叠加层的数量为至少两个，所述残差层的数量为至少两个；所述上采样层的数量与所述池化层的数量相同，所述叠加层的数量与所述上采样层的数量相同；
针对每个池化层，在特征向量经过该池化层后，则特征向量的通道数翻倍，且特征向量的宽度减半，特征向量的高度减半；
针对每个上采样层，在特征向量经过该上采样层后，则特征向量的通道数减半，且特征向量的宽度翻倍，特征向量的高度翻倍。
6.根据权利要求1所述的方法，其特征在于，
所述确定所述样本增强图像与所述样本清晰图像之间的目标损失值，包括：
确定所述样本增强图像与所述样本清晰图像之间的峰值信噪比损失值；
确定所述样本增强图像与所述样本清晰图像之间的结构相似度损失值；
确定所述样本增强图像与所述样本清晰图像之间的特征损失值；
基于所述峰值信噪比损失值、所述结构相似度损失值和所述特征损失值，确定所述样本增强图像与所述样本清晰图像之间的目标损失值。
7.根据权利要求6所述的方法，其特征在于，所述确定所述样本增强图像与所述样本清晰图像之间的峰值信噪比损失值，包括：基于所述样本增强图像中各像素点的像素值和所述样本清晰图像中各像素点的像素值确定均方误差值；基于所述均方误差值和图像位数确定所述峰值信噪比损失值；
所述确定所述样本增强图像与所述样本清晰图像之间的结构相似度损失值，包括：基于所述样本增强图像中各像素点的像素值和所述样本清晰图像中各像素点的像素值，确定所述样本增强图像对应的第一均值和第一方差、所述样本清晰图像对应的第二均值和第二方差、及所述样本增强图像与所述样本清晰图像之间的协方差；基于所述第一均值、所述第二均值、所述第一方差、所述第二方差和所述协方差确定所述结构相似度损失值；
所述确定所述样本增强图像与所述样本清晰图像之间的特征损失值，包括：将所述样本增强图像输入给特征提取网络，得到所述样本增强图像对应的第一特征值；将所述样本清晰图像输入给特征提取网络，得到所述样本清晰图像对应的第二特征值；基于第一特征值和第二特征值确定所述特征损失值。
8.根据权利要求1所述的方法，其特征在于，所述将所述调整后网络模型作为已训练的目标网络模型之后，所述方法还包括：
获取待检测图像，所述待检测图像是存在模糊以及噪声的图像；
将所述待检测图像输入给所述目标网络模型，由所述目标网络模型对所述待检测图像进行图像增强，得到与所述待检测图像匹配的清晰图像。
9.一种图像增强装置，其特征在于，所述装置包括：
处理模块，用于获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
增强模块，用于将所述样本噪声图像输入给初始网络模型，由所述初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定模块，用于确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
输出模块，用于若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，由所述增强模块将所述样本噪声图像输入给初始网络模型；
其中，所述目标网络模型用于对待检测图像进行图像增强。
10.一种图像增强设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；
所述处理器用于执行机器可执行指令，以实现如下步骤：
获取样本清晰图像，并对所述样本清晰图像进行加模糊处理，得到与所述样本清晰图像匹配的样本模糊图像，所述样本模糊图像是存在模糊的图像；以及，对所述样本模糊图像进行加噪声处理，得到与所述样本模糊图像匹配的样本噪声图像，所述样本噪声图像是存在模糊和噪声的图像；
将所述样本噪声图像输入给初始网络模型，由初始网络模型对所述样本噪声图像进行图像增强，得到与所述样本噪声图像匹配的样本增强图像；
确定所述样本增强图像与所述样本清晰图像之间的目标损失值，基于所述目标损失值对初始网络模型的参数进行调整，得到调整后网络模型；其中，所述目标损失值基于峰值信噪比损失值、结构相似度损失值和特征损失值中的至少一个确定；
若所述调整后网络模型已满足收敛条件，则将所述调整后网络模型作为已训练的目标网络模型；否则，将所述调整后网络模型作为初始网络模型，返回执行将所述样本噪声图像输入给初始网络模型的操作；
其中，所述目标网络模型用于对待检测图像进行图像增强。
CN202110826781.XA 2021-07-21 2021-07-21 一种图像增强方法、装置及设备 Active CN113436112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110826781.XA CN113436112B (zh) 2021-07-21 2021-07-21 一种图像增强方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110826781.XA CN113436112B (zh) 2021-07-21 2021-07-21 一种图像增强方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113436112A true CN113436112A (zh) 2021-09-24
CN113436112B CN113436112B (zh) 2022-08-26

Family

ID=77761314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110826781.XA Active CN113436112B (zh) 2021-07-21 2021-07-21 一种图像增强方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113436112B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116342984A (zh) * 2023-05-31 2023-06-27 之江实验室 一种模型训练的方法以及图像处理的方法及装置

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN109345474A (zh) * 2018-05-22 2019-02-15 南京信息工程大学 基于梯度域和深度学习的图像运动模糊盲去除方法
US20190122342A1 (en) * 2016-05-03 2019-04-25 Koninklijke Philips N.V. Device and method for denoising a vector-valued image
CN110111288A (zh) * 2019-04-15 2019-08-09 电子科技大学 基于深度辅助学习的图像增强及盲图质量评价网络
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112419219A (zh) * 2020-11-25 2021-02-26 广州虎牙科技有限公司 图像增强模型训练方法、图像增强方法以及相关装置
CN112819716A (zh) * 2021-01-29 2021-05-18 西安交通大学 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法
KR20210085373A (ko) * 2019-12-30 2021-07-08 서경대학교 산학협력단 이미지 잡음제거용 뉴럴 네트워크에서 데이터 학습 방법

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190122342A1 (en) * 2016-05-03 2019-04-25 Koninklijke Philips N.V. Device and method for denoising a vector-valued image
CN109345474A (zh) * 2018-05-22 2019-02-15 南京信息工程大学 基于梯度域和深度学习的图像运动模糊盲去除方法
CN108830816A (zh) * 2018-06-27 2018-11-16 厦门美图之家科技有限公司 图像增强方法及装置
CN109087256A (zh) * 2018-07-19 2018-12-25 北京飞搜科技有限公司 一种基于深度学习的图像去模糊方法及系统
CN110111288A (zh) * 2019-04-15 2019-08-09 电子科技大学 基于深度辅助学习的图像增强及盲图质量评价网络
CN110675334A (zh) * 2019-08-28 2020-01-10 苏州千视通视觉科技股份有限公司 一种图像增强方法及装置
KR20210085373A (ko) * 2019-12-30 2021-07-08 서경대학교 산학협력단 이미지 잡음제거용 뉴럴 네트워크에서 데이터 학습 방법
CN111583161A (zh) * 2020-06-17 2020-08-25 上海眼控科技股份有限公司 模糊图像的增强方法、计算机设备和存储介质
CN112381897A (zh) * 2020-11-16 2021-02-19 西安电子科技大学 基于自编码网络结构的低照度图像增强方法
CN112419219A (zh) * 2020-11-25 2021-02-26 广州虎牙科技有限公司 图像增强模型训练方法、图像增强方法以及相关装置
CN112348936A (zh) * 2020-11-30 2021-02-09 华中科技大学 一种基于深度学习的低剂量锥束ct图像重建方法
CN112819716A (zh) * 2021-01-29 2021-05-18 西安交通大学 基于高斯-拉普拉斯金字塔的无监督学习x光图像增强方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHENGGANG YAN 等: "Depth image denoising using nuclear norm and learning graph model", 《ARXIV》 *
JIE XIAO等: "A general model compression method for image restoration network", 《SIGNAL PROCESSING: IMAGE COMMUNICATION》 *
黄淑英等: "基于渐进式双网络模型的低曝光图像增强方法", 《计算机学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827567A (zh) * 2022-03-23 2022-07-29 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN114827567B (zh) * 2022-03-23 2024-05-28 阿里巴巴（中国）有限公司 视频质量分析方法、设备和可读介质
CN115147314A (zh) * 2022-09-02 2022-10-04 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN115147314B (zh) * 2022-09-02 2022-11-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备以及存储介质
CN116342984A (zh) * 2023-05-31 2023-06-27 之江实验室 一种模型训练的方法以及图像处理的方法及装置
CN116342984B (zh) * 2023-05-31 2023-08-08 之江实验室 一种模型训练的方法以及图像处理的方法及装置

Also Published As

Publication number Publication date
CN113436112B (zh) 2022-08-26

Similar Documents

Publication Publication Date Title
CN113436112B (zh) 一种图像增强方法、装置及设备
Yue et al. Supervised raw video denoising with a benchmark dataset on dynamic scenes
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
Niklaus et al. Video frame interpolation via adaptive convolution
CN109003282B (zh) 一种图像处理的方法、装置及计算机存储介质
CN108205804B (zh) 图像处理方法、装置及电子设备
You et al. Blind image restoration by anisotropic regularization
Min et al. Depth video enhancement based on weighted mode filtering
CN102576454B (zh) 利用空间图像先验的图像去模糊法
KR101743861B1 (ko) 이미지 안정화를 위한 이미지 융합 방법
CN111275626A (zh) 一种基于模糊度的视频去模糊方法、装置及设备
KR102481882B1 (ko) 이미지를 처리하는 방법 및 장치
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
Zhou et al. Scale-aware edge-preserving image filtering via iterative global optimization
CN111091503A (zh) 基于深度学习的图像去失焦模糊方法
CN110738609A (zh) 一种去除图像摩尔纹的方法及装置
Jeong et al. Multi-frame example-based super-resolution using locally directional self-similarity
Liu et al. PD-GAN: perceptual-details gan for extremely noisy low light image enhancement
CN113724155A (zh) 用于自监督单目深度估计的自提升学习方法、装置及设备
Wang et al. First image then video: a two-stage network for spatiotemporal video denoising
Pham Kriging-weighted laplacian kernels for grayscale image sharpening
KR102466061B1 (ko) 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
CN109635809A (zh) 一种面向视觉退化图像的超像素分割方法
Park et al. False contour reduction using neural networks and adaptive bi-directional smoothing
CN116977200A (zh) 视频去噪模型的处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant