CN116029911A - 一种模糊图像生成方法、网络模型训练方法及装置 - Google Patents

一种模糊图像生成方法、网络模型训练方法及装置 Download PDF

Info

Publication number
CN116029911A
CN116029911A CN202111250062.4A CN202111250062A CN116029911A CN 116029911 A CN116029911 A CN 116029911A CN 202111250062 A CN202111250062 A CN 202111250062A CN 116029911 A CN116029911 A CN 116029911A
Authority
CN
China
Prior art keywords
image
images
model
image set
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111250062.4A
Other languages
English (en)
Inventor
董航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111250062.4A priority Critical patent/CN116029911A/zh
Priority to PCT/CN2022/127384 priority patent/WO2023072072A1/zh
Publication of CN116029911A publication Critical patent/CN116029911A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种模糊图像生成方法、网络模型训练方法及装置，涉及图像处理技术领域。该方法包括：获取第一图像集合中各个图像的模糊核，生成模糊核池；第一图像集合包括多个分辨率小于第一阈值的图像；从模糊核池中选取第二图像集合中的各个图像对应的模糊核；第二图像集合包括多个分辨率大于第二阈值的图像；通过各个图像对应的模糊核对第二图像集合中的图像进行降质，获取第二图像集合中各个图像对应的模糊图像。本发明实施例用于解决现有技术中获取的训练数据集中模糊图像与真实的模糊图像的差异很大的问题。

Description

一种模糊图像生成方法、网络模型训练方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种模糊图像生成方法、网络模型训练方法及装置。
背景技术
视频修复任务是视频画质增强中的重点业务。目前使用最为广泛的一种视频修复方式为：获取训练数据集，使用获取的训练数据集对网络模型进行训练获取视频修复网络模型，最终通过视频修复网络模型进行视频修复。由于训练数据集直接决定获取的视频修复网络模型的模型性能，因此如何获取与真实数据更加吻合的训练数据集已成为本领域的研究热点之一。
现有技术中普遍采用的方法为：获取包括多个清晰图像的高质量图像集合，然后采用Bicubic降采样等降质方式生成高质量图像集合中各个清晰图像对应的模糊图像，最后将高质量图像集合中的清晰图像以及对应的模糊图像作为训练数据集。然而，采用Bicubic降采样等降质方式获取的模糊图像与真实的模糊图像的差异很大。由于通过现有技术中的训练数据集生成方法获取的训练数据集中的模糊图像与真实的模糊图像的差异很大，因此训练得到的视频修复网络模型的性能非常不理想。
发明内容
有鉴于此，本发明提供了一种模糊图像生成方法、网络模型训练方法及装置，用于解决现有技术中获取的训练数据集中模糊图像与真实的模糊图像的差异很大的问题。
为了实现上述目的，本发明实施例提供技术方案如下：
第一方面，本发明的实施例提供了一种模糊图像生成方法，包括：
获取第一图像集合中各个图像的模糊核，生成模糊核池；所述第一图像集合包括多个分辨率小于第一阈值的图像；
从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
作为本发明实施例一种可选的实施方式，所述获取第一图像集合中各个图像的模糊核，包括：
随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；
将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；
将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；
通过所述预测模糊核对所述第一图像进行降质，获取第二图像；
基于所述第二图像和所述目标图像判断是否满足收敛条件；
若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；
若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
作为本发明实施例一种可选的实施方式，所述更新模型参数和/或模型输入，包括：
更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
作为本发明实施例一种可选的实施方式，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；
将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；
基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；
对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；
所述基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合，包括：基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合；
所述基于图像的场景将所述第一图像集合中的图像划分为多个第二子图像集合，包括：基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
第二方面，本发明的实施例提供了一种网络模型训练方法，包括：
获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
通过第一方面任一项所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
通过所述训练数据集对用于对模糊图像进行修复的图像修复网络模型进行训练。
第三方面，本发明的实施例提供了一种模糊图像生成装置，包括：
获取单元，用于获取第一图像集合中各个图像的模糊核；生成模糊核池，所述第一图像集合包括多个分辨率小于第一阈值的图像；
选取单元，用于从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
处理单元，用于通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
作为本发明实施例一种可选的实施方式，所述获取单元，具体用于随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；通过所述预测模糊核对所述第一图像进行降质，获取第二图像；基于所述第二图像和所述目标图像判断是否满足收敛条件；若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
作为本发明实施例一种可选的实施方式，所述获取单元，具体用于更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
作为本发明实施例一种可选的实施方式，所述选取单元，具体用于针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述选取单元，具体用于基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；
所述选取单元，具体用于基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合，以及基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
第四方面，本发明实施例提供了一种网络模型训练装置，包括：
获取单元，用于获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
处理单元，用于通过第一方面任一项所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
生成单元，用于根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
训练单元，用于通过所述训练数据集对预设网络模型进行训练，获取用于对模糊图像进行修复的图像修复网络模型。
第五方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现第一方面或第一方面任一种可选的实施方式所述的方法。
第六方面，本发明实施例提供一种计算机可读存储介质，当所述计算机程序被计算设备执行时，使得所述计算设备实现第一方面或第一方面任一种可选的实施方式所述的方法。
第七方面，本发明实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机实现第一方面或第一方面任一种可选的实施方式所述的方法。
本发明实施例提供的模糊图像生成方法首先获取多个分辨率小于第一阈值的图像的第一图像集合中各个图像的模糊核生成模糊核池，然后从所述模糊核池中选取包括多个分辨率大于第二阈值的图像的第二图像集合中的各个图像对应的模糊核，再通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。由于本发明实施例中用于对第二图像集合中的图像进行降质的模糊核为第一图像集合中的真实图像的模糊核，因此通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质获取的模糊图像与真实的模糊图像更加吻合，因此本发明实施例可以解决现有技术中获取的模糊图像与真实的模糊图像的差异很大的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的模糊图像生成方法的步骤流程图之一；
图2为本发明实施例提供的模糊图像生成方法的数据流示意图之二；
图3为本发明实施例提供的模糊图像生成方法模型框架图；
图4为本发明实施例提供的网络模型训练方法点的步骤流程图；
图5为本发明实施例提供的模糊图像生成装置的结构示意图；
图6为本发明实施例提供的网络模型训练装置的结构示意图
图7为本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面将对本发明的方案进行进一步描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但本发明还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本发明的一部分实施例，而不是全部的实施例。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。此外，在本发明实施例的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
本发明实施例提供了一种模糊图像生成方法，参照图1所示，该模糊图像生成方法包括如下步骤：
S11、获取第一图像集合中各个图像的模糊核，生成模糊核池。
其中，所述第一图像集合包括多个分辨率小于第一阈值的图像。
具体的，上述步骤S11的实现过程可以包括：获取多个分辨率小于第一阈值的低清晰度图像组成第一图像集合，然后提取第一图像集合中的每一个低清晰度图像的模糊核，最后将提取的全部模糊核组成模糊核池。
本发明实施例中的第一阈值可以根据最终训练得到的视频修复网络模型的使用场景确定，若最终训练得到的视频修复网络模型用于对较低清晰度的视频进行修复，则可以将第一阈值设置的较小，而若最终训练得到的视频修复网络模型用于对较高清晰度的视频进行修复，则可以将第一阈值设置的较大。
需要说明的是，本发明实施例中的第一图像集合可以由多张相互独立的图像组成，也可以为从同一视频中进行图像帧采样获取的多个视频帧，还可以为同一视频中的全部图像帧，本发明实施例对此不做限定，以第一图像集合中的图像的分辨率均小于第一阈值为准。
S12、从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核。
其中，所述第二图像集合包括多个分辨率大于第二阈值的图像。
即，针对第二图像集合中的每一张图像，分别从模糊核池中选取一个模糊核作为对应的模糊核。
S13、通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
作为本发明实施例一种可选的实施方式，上述步骤S13(通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像)包括：
通过所述第二图像集合中的各个图像对应的模糊核和第一公式对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像；
所述第一公式为：
Ix＝Deg(Jx，Kx)+N
其中，Jx表示第二图像集合中的图像，Ix表示第二图像集合中的图像Jx对应的模糊图像，Kx表示第二图像集合中的图像Jx对应的模糊核，Deg(Jx，Kx)表示通过Kx对Jx进行降质运算，N表示额外向Ix中额外添加的噪声。
本发明实施例提供的模糊图像生成方法首先获取多个分辨率小于第一阈值的图像的第一图像集合中各个图像的模糊核生成模糊核池，然后从所述模糊核池中选取包括多个分辨率大于第二阈值的图像的第二图像集合中的各个图像对应的模糊核，再通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。由于本发明实施例中用于对第二图像集合中的图像进行降质的模糊核为第一图像集合中的真实图像的模糊核，因此通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质获取的模糊图像与真实的模糊图像更加吻合，因此本发明实施例可以解决现有技术中获取的模糊图像与真实的模糊图像的差异很大的问题。
作为本发明实施例一种可选的实施方式，参照图2所示，上述实施例中的步骤S11(获取第一图像集合中各个图像的模糊核)的实现方式可以包括如下步骤：
S21、随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声。
其中，所述第一噪声和第二噪声均满足正态分布。
S22、将所述第一噪声输入深度图像先验(Deep Image Prior，DIP)模型，并获取所述DIP模型输出的第一图像。
具体的，由于网络结构本身能够抓取大量低层级的图像统计先验信息，从而实现特征提取，因此仅在单张损坏图像上进行反复迭代，也同样能学习到图像的先验信息，进而完成图像修复。DIP模型是一个利用利用网络结构本身能够抓取大量低层级的图像统计先验信息，而构建的网络模型；将随机噪声作为DIP模型的输入，随着DIP模型迭代次数增加，DIP模型可输出对应的高质量图像，因此上述步骤S22将第一噪声输入DIP模型后可以DIP模型输出的第一图像。
S23、将所述第二噪声输入基于流的核先验(Flow-based Kernel Prior，FKP模型，并获取所述FKP模型输出的预测模糊核。
具体的，可以构建一个可逆网络，并通过预训练得到随机噪声到对应的模糊核的过程，训练得到的FKP模型只要输入一个正太分布的噪声，即可以到一个真实的模糊核，因此上述步骤S23将第二噪声输入FKP模型后，可以获取FKP模型预测的真实模糊核。
S24、通过所述预测模糊核对所述第一图像进行降质，获取第二图像。
作为本发明实施例一种可选的实施方式，上述步骤S24(通过所述预测模糊核对所述第一图像进行降质，获取第二图像)包括：
通过预测模糊核和第一公式对第一图像进行降质，获取第二图像；
所述第一公式为：
Iy＝Deg(Jy，k)+N
其中，Jy表示第一图像，Iy表示第二图像，k表示预测模糊核，DegDeg(Jy，k)表示通过k对第一图像进行降质的运算，N表示额外向第二图像中额外添加的噪声。
需要说明的是，由于图像修复任务一般无需提升模糊图像的分辨率，因此在通过所述预测模糊核对所述第一图像进行降质获取第二图像的过程中，无需对第一图像进行降采样。
S25、基于所述第二图像和所述目标图像判断是否满足收敛条件。
具体的，可以对第二图像和目标图像进行L1 loss约束，从而判断是否满足收敛条件。
在上述步骤S25中，若所述第二图像和所述目标图像不满足收敛条件，则执行下述步骤S26，若所述第二图像和所述目标图像满足收敛条件，则执行下述步骤S27。
S26、更新模型参数和/或模型输入，在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件。
即，在更新模型参数和/或模型输入后，重新将所述第一噪声输入DIP模型，并获取所述DIP模型输出的第一图像，将所述第二噪声输入FKP模型，并获取所述FKP模型输出的预测模糊核，通过所述预测模糊核对所述第一图像进行降质，获取第二图像，以及基于所述第二图像和所述目标图像判断是否满足收敛条件。即，如图2所示，在更新模型参数和/或模型输入后，返回步骤S22。
作为本发明实施例一种可选的实施方式，所述更新模型参数和/或模型输入，包括：
更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
即，训练过程中只会对DIP模型的模型参数和/或第二噪声进行更新，而不会对FKP模型的模型参数或DIP模型的模型输入(第一噪声)进行更新。
S27、将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
逐一将第一图像集合中各个图像作为上述实施例中的目标图像即可获取第一图像集合中各个图像的模糊核，进而生成上述实施例中的模糊核池。
进一步的，参照图3所示，图2所示的获取第一图像集合的目标图像的实现过程包括：
将第一噪声zx输入DIP模型，获取DIP模型输出的第一图像g(zx,θg)。
将第二噪声zk输入FKP模型，获取FKP模型输出的预测模糊核k(zk,θk)。
通过预测模糊核k(zk,θk)对第一图像g(zx,θg)进行降质，获取第二图像P。
对第二图像P和目标图像LR进行损失约束，并判断是否满足收敛条件。
作为本发明实施例一种可选的实施方式，上述步骤S12(从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核)的一种可选的实现方式包括：
针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
即，随机从所述模糊核池中为第二图像集合中的每一个图像选取对应的模糊核。
作为本发明实施例一种可选的实施方式，上述步骤S12(从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核)的一种可选的实现方式包括如下步骤a至步骤d：
步骤a、基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合。
即，将第一图像集合中图像场景相同的图像划分为一个第一子图像集合，从而得到多个第一子图像集合。
可选的，所述第一图像集合由第一视频的图像帧组成。所述基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合，包括：
基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合。
即，当第一图像集合中的图像为某一视频中的视频帧时，可以对该视频进行场景转换检测，从而将该视频划分为多个第一视频片段，然后在提取每一个第一视频片段的图像帧划作为一个第一子图像集合，从而将第一图像集合中图像按照图像的场景划分为多个第一子图像集合。
步骤b、将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组。
即，对于第一图像集合中的任意两张图像，若该两张图像属于同一第一子图像集合，则该两张图像的模糊核属于同一模糊核组，而若该两张图像属于不同的第一子图像集合，则该两张图像的模糊核属于不同的模糊核组。
步骤c、基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合。
即，将第二图像集合中图像场景相同的图像划分为一个第二子图像集合，从而得到多个第二子图像集合。
可选的，所述第二图像集合由第二视频的图像帧组成。所述基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合，包括：
基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
即，当第二图像集合中的图像为某一视频中的视频帧时，可以对该视频进行场景转换检测，从而将该视频划分为多个第二视频片段，然后在提取每一个第二视频片段的图像帧划作为一个第二子图像集合，从而将第二图像集合中图像按照图像的场景划分为多个第二子图像集合。
步骤d、对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
在上述实施例中，由于图像场景相同的图像帧只会从同一模糊核组中随机选取模糊核进行降质操作，因此相比于对第二图像集合中的图像均随机选取对应的模糊核，上述实施例可以进一步减少或避免相邻视频的不一致，使获取的模糊图像更加具有时间一致性，进而使获取的模糊图像与真实的模糊图像更加吻合。
基于同一发明构思，本发明实施例还提供了一种网络模型训练方法，具体的，参照图4所示，该网络模型训练方法包括如下步骤：S41至S44:
S41、获取样本图像集合。
其中，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像。
示例性的，所述样本图像集合可以为一段高清视频中的图像帧组成的图像集合。
S42、获取所述样本图像集合中各个样本图像对应的模糊图像。
其中，获取所述样本图像集合中各个样本图像对应的模糊图像的实现方式为：通过上述任一实施例提供的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像。
即，将所述样本图像集合作为的第二图像集合，执行上述实施例提供的模糊图像生成方法，以获取所述样本图像集合中各个样本图像对应的模糊图像。
S43、根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集。
具体的，样本图像集合中的各个样本图像均为分辨率大于第二阈值的高分辨率图像，样本图像集合中各个样本图像对应的模糊图像为对样本图像集合中各个样本图像进行降质生成的低分辨率图像，因此根据所述样本图像集合中的各个样本图像以及所述样本图像集合中各个样本图像对应的模糊图像可以生成包括多个高分辨率图像以及多个高分辨率图像分别对应的低分辨率图像的训练数据集。
S44、通过所述训练数据集对用于对模糊图像进行修复的图像修复网络模型进行训练。
即，本发明实施例中生成的训练数据集为用于对模糊图像进行修复的图像修复网络模型的训练数据集。
由于本发明实施例中用于对样本图像集合中的图像进行降质的模糊核为第一图像集合中的真实图像的模糊核，因此通过所述样本图像集合中的各个样本图像对应的模糊核对所述样本图像集合中的各个样本图像进行降质获取的模糊图像与真实的模糊图像更加吻合，因此本发明实施例可以解决现有技术中获取的模糊图像与真实的模糊图像的差异很大的问题，进而提升视频修复网络模型的性能。
基于同一发明构思，作为对上述方法的实现，本发明实施例还提供了一种模糊图像生成装置和一种网络模型训练装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。
本发明实施例提供了一种模糊图像生成装置，图5为该模糊图像生成装置的结构示意图，如图5所示，该模糊图像生成装置500包括：
获取单元51，用于获取第一图像集合中各个图像的模糊核；生成模糊核池，所述第一图像集合包括多个分辨率小于第一阈值的图像；
选取单元52，用于从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
处理单元53，用于通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像5。
作为本发明实施例一种可选的实施方式，所述获取单元51，具体用于随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；通过所述预测模糊核对所述第一图像进行降质，获取第二图像；基于所述第二图像和所述目标图像判断是否满足收敛条件；若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
作为本发明实施例一种可选的实施方式，所述获取单元51，具体用于更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
作为本发明实施例一种可选的实施方式，所述选取单元52，具体用于针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述选取单元52，具体用于基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
作为本发明实施例一种可选的实施方式，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；
所述选取单元52，具体用于基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合，以及基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
本实施例提供的模糊图像生成装置可以执行上述方法实施例提供的模糊图像生成方法，其实现原理与技术效果类似，此处不再赘述。
本发明实施例提供了一种网络模型训练装置，图6为该模糊图像生成装置的结构示意图，如图6所示，该网络模型训练装置600包括：
获取单元61，用于获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
处理单元62，用于通过上述任一实施例所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
生成单元63，用于根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
训练单元64，用于通过所述训练数据集对预设网络模型进行训练，获取用于对模糊图像进行修复的图像修复网络模型。
本实施例提供的网络模型训练装置可以执行上述方法实施例提供的网络模型训练方法，其实现原理与技术效果类似，此处不再赘述。
基于同一发明构思，本发明实施例还提供了一种电子设备。图7为本发明实施例提供的电子设备的结构示意图，如图7所示，本实施例提供的电子设备包括：存储器71和处理器72，所述存储器71用于存储计算机程序；所述处理器72用于在调用计算机程序时执行上述实施例提供的方法。
基于同一发明构思，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当计算机程序被处理器执行时，使得所述计算设备实现上述实施例提供的方法。
基于同一发明构思，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算设备实现上述实施例提供的方法。
本领域技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种模糊图像生成方法，其特征在于，包括：
获取第一图像集合中各个图像的模糊核，生成模糊核池；所述第一图像集合包括多个分辨率小于第一阈值的图像；
从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
2.根据权利要求1所述的方法，其特征在于，所述获取第一图像集合中各个图像的模糊核，包括：
随机生成所述第一图像集合中的目标图像对应的第一噪声和第二噪声；所述第一噪声和第二噪声均满足正态分布；
将所述第一噪声输入深度图像先验DIP模型，并获取所述DIP模型输出的第一图像；
将所述第二噪声输入基于流的核先验FKP模型，并获取所述FKP模型输出的预测模糊核；
通过所述预测模糊核对所述第一图像进行降质，获取第二图像；
基于所述第二图像和所述目标图像判断是否满足收敛条件；
若否，则更新模型参数和/或模型输入，并在更新所述模型参数和/或所述模型输入后，判断重新获取的第二图像和所述目标图像是否满足收敛条件，直至所述第二图像和所述目标图像满足所述收敛条件；
若是，则将所述FKP模型输出的预测模糊核确定为所述目标图像的模糊核。
3.根据权利要求2所述的方法，其特征在于，所述更新模型参数和/或模型输入，包括：
更新所述DIP模型的模型参数和/或所述FKP模型的模型输入。
4.根据权利要求1所述的方法，其特征在于，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
针对所述第二图像集合中的每一个图像，随机从所述模糊核池中选取对应的模糊核。
5.根据权利要求1所述的方法，其特征在于，所述从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核，包括：
基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合；
将属于同一所述第一子图像集合的图像的模糊核，划分为一个模糊核组；
基于图像的场景将所述第二图像集合中的图像划分为多个第二子图像集合；
对属于同一所述第二子图像集合的图像，从同一所述模糊核组中随机选取对应的模糊核。
6.根据权利要求5所述的方法，其特征在于，所述第一图像集合由第一视频的图像帧组成，所述第二图像集合由第二视频的图像帧组成；
所述基于图像的场景将所述第一图像集合中的图像划分为多个第一子图像集合，包括：基于图像的场景将所述第一视频划分为多个第一视频片段，并分别将各个所述第一视频片段的图像帧划分一个所述第一子图像集合；
所述基于图像的场景将所述第一图像集合中的图像划分为多个第二子图像集合，包括：基于图像的场景将所述第二视频划分为多个第二视频片段，并分别将各个所述第二视频片段的图像帧划分一个所述第二子图像集合。
7.一种网络模型训练方法，其特征在于，包括：
获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
通过权利要求1-6任一项所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
通过所述训练数据集对用于对模糊图像进行修复的图像修复网络模型进行训练。
8.一种模糊图像生成装置，其特征在于，包括：
获取单元，用于获取第一图像集合中各个图像的模糊核；生成模糊核池，所述第一图像集合包括多个分辨率小于第一阈值的图像；
选取单元，用于从所述模糊核池中选取第二图像集合中的各个图像对应的模糊核；所述第二图像集合包括多个分辨率大于第二阈值的图像；
处理单元，用于通过所述第二图像集合中的各个图像对应的模糊核对所述第二图像集合中的各个图像进行降质，获取所述第二图像集合中各个图像对应的模糊图像。
9.一种网络模型训练装置，其特征在于，包括：
获取单元，用于获取样本图像集合，所述样本图像集合包括多个分辨率大于阈值分辨率的样本图像；
处理单元，用于通过权利要求1-6任一项所述的模糊图像生成方法，获取所述样本图像集合中各个样本图像对应的模糊图像；
生成单元，用于根据所述样本图像集合中的各个样本图像以及各个样本图像对应的模糊图像，生成训练数据集；
训练单元，用于通过所述训练数据集对预设网络模型进行训练，获取用于对模糊图像进行修复的图像修复网络模型。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用计算机程序时，使得所述电子设备实现权利要求1-7任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现权利要求1-7任一项所述的方法。
12.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机实现如权利要求1-7任一项所述的方法。
CN202111250062.4A 2021-10-26 2021-10-26 一种模糊图像生成方法、网络模型训练方法及装置 Pending CN116029911A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111250062.4A CN116029911A (zh) 2021-10-26 2021-10-26 一种模糊图像生成方法、网络模型训练方法及装置
PCT/CN2022/127384 WO2023072072A1 (zh) 2021-10-26 2022-10-25 一种模糊图像生成方法、网络模型训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111250062.4A CN116029911A (zh) 2021-10-26 2021-10-26 一种模糊图像生成方法、网络模型训练方法及装置

Publications (1)

Publication Number Publication Date
CN116029911A true CN116029911A (zh) 2023-04-28

Family

ID=86069300

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111250062.4A Pending CN116029911A (zh) 2021-10-26 2021-10-26 一种模糊图像生成方法、网络模型训练方法及装置

Country Status (2)

Country Link
CN (1) CN116029911A (zh)
WO (1) WO2023072072A1 (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402677B2 (en) * 2016-06-10 2019-09-03 Apple Inc. Hierarchical sharpness evaluation
CN108364262A (zh) * 2018-01-11 2018-08-03 深圳大学 一种模糊图像的复原方法、装置、设备及存储介质
CN113240581A (zh) * 2021-04-09 2021-08-10 辽宁工程技术大学 一种针对未知模糊核的真实世界图像超分辨率方法

Also Published As

Publication number Publication date
WO2023072072A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
US11449966B2 (en) Real-time video ultra resolution
CN111587447B (zh) 帧循环视频超分辨率
CN108122197B (zh) 一种基于深度学习的图像超分辨率重建方法
WO2021233006A1 (zh) 图像处理模型的训练方法、图像处理方法、装置及设备
CN102576454B (zh) 利用空间图像先验的图像去模糊法
US20210287047A1 (en) Training method for image processing model, image processing method, network device, and storage medium
US9460495B2 (en) Joint video stabilization and rolling shutter correction on a generic platform
US20140133780A1 (en) Nonlocality based super resolution reconstruction method and device
Wen et al. VIDOSAT: High-dimensional sparsifying transform learning for online video denoising
CN111784570A (zh) 一种视频图像超分辨率重建方法及设备
JP4915341B2 (ja) 学習装置および方法、画像処理装置および方法、並びにプログラム
JP2014199664A (ja) グレースケール画像の処理方法及び装置
US11741579B2 (en) Methods and systems for deblurring blurry images
CN110689509A (zh) 基于循环多列3d卷积网络的视频超分辨率重建方法
US20230138053A1 (en) Systems and methods for optical flow estimation
RU2747965C1 (ru) Обработка окклюзий для frc c помощью глубокого обучения
Hung et al. Image interpolation using convolutional neural networks with deep recursive residual learning
Cao et al. Single image motion deblurring with reduced ringing effects using variational Bayesian estimation
CN116029911A (zh) 一种模糊图像生成方法、网络模型训练方法及装置
Pang et al. A fast NL-means method in image denoising based on the similarity of spatially sampled pixels
Esmaeilzehi et al. HighBoostNet: a deep light-weight image super-resolution network using high-boost residual blocks
TWI417810B (zh) 影像增強方法、影像增強裝置及影像處理電路
US20220327663A1 (en) Video Super-Resolution using Deep Neural Networks
US20230394632A1 (en) Method and image processing device for improving signal-to-noise ratio of image frame sequences
Zhang et al. Video Superresolution Reconstruction Using Iterative Back Projection with Critical‐Point Filters Based Image Matching

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination