CN111080540A - 一种图像修复模型的训练方法和计算机设备 - Google Patents

一种图像修复模型的训练方法和计算机设备 Download PDF

Info

Publication number
CN111080540A
CN111080540A CN201911234433.2A CN201911234433A CN111080540A CN 111080540 A CN111080540 A CN 111080540A CN 201911234433 A CN201911234433 A CN 201911234433A CN 111080540 A CN111080540 A CN 111080540A
Authority
CN
China
Prior art keywords
image
noise
network
repaired
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911234433.2A
Other languages
English (en)
Other versions
CN111080540B (zh
Inventor
郑博伟
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201911234433.2A priority Critical patent/CN111080540B/zh
Publication of CN111080540A publication Critical patent/CN111080540A/zh
Application granted granted Critical
Publication of CN111080540B publication Critical patent/CN111080540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种图像修复模型的训练方法和计算机设备，所述方法包括：将训练数据中的修复图像和掩膜输入生成网络，得到生成图像，将生成图像和所述原始图像输入已训练的合成噪声网络，得到第一图像和第二图像，其中，第一图像为生成图像对应的噪声图像，第二图像为原始图像对应的噪声图像；根据掩膜、第一图像、第二图像、生成图像和修复图像对生成网络的参数进行调整，并继续执行将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。通过本发明训练完成后的图像修复模型根据修复图像得到的生成图像，具有原始图像的噪声特性，并且相较于修复图像，生成图像的质量未降低。

Description

一种图像修复模型的训练方法和计算机设备
技术领域
本申请涉及图片处理技术领域，特别是涉及一种图像修复模型的训练方法和计算机设备。
背景技术
图像修复是一种图像编辑技术，旨在用替代内容修复图像中缺失或损坏的区域，结合现代深度学习先进方法，修复效果能达到视觉上不留下痕迹，图像修复的应用广泛，例如在刑侦领域，盗贼在犯罪时，时常掩盖部分面部，图像修复技术可以根据露出的部分面部恢复完整的面部。
基于深度学习的图像修复方法，是基于卷积神经网络结构，通常由完成修复过程的完成网络和具有提高视觉质量功能的对抗鉴别器组成，深度修复方法根据目标函数在大量数据集中学习，不仅可以推断图像结构并产生更多精细的细节，还可以创建新颖的对象。
现有的图像修复技术，利用深度学习使图像修复任务有较大的提升与突破，但是得到的修复图像与原始图像的内容有很多不一致的痕迹，检测器可以分辨出修复图像和原始图像。
因此，现有技术有待改进。
发明内容
本发明所要解决的技术问题是，提供一种图像修复模型的训练方法和计算机设备，以实现通过图像修复模型得到的修复图像具有原始图像的痕迹，使得检测器无法分辨修复图像和原始图像。
一方面，本发明实施例提供了一种图像修复模型的训练方法，包括：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
作为进一步的改进技术方案，所述根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述原始图像对所述生成网络的参数进行调整，包括：
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像，计算生成网络损失值；
根据所述生成网络损失值调整所述生成网络的参数。
作为进一步的改进技术方案，所述根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像，计算生成网络损失值，包括：
根据所述掩膜、所述生成图像和修复图像计算第一损失值；
根据所述掩膜、所述第一图像和第二图像计算第二损失值；
根据第一损失值和所述第二损失值，计算生成网络损失值。
作为进一步的改进技术方案，所述继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型，包括：
继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至训练次数达到第一预设训练次数；
在第一预设训练次数中获取满足第一预设条件第一目标训练次数；
将所述第一目标训练次数对应的参数作为已训练的生成网络的参数，以得到已训练的图像修复模型。
作为进一步的改进技术方案，所述将训练数据中的修复图像和掩膜输入生成网络之前包括：
将所述修复图像和所述原始图像输入合成噪声网络，通过所述合成噪声网络得到第三图像和第四图像，其中，所述第三图像为修复图像对应的噪声图像，所述第四图像为所述原始图像对应的噪声图像；
根据所述修复图像、所述原始图像、所述第三图像和所述第四图像对所述合成噪声网络的参数进行调整，并继续执行所述将所述修复图像和所述原始图像输入合成噪声网络的步骤，直至满足第二预设条件，以得到已训练的合成噪声网络。
作为进一步的改进技术方案，所述根据所述修复图像、所述原始图像、所述第三图像和所述第四图像对所述合成噪声网络的参数进行调整，包括：
根据所述修复图像、所述原始图像、所述第三图像和所述第四图像，计算合成噪声网络损失值；
根据所述合成噪声网络损失值调整所述合成噪声网络的参数。
作为进一步的改进技术方案，所述合成噪声网络损失值包括第一噪声损失值和第二噪声损失值，所述根据所述修复图像、所述原始图像、所述第三图像和所述第四图像，计算合成噪声网络损失值，包括：
利用滤波器方法计算所述修复图像对应的第一真实噪声图像，以及计算所述原始图像对应的第二真实噪声图像；
根据所述第一真实噪声图像和所述第三图像，计算修复图像对应的第一噪声损失值；
根据所述第二真实噪声图像和所述第四图像，计算原始图像对应的第二噪声损失值。
第二方面，本发明实施例提供了一种图像修复方法，所述方法包括：
获取待处理图像，其中，所述待处理图像为修复待修复图像后得到的图像；
根据所述待处理图像得到待处理掩膜；
将所述待处理图像和所述待处理掩膜输入已训练的图像修复模型，通过所述已训练的图像修复模型得到结果图像，其中，所述已训练的图像修复模型为一种图像修复模型的训练方法中的图像修复模型。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
与现有技术相比，本发明实施例具有以下优点：
根据本发明实施方式提供的训练方法，将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。本方法在训练时，以修复图像的质量为目标，根据生成图像和修复图像修改生成网络的参数，以使得生成网络得到的生成图像的质量不低于修复图像的质量，以及以原始图像为目标，根据第一图像和第二图像(原始图像对应的噪声图像)修改生成网络的参数，以使得生成网络得到的生成图像具有原始图像的噪声特性，联合上述两个目标，得到已训练的图像修复模型，已训练的图像修复模型根据修复图像输出的生成图像，生成图像的质量不低于修复图像，且由于生成图像中具备原始图像的噪声特征，因此，检测器无法分辨出原始图像和修复图像，在实际应用中可以满足更多需要。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像修复模型的训练方法的流程示意图；
图2为本发明实施例中生成网络的结构示意图；
图3为本发明实施例中一种图像修复模型的训练方法的另一种流程示意图；
图4为本发明实施例中合成噪声网络的结构示意图；
图5为本发明实施例中原始图像和修复图像的噪声特性直方图；
图6为本发明实施例中训练合成噪声网络的过程示意图；
图7为本发明实施例中通过已训练的生成网络得到的生成图像的噪声特性直方图；
图8为本发明实施例中检测器性能的测试结果图；
图9为本发明实施例中一种图像修复方法的流程示意图；
图10为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，详细说明本发明的各种非限制性实施方式。
参见图1，示出了本发明实施例中的一种图像修复模型的训练方法。在本实施例中，所述方法例如可以包括以下步骤：
S1、将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像。
本发明实施例中，训练数据中包括多组训练图像组，训练图像组的数量可以是50,000组，每一组训练图像组中包括原始图像，原始图像可以从CelebA数据集中挑选；将原始图像随机去掉一块区域得到残缺图像，利用现有的图像修复方法对残缺图像进行修复得到修复图像；所述掩膜为修复图像对应的二进制图像，掩膜由0和1组成，1值区域(显示白色)被处理，被屏蔽的0值区域(显示黑色)不处理，对应修复图像；修复图像对应的掩膜中，修复后区域(原始图像中随机去掉的区域)显示白色，其余区域显示黑色。
本发明实施例中，生成网络包括多个普通卷积层、多个空洞卷积层和多个反卷积层，如图2所示，其中，普通卷积层(conv.)有六层，各conv.的卷积核(Kernel)均为4×4，各conv.的扩张参数(Dilation)均为1，六层conv.中有五层conv.的步长(Stride)为2，另一conv.的Stride为1，六层conv.中有五层conv.的激活函数为带泄露修正线性单元函数(LeakyReLU)，且LeakyReLU的斜率为0.2，另一层conv.的激活函数为修正线性单元函数(ReLU)；空洞卷积层(dilated conv.)有四层，各dilated conv.的Kernel均为3×3，各dilated conv.的Stride均为1，各dilated conv.的激活函数为LeakyReLU，且LeakyReLU的斜率为0.2，四层dilated conv.中的第一dilated conv.的Dilation为2，四层dilatedconv.中的第二dilated conv.的Dilation为4，四层dilated conv.中的第三dilatedconv.的Dilation为8，四层dilated conv.中的第四dilated conv.的Dilation为16；反卷积层(deconv.)有四层，各deconv.的Kernel均为4×4，各deconv.的Dilation均为2，各deconv.的Stride均为1/2，各deconv.的激活函数为ReLU。
本发明实施例中，参见图3，将修复图像输入生成网络，得到生成图像，所述生成网络对修复图像进行改善，即所述生成图像为经过生成网络改善后的图像。
S2、将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像。
本发明实施例中，为了使得生成图像中具有原始图像的噪声特征，将生成图像和原始图像输入已训练的合成噪声网络，合成噪声网络对生成图像进行滤波，得到第一图像，第一图像为生成图像对应的噪声图像，合成噪声网络对原始图像进行滤波，得到第二图像，第二图像为修复图像对应的噪声图像。由于步骤S2中用到的合成噪声网络是已经训练完成的合成噪声网络，统计第一图像对应的第一噪声标准差频率直方图，和第二图像对应的第二噪声标准差频率直方图，第一噪声标准差频率直方图，和第二噪声标准差频率直方图的噪声标准差特性一致。需要注意的是，对于未完成训练的合成噪声网络，将生成图像输入合成噪声网络，得到生成图像对应的噪声图像，以及将原始图像输入合成噪声网络，得到原始图像对应的噪声图像，生成图像对应的噪声图像和原始图像对应的噪声图像之间，二者的噪声标准差特性不一致，即生成图像不具有原始图像的噪声特性。
关于合成噪声网络的训练，会在后文详细介绍。
S3、根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
本发明实施例中，为了使生成网络改善修复图像的过程中，不降低修复图像的质量，首先以修复图像为质量目标，根据修复图像、生成图像和掩膜调整生成网络的参数；其次，为了使生成图像具有原始图像的噪声特征，采用第一图像、第二图像和掩膜调整生成网络的参数，联合两个目标，对生成网络进行训练。训练完成后的图像修复模型根据修复图像得到的生成图像，具有原始图像的噪声特性，并且相较于修复图像，生成图像的质量未降低。
接下来详细介绍合成噪声网络的训练过程。
具体的，在步骤S1之前，包括：
M1、将所述修复图像和所述原始图像输入合成噪声网络，通过所述合成噪声网络得到第三图像和第四图像，其中，所述第三图像为修复图像对应的噪声图像，所述第四图像为所述原始图像对应的噪声图像。
本发明实施例中，合成噪声网络包括多个普通卷积层(conv.)和多个反卷积层(deconv.)，合成噪声网络的结构如图4所示，其中，conv.有9层，各conv.的卷积核(Kernel)均为3×3，各conv.的扩张参数(Dilation)均为1，9层conv.中有两层conv.的步长(Stride)为2，其余的7层conv.的Stride均为1，其余的7层conv.中，有一层conv.没有激活函数，另外8层conv.的激活函数均为修正线性单元函数(ReLU)；deconv.有3层，各deconv.的Kernel均为4×4，各deconv.的Dilation均为1，3层deconv.中有两层deconv.的Stride为1/2，另一层deconv.的Stride为1，各deconv.的激活函数均为ReLU。
本发明实施例中，合成噪声网络用于提取噪声，将训练数据集中的修复图像和修复图像对应的原始图像输入合成噪声网络中，分别得到修复图像对应的噪声图像(第三图像)，和原始图像对应的噪声图像(第四图像)。
本发明实施例中，随机遮去原始图像Iori的一部分，利用现有的图像修复方法得到修复图像Icom，修复图像中有修复区域
Figure BDA0002304492930000091
和原始区域
Figure BDA0002304492930000092
原始图像中，对应
Figure BDA0002304492930000093
的区域为
Figure BDA0002304492930000094
对应
Figure BDA0002304492930000095
的区域为
Figure BDA0002304492930000096
根据Miroslav Goljan、Jessica Fridrich、
Figure BDA00023044929300000924
Filler等人的算法提取各区域的噪声，可将此提取的噪声记为MJT噪声，如图5所示，统计
Figure BDA0002304492930000097
和
Figure BDA0002304492930000098
的MJT噪声的标准差，
Figure BDA0002304492930000099
的噪声的标准差为
Figure BDA00023044929300000910
Figure BDA00023044929300000911
的噪声的标准差为
Figure BDA00023044929300000912
并绘制成直方图(a)；同样的，统计
Figure BDA00023044929300000913
和
Figure BDA00023044929300000914
的MJT噪声的标准差，
Figure BDA00023044929300000915
的噪声的标准差为
Figure BDA00023044929300000916
Figure BDA00023044929300000917
的噪声的标准差为
Figure BDA00023044929300000918
并绘制成直方图(b)，可见，直方图(a)中
Figure BDA00023044929300000919
和
Figure BDA00023044929300000920
的噪声特性是合在一起的，一致的，而在直方图(b)中
Figure BDA00023044929300000921
和
Figure BDA00023044929300000922
的噪声特性是分开的、不一致的，即修复图像中有修复区域
Figure BDA00023044929300000923
不具备原始图像的噪声特性。
M2、根据所述修复图像、所述原始图像、所述第三图像和所述第四图像对所述合成噪声网络的参数进行调整，并继续执行所述将所述修复图像和所述原始图像输入合成噪声网络的步骤，直至满足第二预设条件，以得到已训练的合成噪声网络。
本发明实施例中，以原始图像为目标，对合成噪声网络的参数进行调整，具体的，步骤M2包括：
M21、根据所述修复图像、所述原始图像、所述第三图像和所述第四图像，计算合成噪声网络损失值。
本发明实施例中，通过滤波器方法可以得到修复图像和原始图像分别对应的真实噪声图像，根据真实噪声图像、第三图像和第四图像，计算合成网络的损失值，所述合成噪声网络损失值包括第一噪声损失值和第二噪声损失值，具体的，步骤M21包括：
M211、利用滤波器方法计算所述修复图像对应的第一真实噪声图像，以及计算所述原始图像对应的第二真实噪声图像。
本发明实施例中，根据Fridrich等人提出的滤波器方法得到修复图像对应的第一真实噪声图像，具体的，首先利用“8-tap”的小波基对修复图像进行4阶的小波变换，得到每一阶的垂直子带h(i,j)，水平子带v(i,j)和对角的子带d(i,j)，其中，i.j＝1,2,3,……,N，其中，N的取值与分解阶数和图像大小相关，例如，对于一张128*128大小的图像进行1阶小波变换，(i,j)的取值是1,2,3,……,64，对128*128大小的图像进行2阶小波变化，(i,j)的取值是1,2,3,……,32。
然后在每个子带中，使用w×w的正方形领域N滑过整个小波系数(w∈{3,5,7,9})，如公式(1)所示，使用最大后验概率(MAP)估计每个小波系数的原始无噪图像的局部方差
Figure BDA0002304492930000101
Figure BDA0002304492930000102
再如公式(2)所示，以最终4个尺寸领域窗的方差最小值作为估计结果σ2(i,j)：
Figure BDA0002304492930000103
最后如公式(3)所示，以子带h(i,j)为例，使用维纳滤波操作得到去噪后的小波系数hden(i,j)：
Figure BDA0002304492930000104
同样的，可以计算水平子带v(i,j)和对角的子带d(i,j)分别对应的去噪后的小波系数。
最后，小波系数里左上角的近似内容子带置零，消除图像原本的内容信息，再使用逆小波变换得到第一真实噪声图像。由于此噪声是Miroslav Goljan、Jessica Fridrich、
Figure BDA0002304492930000105
Filler等人的算法提取的，因此可以将第一真实噪声图像记为IMJTcom。
利用同样的方法，可以得到原始图像对应的第二真实噪声图像，可记为IMJTori。
M212、根据所述第一真实噪声图像和所述第三图像，计算修复图像对应的第一噪声损失值。
本发明实施例中，根据公式(4)可以得到第一噪声损失值
LMJTcom＝||IsynMJTcom-IMJTcom||2 (4)
其中，LMJTcom为第一噪声损失值，IsynMJTcom为合成噪声网络输出的修复图像的噪声图像(第三图像)，IMJTcom为根据步骤M211中计算得到的第一真实噪声图像。
M213、根据所述第二真实噪声图像和所述第四图像，计算原始图像对应的第二噪声损失值。
本发明实施例中，与步骤M212中计算第一噪声损失值相同，根据公式(5)可以得到第二噪声损失值：
LMJTori＝||IsynMJTori-IMJTori||2 (5)
其中，LMJTori为第二噪声损失值，IsynMJTori为合成噪声网络输出的原始复图像的噪声图像(第四图像)，IMJTori为根据步骤M211中计算得到的第二真实噪声图像。
M22、根据所述合成噪声网络损失值调整所述合成噪声网络的参数。
本发明实施例中，分别将第一噪声损失值和第二噪声损失值反向传播到合成噪声网络，以修改合成噪声网络的参数。
本发明实施例中，调整参数在之后再继续执行所述将所述修复图像和所述原始图像输入合成噪声网络的步骤，直至满足第二预设条件，其中，所述预设训练条件包括合成噪声网络损失值满足预设要求或者训练次数达到第二预设训练次数；所述预设要求可以是根据已训练的合成噪声模型来确定，这里不做详细说明，所述第二预设训练次数，可以是合成噪声模型的最大训练次数，例如，280次。由此，在每一次训练完成后，均判断是否合成噪声网络损失值是否满足预设要求，若合成噪声网络损失值满足预设条件，则结束训练；若合成噪声网络损失值不满足预设条件，则判断训练次数是否满足第二预设训练次数，若训练次数满足第二预设训练次数，则结束训练。
进一步，由于调整合成噪声网络的参数是在合成噪声网络的训练不满足第二预设条件下进行的，调整合成噪声网络的参数后，继续执行将所述修复图像和所述原始图像输入合成噪声网络的步骤。其中，所述修复图像和所述原始图像可以是未输入过合成噪声模型的修复图像和原始图像，例如，训练数据中所有修复图像具有唯一图像标识(例如，图像编号为p1,p2)，原始图像与其对应的修复图像的图像标识相对应(例如，q1,q2；其中q1是p1对应的原始图像)。第一次训练输入合成噪声模型的修复图像编号与第二次训练输入的修复图像的图像标识不同，例如，第一次训练输入的修复图像的编号为q1，原始图像的编号为p1,第二次训练输入的修复图像的编码为q2，原始图像的编码为p2，第N次训练输入的修复图像的编号为qn，原始图像的编码为pn。在实际应用中，由于训练数据中的修复图像和原始图像有限，可以将训练数据中的修复图像和原始图像循环输入，即当训练数据中的修复图像和原始图像均输入过一次后，可以继续执行一次将训练数据中的修复图像和原始图像输入合成噪声模型。在本实施了中，不对“继续执行将所述修复图像和所述原始图像输入合成噪声网络的步骤”的具体实现方式进行限定。
本发明实施例中，可以选择第二预设训练次数为280，在实际训练中，训练280次可以实现修复图像中具有原始图像的噪声特性，即第一噪声损失值和第二噪声损失值很小；如图6所示，将修复图像q1以及q1对应的原始图像p1输入合成噪声网络，分别得到修复图像对应的第三图像m1，以及原始图像对应的第四图像n1。根据步骤M211中的滤波方法，计算修复图像对应的第一真实噪声图像m1-MJT，以及原始图像对应的第二真实噪声图像n1-MJT。具体的实验数据如下：
训练280次之后，对于修复图像的修复区域
Figure BDA0002304492930000121
对应第三图像中的
Figure BDA0002304492930000122
对应第一真实噪声图像中的
Figure BDA0002304492930000123
和
Figure BDA0002304492930000124
中单个像素点的绝对值误差为0.20122，
Figure BDA0002304492930000131
和
Figure BDA0002304492930000132
中单个像素点的平方差误差为0.06667；对于修复图像的原始区域
Figure BDA0002304492930000133
对应第三图像中的
Figure BDA0002304492930000134
Figure BDA0002304492930000135
对应第一真实噪声图像中的
Figure BDA0002304492930000136
和
Figure BDA0002304492930000137
中单个像素点的绝对值误差为0.17961，
Figure BDA0002304492930000138
和
Figure BDA0002304492930000139
中单个像素点的平方差误差为0.05307，对于整张修复图像，修复图像对应的第三图像和第一真实噪声图像之间，单个像素点的绝对值误差为0.18067，单个像素点的平方差误差为0.05374。
对于整张原始图像，原始图像对应的第四图像和第二真实噪声图像之间，单个像素点的绝对值误差为0.17835，单个像素点的平方差误差为0.05233。可以看出，误差非常小，已训练的合成噪声网络根据修复图像输出的第三图像非常接近第一真实噪声图像，也同样，已训练的合成噪声网络根据原始图像输出的第四图像非常接近第二真实噪声图像。
本发明实施例中，训练完合成噪声网络后，固定已训练的合成噪声网络的参数，对生成网络进行训练。
接下来详细介绍训练生成网络的步骤，具体的，步骤S3包括：
S31、根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像，计算生成网络损失值。
具体的，步骤S31包括：
S311、根据所述掩膜、所述生成图像和修复图像计算第一损失值。
本发明实施例中，以修复图像的质量目标，使生成图像的质量不低于修复图像，如公式(6)所示，根据掩膜、生成图像和修复图像计算第一损失值，
Loss1＝M⊙||Igen-Icom||2 (6)
其中，Loss1为第一损失值，M为修复图像对应的掩膜，Igen为生成图像，Icom为修复图像。
S312、根据所述掩膜、所述第一图像和第二图像计算第二损失值。
本发明实施例中，为了使生成图像具有原始图像的目标，如公式(7)所示，根据掩膜、第一图像和第二图像计算第二损失值，
Loss2＝M⊙||f(Igen)-f(Iori)||2 (7)
其中，Loss2为第二损失值，M为修复图像对应的掩膜，Igen表示生成图像，Iori表示原始图像，f(·)表示合成噪声网络提取噪声，即f(Igen)表示第一图像，f(Iori)表示第二图像。
S313、根据第一损失值和所述第二损失值，计算生成网络损失值。
本发明实施例中，如公式(8)所示，综合第一损失值和第二损失值，得到生成网络损失值，
Lg＝Loss1+λLoss2 (8)
其中，Lg表示生成网络损失值，Loss1为第一损失值，Loss2为第二损失值，λ为综合参数，依据经验选择λ＝8。
S32、根据所述生成网络损失值调整所述生成网络的参数。
本发明实施例中，将生成网络损失值反向传播以调整生成网络的参数，生成网络以Lg为总目标，进行梯度下降调整参数，直至满足第一预设条件。
S33、继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至训练次数达到第一预设训练次数。
本发明实施例中，在训练一次后(修改一次生成网络的参数后)，继续将训练数据中的修复图像和掩膜输入生成网络，即继续执行步骤S1、S2的步骤，根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，直至训练次数达到第一预设训练次数。其中，第一预设训练次数可以是100。
S34、在第一预设训练次数中获取满足第一预设条件第一目标训练次数。
本发明实施例中，训练达到第一预设训练次数，通过不同的训练次数(epoch)对应的结果，在第一预设训练次数中选择第一目标训练次数。具体的，在第一预设训练次数中选择第一目标训练次数的步骤包括：
计算第一预设训练次数中每一次训练后，生成图像和原始图像对应的第一峰值信噪比，以及修复图像与原始图像对应的第二峰值信噪比，分别计算第一预设训练次数中每一次训练后，各第一峰值信噪比和各第二峰值信噪比的各差值，获取各差值中的最小值，并将所述最小值对应的训练次数作为第一目标训练次数，已训练的生成网络的参数。
S35、将所述第一目标练次数对应的参数作为已训练的生成网络的参数，以得到已训练的图像修复模型。
本发明实施例中，在第一预设训练次数中找到第一目标训练次数。例如，第一预设训练次数为100，生成网络训练到100epoch后，根据步骤S34找到第一目标训练次数，得到第68epoch对应最好的生成网络，则将第68epoch对应的参数作为图像修复模型的参数。
本发明实施例中，将将第68epoch对应的参数作为图像修复模型的参数，根据图像修复模型得到的生成图像具有原始图像的噪声特性，此时，统计生成图像内修复区域
Figure BDA0002304492930000151
和原始区域
Figure BDA0002304492930000152
的噪声标准差，
Figure BDA0002304492930000153
的噪声的标准差为
Figure BDA0002304492930000154
Figure BDA0002304492930000155
的噪声的标准差为
Figure BDA0002304492930000156
并绘制成直方图，如图7所示，可知，生成图像中修复区域和原始区域的噪声特性已经一致。
接下来，采用改善后的生成图像Igen对检测器进行测试，选取文献“Haodong Li,Jiwu Huang.Localization of Deep Inpainting Using High-Pass FullyConvolutional Network.”提出的检测器，采用召回率(recall)，精度(precision)，F1分数(F1-score)，漏检率(Miss Rate)是四个常用的按像素分类的度量标准，以评估性能，检测器的性能如表1所示。
表1检测器对改善后的生成图像的性能表
Figure BDA0002304492930000157
从表(1)中可以得到，检测器已经认为改善后的生成图像与原始图像相近，两类任务中漏检率(Miss Rate)表示检测器认为测试的图像是目标另一类的概率，检测器认为改善后的生成图像是原始图像的概率，其性能由原先的1.46％上升到97.16％，已经基本认为生成图像的修复区域和原始图像为一类。
另一种实现方式中，保证改善后的图像质量不会受到太大损伤，我们以峰值信噪比(Peak Signal to Noise Ratio,PSNR)指标作为客观评价图像质量的指标。可以选择多个第一目标练次数，从而得到多个第一目标练次数分别对应的多个图像修复模型。
例如，第一预设训练次数为200，根据步骤S34计算各次训练后第一峰值信噪比和第二峰值信噪比之间的差值，将各差值按照从小到大排列，为151epoch,138epoch,117epoch,130epoch,134epoch，……，即151epoch是200epcoh中峰值信噪比质量最好的模型，134epoch是200epcoh中峰值信噪比质量排第5的模型。
在实际使用时，假设只需要产生50000张生成图像，第一种选择：将151epoch对应的参数作为图像修复模型的参数，根据151epoch对应的图像修复模型得到生成图像；第二种选择：可以均匀地选择前5个epoch对应的参数分别作为5个图像修复模型的参数，即每个只产生10000张图像；每增加5个为步长，得到一种选择，以此类推，第10种选择，可以均匀选择前45epoch对应的参数作为45个图像修复模型的参数，即每个模型只产生1111张生成图像。
对于上述产生10中不同的选择(选择排序第一的1个epoch对应一个图像修复模型、选择排序在前的5个epoch分别对应5个图像修复模型、选择排序在前的10个epoch分别对应10个图像修复模型、选择排序在前的15个epoch分别对应15个图像修复模型、……、选择排序在前的45个epoch分别对应45个图像修复模型)，使用每种选择产生的50000张生成图像训练检测器，检测器可以重新找到修复区域与原始区域的其他新特性区别，继续检测和定位出修改的图像部分，因此，可以使用生成图像进行重训练，重新检测和定位处理之后的生成图像。
使用每种选择产生的50000张生成图像训练检测器一共训练10个检测器，检测器的性能如图8所示，图8中，坐标F1分数包括精确率和召回率的调和平均数，根据图8可以知道，随着epoch数的增加，检测器的性能会逐渐下降，表示这是最理想的情况，即检测器可以得到50000张生成图像的所有数据所具备的检测性能，在实际情况中，不一定按均匀选择epoch，可以不同比例选择epoch。即通过选择生成网络的不同训练迭代数的输出图像作为改善的生成图像，使得生成图像之间具有多样性和丰富性。
基于上述一种图像修复模型的训练方法，本发明实施例还提供了一种图像修复方法，如图9所示，包括：
K1、获取待处理图像，其中，所述待处理图像为修复待修复图像后得到的图像。
本发明实施例中，对于一张真实图像，随机裁去部分区域，得到待修复图像，采用现有的图像修复方法对待修复图像进行修复，得到待处理图像，本发明实施例提供的一种图像修复方法是对待处理图像进行改善。
K2、根据所述待处理图像得到待处理掩膜。
本发明实施例中，待处理掩膜为待处理图像对应的二进制图像。
K3、将所述待处理图像和所述待处理掩膜输入已训练的图像修复模型，通过所述已训练的图像修复模型得到结果图像，其中，所述已训练的图像修复模型为上述一种图像修复模型的训练方法中所述的图像修复模型。
本发明实施例中，将待处理图像和待处理掩膜输入已训练的图像修复模型，得到结果图像，结果图像与待处理图像相比，结果图像的质量不低于待处理图像，且结果图像中包括真实图像的噪声特性，且所述结果图像中包括真实图像的噪声特性，是的检测器无法分辨真实图像和结果图像。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像修复模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种图像修复模型的训练方法，其特征在于，所述方法包括：
将训练数据中的修复图像和掩膜输入生成网络，通过所述生成网络得到生成图像，其中，所述训练数据包括多组训练图像组，每一训练图像组包括修复图像、修复图像对应的掩膜和修复图像对应的原始图像；
将所述生成图像和所述原始图像输入已训练的合成噪声网络，通过所述合成噪声网络得到第一图像和第二图像，其中，所述第一图像为所述生成图像对应的噪声图像，所述第二图像为所述原始图像对应的噪声图像；
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像对所述生成网络的参数进行调整，并继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述原始图像对所述生成网络的参数进行调整，包括：
根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像，计算生成网络损失值；
根据所述生成网络损失值调整所述生成网络的参数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述掩膜、所述第一图像、所述第二图像、所述生成图像和所述修复图像，计算生成网络损失值，包括：
根据所述掩膜、所述生成图像和修复图像计算第一损失值；
根据所述掩膜、所述第一图像和第二图像计算第二损失值；
根据第一损失值和所述第二损失值，计算生成网络损失值。
4.根据权利要求3所述的方法，其特征在于，所述继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至满足第一预设条件，以得到已训练的图像修复模型，包括：
继续执行所述将训练数据中的修复图像和掩膜输入生成网络的步骤，直至训练次数达到第一预设训练次数；
在第一预设训练次数中获取满足第一预设条件第一目标训练次数；
将所述第一目标训练次数对应的参数作为已训练的生成网络的参数，以得到已训练的图像修复模型。
5.根据权利要求1至4所述的方法，其特征在于，所述将训练数据中的修复图像和掩膜输入生成网络之前包括：
将所述修复图像和所述原始图像输入合成噪声网络，通过所述合成噪声网络得到第三图像和第四图像，其中，所述第三图像为修复图像对应的噪声图像，所述第四图像为所述原始图像对应的噪声图像；
根据所述修复图像、所述原始图像、所述第三图像和所述第四图像对所述合成噪声网络的参数进行调整，并继续执行所述将所述修复图像和所述原始图像输入合成噪声网络的步骤，直至满足第二预设条件，以得到已训练的合成噪声网络。
6.根据权利要求5所述的方法，其特征在于，所述根据所述修复图像、所述原始图像、所述第三图像和所述第四图像对所述合成噪声网络的参数进行调整，包括：
根据所述修复图像、所述原始图像、所述第三图像和所述第四图像，计算合成噪声网络损失值；
根据所述合成噪声网络损失值调整所述合成噪声网络的参数。
7.根据权利要求6所述的方法，其特征在于，所述合成噪声网络损失值包括第一噪声损失值和第二噪声损失值，所述根据所述修复图像、所述原始图像、所述第三图像和所述第四图像，计算合成噪声网络损失值，包括：
利用滤波器方法计算所述修复图像对应的第一真实噪声图像，以及计算所述原始图像对应的第二真实噪声图像；
根据所述第一真实噪声图像和所述第三图像，计算修复图像对应的第一噪声损失值；
根据所述第二真实噪声图像和所述第四图像，计算原始图像对应的第二噪声损失值。
8.一种图像修复方法，其特征在于，所述方法包括：
获取待处理图像，其中，所述待处理图像为修复待修复图像后得到的图像；
根据所述待处理图像得到待处理掩膜；
将所述待处理图像和所述待处理掩膜输入已训练的图像修复模型，通过所述已训练的图像修复模型得到结果图像，其中，所述已训练的图像修复模型为权利要求1至7中任一项所述的图像修复模型。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN201911234433.2A 2019-12-05 2019-12-05 一种图像修复模型的训练方法和计算机设备 Active CN111080540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911234433.2A CN111080540B (zh) 2019-12-05 2019-12-05 一种图像修复模型的训练方法和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911234433.2A CN111080540B (zh) 2019-12-05 2019-12-05 一种图像修复模型的训练方法和计算机设备

Publications (2)

Publication Number Publication Date
CN111080540A true CN111080540A (zh) 2020-04-28
CN111080540B CN111080540B (zh) 2023-11-21

Family

ID=70313000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911234433.2A Active CN111080540B (zh) 2019-12-05 2019-12-05 一种图像修复模型的训练方法和计算机设备

Country Status (1)

Country Link
CN (1) CN111080540B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN112614066A (zh) * 2020-12-23 2021-04-06 文思海辉智科科技有限公司 图像修复方法、装置及电子设备
CN113327210A (zh) * 2021-06-30 2021-08-31 中海油田服务股份有限公司 测井图像填补方法、装置、介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
CN109255769A (zh) * 2018-10-25 2019-01-22 厦门美图之家科技有限公司 图像增强网络的训练方法和训练模型、及图像增强方法
CN110060216A (zh) * 2019-04-17 2019-07-26 广东工业大学 一种基于生成对抗网络的图像修复方法、装置以及设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612715A (zh) * 2020-05-20 2020-09-01 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN111612715B (zh) * 2020-05-20 2022-09-23 北京字节跳动网络技术有限公司 图像修复方法、装置和电子设备
CN112614066A (zh) * 2020-12-23 2021-04-06 文思海辉智科科技有限公司 图像修复方法、装置及电子设备
CN113327210A (zh) * 2021-06-30 2021-08-31 中海油田服务股份有限公司 测井图像填补方法、装置、介质及电子设备

Also Published As

Publication number Publication date
CN111080540B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
Li et al. No-reference image blur assessment based on discrete orthogonal moments
Ciancio et al. No-reference blur assessment of digital pictures based on multifeature classifiers
CN111080540A (zh) 一种图像修复模型的训练方法和计算机设备
Zheng et al. No-reference quality assessment for screen content images based on hybrid region features fusion
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
Talavera-Martinez et al. Hair segmentation and removal in dermoscopic images using deep learning
CN105913393A (zh) 一种自适应小波阈值图像去噪算法及装置
Fang et al. Perceptual evaluation for multi-exposure image fusion of dynamic scenes
Xu et al. Pixel-level non-local image smoothing with objective evaluation
CN111861901A (zh) 一种基于gan网络的边缘生成图像修复方法
Hu et al. Pairwise-comparison-based rank learning for benchmarking image restoration algorithms
CN110879351B (zh) 一种基于rcca-svm的非线性模拟电路故障诊断方法
CN114240797B (zh) 一种oct图像去噪方法、装置、设备及介质
CN114119439A (zh) 红外与可见光图像融合方法、装置、设备及存储介质
CN106651792A (zh) 一种卫星影像条带噪声去除方法及装置
Cai et al. Joint depth and density guided single image de-raining
Liu et al. Exemplar-based image inpainting with multi-resolution information and the graph cut technique
CN112785540B (zh) 一种扩散加权图像的生成系统及方法
Shamsolmoali et al. Transinpaint: Transformer-based image inpainting with context adaptation
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
Ma et al. Reduced-reference stereoscopic image quality assessment based on entropy of gradient primitives
CN114581343A (zh) 一种图像的修复方法、装置、电子设备及存储介质
Meng et al. Siamese CNN-based rank learning for quality assessment of inpainted images
CN114359180A (zh) 一种面向虚拟现实的图像质量评价方法
Yang et al. Infrared and visible image fusion based on modal feature fusion network and dual visual decision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant