CN114331903A - 一种图像修复方法及存储介质 - Google Patents

一种图像修复方法及存储介质 Download PDF

Info

Publication number
CN114331903A
CN114331903A CN202111665877.9A CN202111665877A CN114331903A CN 114331903 A CN114331903 A CN 114331903A CN 202111665877 A CN202111665877 A CN 202111665877A CN 114331903 A CN114331903 A CN 114331903A
Authority
CN
China
Prior art keywords
image
convolutional layer
repaired
layer
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111665877.9A
Other languages
English (en)
Other versions
CN114331903B (zh
Inventor
陈波
邓媛丹
陈圩钦
朱舜文
曾俊涛
王庆先
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Research Institute Of Yibin University Of Electronic Science And Technology
University of Electronic Science and Technology of China
Original Assignee
Research Institute Of Yibin University Of Electronic Science And Technology
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Research Institute Of Yibin University Of Electronic Science And Technology, University of Electronic Science and Technology of China filed Critical Research Institute Of Yibin University Of Electronic Science And Technology
Priority to CN202111665877.9A priority Critical patent/CN114331903B/zh
Publication of CN114331903A publication Critical patent/CN114331903A/zh
Application granted granted Critical
Publication of CN114331903B publication Critical patent/CN114331903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像修复方法及存储介质，所述图像修复方法包括：利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。本发明能够解决现有记忆网络过于简单，难以解决复杂问题且缺乏层次化的结构的问题。

Description

一种图像修复方法及存储介质
技术领域
本发明涉及图像处理技术领域，具体涉及一种图像修复方法及存储介质。
背景技术
传统的循环神经网络以及长短期记忆网络模型的隐藏状态或者基于注意力机制的记忆存储能力太弱,无法存储太多的信息,很容易丢失一部分语义信息,所以记忆网络通过引入外部存储来记忆信息。但是记忆网络其本身结构过于简单，缺乏层次化的结构，因此无法解决较为复杂的问题。
传统的MemoryNetwork模型结构一般会包含四个模块：I:(输入)、G：(泛化)、O(输出)以及R(响应)，此外还有一些记忆单元用于存储记忆。由于MemoryNetwork的自身存在的某些缺陷,其难以使用反向传播进行模型训练，且模型想要解决的问题复杂度过高。即使在理论上可行，但在实际使用中效率也很低下。
发明内容
本发明的目的在于提供一种图像修复方法及存储介质，以解决现有记忆网络过于简单，难以解决复杂问题且缺乏层次化的结构的问题。
本发明解决上述技术问题的技术方案如下：
本发明提供一种图像修复方法，所述图像修复方法包括：
利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。
可选择地，所述利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到修复后的图像集包括：
S1：利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操作，得到初步修复后的图像；
S2：利用损失函数计算所述初步修复后的图像和所述原始图像之间的差距程度；
S3：根据所述差距程度，利用神经网络系统中的判别网络对所述初步修复后的图像进行清晰完善操作，得到修复后的图像；
S4：利用Kernel MMD对所述真实图像和所述修复后的图像进行距离计算，得到计算结果；
S5：判断所述计算结果是否达到纳什均衡，若是，将所述修复后的图像作为最终修复后的图像输出；否则，返回步骤S1。
可选择地，所述步骤S1包括：
提取所述待修复图像的图像初始分布信息；
依次对所述图像初始分布信息进行记忆操作，得到操作结果；
对所述操作结果进行初步修复处理，得到初步修复后的图像。
可选择地，所所述生成网络包括依次连接的特征提取块结构、记忆块结构和修复块结构，所述特征提取块结构包括第一卷积层、第二卷积层和第三卷积层，以用于从所述待修复图像中获取所述图像初始分布信息；所述记忆块结构用于对所述图像初始分布信息进行记忆操作，以得到操作结果；所述修复块结构包括第一反卷积层、第二反卷积层和第四卷积层，以用于对所述操作结果进行初步修复处理；所述第一卷积层和所述第四卷积层的步长为1；所述第二卷积层、所述第三卷积层、所述第一反卷积层和所述第二反卷积层的步长均为2。
可选择地，所述记忆块结构包括递归单元和门单元，所述递归单元包括多个残差块，多个所述残差块依次连接且每个所述残差块的输出均与所述门单元连接。
可选择地，所述残差块包括多个残差层，每两个所述残差层之间通过和模块间隔设置，且每个所述残差层用于对前一个输入的特征进行过滤，所述和模块用于对所述前一个输入的特征和过滤后的特征进行特征加深操作。
可选择地，所述步骤S2中，所述损失函数为：
L＝LGAN+λpLp；
其中，L表示损失函数，LGAN表示生成对抗网络的损失函数。且
Figure BDA0003451827700000021
α表示MS-SSIM与L1损失函数的占比，其具体取值根据任务和模型训练情况可进行调整。LMS-SSIM表示MS-SSIM+L1，Loss为损失函数，且
Figure BDA0003451827700000022
G是生成网络，
Figure BDA0003451827700000023
表示生成网络。IU是待修复图像，
Figure BDA0003451827700000024
表示L1损失函数。且
Figure BDA0003451827700000025
λ表示梯度惩罚项，p代表从生成网络以及判别网络中各自取值到的线性采样，M表示不同尺度。m从1取到M。μp，μg分别表示预测图像和Ground truth的均值。σp，σg分别表示预测图像和Ground truth之间的标准差。σpg表示预测值和Ground truth之间的协方差。c1，c2作为常数项以防止被除数为0。βm，γm表示两项之间的相对重要性。
Figure BDA0003451827700000026
表示预测图像和Ground truth的逐像素取值。
可选择地，所述步骤S3中，所述判别网络包括依次连接的第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层，所述第五卷积层、所述第六卷积层和所述第七卷积层的步长为2，所述第八卷积层和所述第九卷积层的步长为1。
可选择地，所述步骤S4中，所述距离计算为：
Figure BDA0003451827700000031
其中，Lp表示真实图像和修复后的图像之间的距离，Cj，Hj，Wj分别表示第j个卷积层的通道数、高度和宽度。
Figure BDA0003451827700000032
表示第j个卷积层的特征图。G和
Figure BDA0003451827700000033
表示生成网络。IR表示真实图像。j表示第j个卷积层。n表示j从1取到n的情况。IU表示待修复图像。
基于上述技术方案，本发明还提供一种存储介质，存储有计算机指令，所述计算机指令运行时执行根据上述的图像修复方法的步骤。
本发明具有以下有益效果：
本发明基于生成对抗网络的记忆网络模型的图像修复方法采用堆叠方式来构建的特征提取模块与残差网络、卷积神经网络相结合的架构，能够在保证判别准确性不降低的同时有效减小网络体积，降低运行成本提高运行速度，进一步提高图像修复技术的实用性。
附图说明
图1为本发明所提供的记忆神经网络系统的结构示意图；
图2为本发明所提供的图像修复方法的流程图；
图3为本发明所提供的记忆块结构的结构示意图；
图4为本发明所提供的残差块的结构示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
实施例
本发明解决上述技术问题的技术方案如下：
本发明提供一种图像修复方法，所述图像修复方法包括：
利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。
在本发明中，记忆神经网络并非传统的记忆神经网络，而是本发明所提供的记忆神经网络，记忆神经网络系统的结构参考图1所示，以下基于本发明的记忆神经网络对本发明的图像修复方法进行进一步阐述：
可选择地，参考图2所示，所述利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到修复后的图像集包括：
S1：利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操作，得到初步修复后的图像；
具体包括以下步骤：
提取所述待修复图像的图像初始分布信息；
依次对所述图像初始分布信息进行记忆操作，得到操作结果；
对所述操作结果进行初步修复处理，得到初步修复后的图像。
此外，在本发明中，所述生成网络包括依次连接的特征提取块结构、记忆块结构和修复块结构，参考图1所示，所述特征提取块结构包括第一卷积层、第二卷积层和第三卷积层，以用于从所述待修复图像中获取所述图像初始分布信息。
所述记忆块结构用于对所述图像初始分布信息进行记忆操作，以得到操作结果；参考图3所示，所述记忆块结构包括递归单元和门单元，所述递归单元包括多个残差块，多个所述残差块依次连接且每个所述残差块的输出均与所述门单元连接。具体地，所述递归单元包括8个残差块，这些残差块的堆积能够使得生成网络产生短期记忆，之后将经过所述递归单元处理后的结果传输至门单元中进行长期存储。
此外，参考图4所示，所述残差块包括多个残差层，每两个所述残差层之间通过和模块间隔设置，且每个所述残差层用于对前一个输入的特征进行过滤，所述和模块用于对所述前一个输入的特征和过滤后的特征进行特征加深操作。
所述修复块结构包括第一反卷积层、第二反卷积层和第四卷积层，以用于对所述操作结果进行初步修复处理；所述第一卷积层和所述第四卷积层的步长为1；所述第二卷积层、所述第三卷积层、所述第一反卷积层和所述第二反卷积层的步长均为2。
具体地，第一卷积层和第四卷积层的核尺寸为7×7，第二卷积层和第三卷积层的核尺寸为3×3。
S2：利用损失函数计算所述初步修复后的图像和所述原始图像之间的差距程度；
本发明将Wasserstein-GAN作为主干，使用MS-SSIM+L1 Loss损失函数与PerceptualLoss损失函数结合以构成本发明所提供的损失函数，具体地，所述损失函数为：
L＝LGAN+λpLp
其中，L表示损失函数，LGAN表示生成对抗网络的损失函数。且
Figure BDA0003451827700000051
α表示MS-SSIM与L1损失函数的占比，其具体取值根据任务和模型训练情况可进行调整。LMS-SSIM表示MS-SSIM+L1 Loss损失函数。且
Figure BDA0003451827700000052
G是生成网络，
Figure BDA0003451827700000053
表示生成网络。IU是待修复图像，
Figure BDA0003451827700000054
表示L1损失函数。且
Figure BDA0003451827700000055
λ表示梯度惩罚项，p代表从生成网络以及判别网络中各自取值到的线性采样，M表示不同尺度。m从1取到M。μp，μg分别表示预测图像和Ground truth的均值。σp，σg分别表示预测图像和Groundtruth之间的标准差。σpg表示预测值和Ground truth之间的协方差。c1，c2作为常数项以防止被除数为0。βm，γm表示两项之间的相对重要性。
Figure BDA0003451827700000056
表示预测图像和Groundtruth的逐像素取值。
S3：根据所述差距程度，利用神经网络系统中的判别网络对所述初步修复后的图像进行清晰完善操作，得到修复后的图像；
这里，所述判别网络包括依次连接的第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层，所述第五卷积层、所述第六卷积层和所述第七卷积层的步长为2，所述第八卷积层和所述第九卷积层的步长为1。
S4：利用Kernel MMD对所述真实图像和所述修复后的图像进行距离计算，得到计算结果；
这里，Kernel MMD(Maximum Mean Discrepancy)这个评价指标是用固定的内核函数k,来测量两个分布之间的差异度.这个指标的数值越低,表明修复后的图像越接近真实图像。
可选择地，所述步骤S4中，所述距离计算为：
Figure BDA0003451827700000057
其中，Lp表示真实图像和修复后的图像之间的距离，Cj，Hj，Wj分别表示第j个卷积层的通道数、高度和宽度。
Figure BDA0003451827700000058
表示第j个卷积层的特征图。G和其中，L表示损失函数，LGAN表示生成对抗网络的损失函数。且
Figure BDA0003451827700000059
α表示MS-SSIM与L1损失函数的占比，其具体取值根据任务和模型训练情况可进行调整。LMS-SSIM表示MS-SSIM+L1 Loss损失函数。且
Figure BDA0003451827700000061
G是生成网络，
Figure BDA0003451827700000062
表示生成网络。IU是待修复图像，
Figure BDA0003451827700000063
表示L1损失函数。且
Figure BDA0003451827700000064
λ表示梯度惩罚项，p代表从生成网络以及判别网络中各自取值到的线性采样，M表示不同尺度。m从1取到M。μp，μg分别表示预测图像和Ground truth的均值。σp，σg分别表示预测图像和Ground truth之间的标准差。σpg表示预测值和Ground truth之间的协方差。c1，c2作为常数项以防止被除数为0。βm，γm表示两项之间的相对重要性。
Figure BDA0003451827700000065
表示预测图像和Ground truth的逐像素取值。
Figure BDA0003451827700000066
表示生成网络。IR表示真实图像。j表示第j个卷积层。n表示j从1取到n的情况。IU表示待修复图像。
S5：判断所述计算结果是否达到纳什均衡，若是，将所述修复后的图像作为最终修复后的图像输出；否则，返回步骤S1。
基于上述技术方案，本发明还提供一种存储介质，存储有计算机指令，所述计算机指令运行时执行根据上述的图像修复方法的步骤。
本发明基于生成对抗网络的记忆网络模型的图像修复方法采用堆叠方式来构建的特征提取模块与残差网络、卷积神经网络相结合的架构，能够在保证判别准确性不降低的同时有效减小网络体积，降低运行成本提高运行速度，进一步提高图像修复技术的实用性。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像修复方法，其特征在于，所述图像修复方法包括：
利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到最终修复后的图像集；其中，所述图像训练集包括一一对应的待修复图像和真实图像，所述修复后的图像集为清晰完整的图像集且包括最终修复后的图像。
2.根据权利要求1所述的记忆神经网络系统，其特征在于，所述利用记忆神经网络系统和损失函数对图像训练集先后进行初步修复操作和清晰完善操作，得到修复后的图像集包括：
S1：利用神经网络系统中的生成网络对所述图像训练集中的原始图像进行初步修复操作，得到初步修复后的图像；
S2：利用损失函数计算所述初步修复后的图像和所述原始图像之间的差距程度；
S3：根据所述差距程度，利用神经网络系统中的判别网络对所述初步修复后的图像进行清晰完善操作，得到修复后的图像；
S4：利用Kernel MMD对所述真实图像和所述修复后的图像进行距离计算，得到计算结果；
S5：判断所述计算结果是否达到纳什均衡，若是，将所述修复后的图像作为最终修复后的图像输出；否则，返回步骤S1。
3.根据权利要求2所述的图像修复方法，其特征在于，所述步骤S1包括：
提取所述待修复图像的图像初始分布信息；
依次对所述图像初始分布信息进行记忆操作，得到操作结果；
对所述操作结果进行初步修复处理，得到初步修复后的图像。
4.根据权利要求3所述的图像修复方法，其特征在于，所述步骤S1中，所述生成网络包括依次连接的特征提取块结构、记忆块结构和修复块结构；
所述特征提取块结构包括第一卷积层、第二卷积层和第三卷积层，以用于从所述待修复图像中获取所述图像初始分布信息；
所述记忆块结构用于对所述图像初始分布信息进行记忆操作，以得到操作结果；
所述修复块结构包括第一反卷积层、第二反卷积层和第四卷积层，以用于对所述操作结果进行初步修复处理；
所述第一卷积层和所述第四卷积层的步长为1；所述第二卷积层、所述第三卷积层、所述第一反卷积层和所述第二反卷积层的步长均为2。
5.根据权利要求4所述的图像修复方法，其特征在于，所述记忆块结构包括递归单元和门单元，所述递归单元包括多个残差块，多个所述残差块依次连接且每个所述残差块的输出均与所述门单元连接。
6.根据权利要求5所述的图像修复方法，其特征在于，所述残差块包括多个残差层，每两个所述残差层之间通过和模块间隔设置，且每个所述残差层用于对前一个输入的特征进行过滤，所述和模块用于对所述前一个输入的特征和过滤后的特征进行特征加深操作。
7.根据权利要求2所述的图像修复方法，其特征在于，所述步骤S2中，所述损失函数为：
L＝LGAN+λpLp；
其中，L表示损失函数，LGAN表示生成对抗网络的损失函数，且
Figure FDA0003451827690000021
α表示MS-SSIM与L1损失函数的占比，其具体取值根据任务和模型训练情况可进行调整，LMS-SSIM表示MS-SSIM+L1，Loss为损失函数，且
Figure FDA0003451827690000028
G是生成网络，
Figure FDA0003451827690000022
表示生成网络，IU是待修复图像，
Figure FDA0003451827690000029
表示L1损失函数，且
Figure FDA0003451827690000023
λ表示梯度惩罚项，p代表从生成网络以及判别网络中各自取值到的线性采样，M表示不同尺度，m从1取到M，μp，μg分别表示预测图像和Ground truth的均值，σp，σg分别表示预测图像和Ground truth之间的标准差，σpg表示预测值和Ground truth之间的协方差，c1，c2作为常数项以防止被除数为0，βm，γm表示两项之间的相对重要性，
Figure FDA0003451827690000024
表示预测图像和Ground truth的逐像素取值。
8.根据权利要求2所述的图像修复方法，其特征在于，所述步骤S3中，所述判别网络包括依次连接的第五卷积层、第六卷积层、第七卷积层、第八卷积层和第九卷积层，所述第五卷积层、所述第六卷积层和所述第七卷积层的步长为2，所述第八卷积层和所述第九卷积层的步长为1。
9.根据权利要求2-9中任意一项所述的图像修复方法，其特征在于，所述步骤S4中，所述距离计算为：
Figure FDA0003451827690000025
其中，Lp表示真实图像和修复后的图像之间的距离，Cj，Hj，Wj分别表示第j个卷积层的通道数、高度和宽度，
Figure FDA0003451827690000026
表示第j个卷积层的特征图，G和
Figure FDA0003451827690000027
表示生成网络，IR表示真实图像，j表示第j个卷积层。n表示j从1取到n的情况，IU表示待修复图像。
10.一种存储介质，其特征在于，存储有计算机指令，所述计算机指令运行时执行根据权利要求1-9中任意一项所述的图像修复方法的步骤。
CN202111665877.9A 2021-12-31 2021-12-31 一种图像修复方法及存储介质 Active CN114331903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111665877.9A CN114331903B (zh) 2021-12-31 2021-12-31 一种图像修复方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111665877.9A CN114331903B (zh) 2021-12-31 2021-12-31 一种图像修复方法及存储介质

Publications (2)

Publication Number Publication Date
CN114331903A true CN114331903A (zh) 2022-04-12
CN114331903B CN114331903B (zh) 2023-05-12

Family

ID=81021629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111665877.9A Active CN114331903B (zh) 2021-12-31 2021-12-31 一种图像修复方法及存储介质

Country Status (1)

Country Link
CN (1) CN114331903B (zh)

Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
WO2019209820A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Image enhancement using generative adversarial networks
WO2020062846A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
CN110969589A (zh) * 2019-12-03 2020-04-07 重庆大学 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法
US20200126262A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
CN111161158A (zh) * 2019-12-03 2020-05-15 河海大学 一种基于新生成网络结构的图像修复方法
US20200234402A1 (en) * 2019-01-18 2020-07-23 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
CN111723585A (zh) * 2020-06-08 2020-09-29 中国石油大学(华东) 一种风格可控的图像文本实时翻译与转换方法
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
US20200357099A1 (en) * 2019-05-09 2020-11-12 Adobe Inc. Video inpainting with deep internal learning
US20200410649A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Inpainting Dental Images With Missing Anatomy
US20200405242A1 (en) * 2019-06-27 2020-12-31 Retrace Labs System And Methods For Restorative Dentistry Treatment Planning Using Adversarial Learning
US20210012162A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. 3d image synthesis system and methods
CN112419174A (zh) * 2020-11-04 2021-02-26 中国科学院自动化研究所 基于门循环单元的图像文字去除方法、系统及装置
CN112634158A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 人脸图像恢复方法、装置、计算机设备及存储介质
US20210118129A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Dental Image Synthesis using Generative Adversarial Networks with Semantic Activation Blocks
WO2021077140A2 (en) * 2021-02-05 2021-04-22 Innopeak Technology, Inc. Systems and methods for prior knowledge transfer for image inpainting
US20210152734A1 (en) * 2019-11-14 2021-05-20 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
US20210150678A1 (en) * 2019-11-15 2021-05-20 Zili Yi Very high-resolution image in-painting with neural networks
CN113112411A (zh) * 2020-01-13 2021-07-13 南京信息工程大学 基于多尺度特征融合的人脸图像语义修复方法
CN113269722A (zh) * 2021-04-22 2021-08-17 北京邮电大学 生成对抗网络的训练方法、及高分辨率图像重建方法
CN113284073A (zh) * 2021-07-08 2021-08-20 腾讯科技（深圳）有限公司 一种图像修复方法、装置及存储介质
CN113343705A (zh) * 2021-04-26 2021-09-03 山东师范大学 一种基于文本语义的细节保持图像生成方法及系统
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
WO2021231776A1 (en) * 2020-05-13 2021-11-18 Qualcomm Incorporated Machine learning based image adjustment
US20210390348A1 (en) * 2020-06-10 2021-12-16 Bank Of America Corporation System for intelligent drift matching for unstructured data in a machine learning environment

Patent Citations (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
WO2019209820A1 (en) * 2018-04-26 2019-10-31 Elekta, Inc. Image enhancement using generative adversarial networks
CN108765319A (zh) * 2018-05-09 2018-11-06 大连理工大学 一种基于生成对抗网络的图像去噪方法
WO2020062846A1 (en) * 2018-09-30 2020-04-02 Boe Technology Group Co., Ltd. Apparatus and method for image processing, and system for training neural network
US20200126262A1 (en) * 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
US20200234402A1 (en) * 2019-01-18 2020-07-23 Ramot At Tel-Aviv University Ltd. Method and system for end-to-end image processing
US20200357099A1 (en) * 2019-05-09 2020-11-12 Adobe Inc. Video inpainting with deep internal learning
US20200405242A1 (en) * 2019-06-27 2020-12-31 Retrace Labs System And Methods For Restorative Dentistry Treatment Planning Using Adversarial Learning
US20200410649A1 (en) * 2019-06-27 2020-12-31 Retrace Labs Inpainting Dental Images With Missing Anatomy
US20210012162A1 (en) * 2019-07-09 2021-01-14 Shenzhen Malong Technologies Co., Ltd. 3d image synthesis system and methods
US20210118129A1 (en) * 2019-10-18 2021-04-22 Retrace Labs Dental Image Synthesis using Generative Adversarial Networks with Semantic Activation Blocks
CN111047522A (zh) * 2019-11-07 2020-04-21 北京科技大学 一种基于边缘生成的图像修复方法
US20210152734A1 (en) * 2019-11-14 2021-05-20 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
US20210150678A1 (en) * 2019-11-15 2021-05-20 Zili Yi Very high-resolution image in-painting with neural networks
CN111161158A (zh) * 2019-12-03 2020-05-15 河海大学 一种基于新生成网络结构的图像修复方法
CN110969589A (zh) * 2019-12-03 2020-04-07 重庆大学 基于多流注意对抗网络的动态场景模糊图像盲复原方法
CN113112411A (zh) * 2020-01-13 2021-07-13 南京信息工程大学 基于多尺度特征融合的人脸图像语义修复方法
CN111507333A (zh) * 2020-04-21 2020-08-07 腾讯科技（深圳）有限公司 一种图像矫正方法、装置、电子设备和存储介质
WO2021231776A1 (en) * 2020-05-13 2021-11-18 Qualcomm Incorporated Machine learning based image adjustment
CN111723585A (zh) * 2020-06-08 2020-09-29 中国石油大学(华东) 一种风格可控的图像文本实时翻译与转换方法
CN111815523A (zh) * 2020-06-08 2020-10-23 天津中科智能识别产业技术研究院有限公司 一种基于生成对抗网络的图像修复方法
US20210390348A1 (en) * 2020-06-10 2021-12-16 Bank Of America Corporation System for intelligent drift matching for unstructured data in a machine learning environment
CN111768342A (zh) * 2020-09-03 2020-10-13 之江实验室 基于注意力机制和多级反馈监督的人脸超分辨方法
CN112419174A (zh) * 2020-11-04 2021-02-26 中国科学院自动化研究所 基于门循环单元的图像文字去除方法、系统及装置
CN112634158A (zh) * 2020-12-22 2021-04-09 平安普惠企业管理有限公司 人脸图像恢复方法、装置、计算机设备及存储介质
WO2021077140A2 (en) * 2021-02-05 2021-04-22 Innopeak Technology, Inc. Systems and methods for prior knowledge transfer for image inpainting
CN113269722A (zh) * 2021-04-22 2021-08-17 北京邮电大学 生成对抗网络的训练方法、及高分辨率图像重建方法
CN113343705A (zh) * 2021-04-26 2021-09-03 山东师范大学 一种基于文本语义的细节保持图像生成方法及系统
CN113538263A (zh) * 2021-06-28 2021-10-22 江苏威尔曼科技有限公司 基于改进DeblurGAN模型的去运动模糊方法、介质及设备
CN113284073A (zh) * 2021-07-08 2021-08-20 腾讯科技（深圳）有限公司 一种图像修复方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ENEJI等: "MMD GAN: Towards Deeper Understanding of Moment Matching Network", 《INTERNATIONAL JOURNAL OF INFORMATION AND COMMUNICATION TECHNOLOGY》 *
刘建伟等: "生成对抗网络在各领域应用研究进展", 《自动化学报》 *

Also Published As

Publication number Publication date
CN114331903B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
CN108985317A (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN109614968B (zh) 一种基于多尺度混合图像风格化的车牌检测场景图片生成方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN109784283A (zh) 基于场景识别任务下的遥感图像目标提取方法
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN111275491A (zh) 一种数据处理方法及装置
CN111080513A (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN110378398B (zh) 一种基于多尺度特征图跳跃融合的深度学习网络改进方法
CN111027576A (zh) 基于协同显著性生成式对抗网络的协同显著性检测方法
CN114387512B (zh) 基于多尺度特征融合与增强的遥感影像建筑物提取方法
CN112084911A (zh) 一种基于全局注意力的人脸特征点定位方法及系统
CN114972332B (zh) 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法
CN114445336A (zh) 配电设备缺陷检测方法、装置、计算机设备和存储介质
CN113593714A (zh) 一种多分类新冠肺炎病例的检测方法、系统、设备及介质
CN111222453A (zh) 基于密集连接和几何结构约束的遥感影像变化检测方法
CN116524307A (zh) 一种基于扩散模型的自监督预训练方法
CN111178367B (zh) 适应多物件尺寸的特征决定装置及方法
CN111241258A (zh) 数据清洗方法、装置、计算机设备及可读存储介质
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
CN114331903A (zh) 一种图像修复方法及存储介质
CN113222209A (zh) 基于域适应的区域尾气迁移预测方法、系统及存储介质
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN116402995A (zh) 基于轻量级神经网络的古建筑点云语义分割方法及系统
CN115860802A (zh) 产品价值预测方法、装置、计算机设备和存储介质
CN115410083A (zh) 一种基于对抗域适应的小样本sar目标分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant