CN112116543B - 基于检测式生成框架的图像修复方法、系统及装置 - Google Patents

基于检测式生成框架的图像修复方法、系统及装置 Download PDF

Info

Publication number
CN112116543B
CN112116543B CN202011025850.9A CN202011025850A CN112116543B CN 112116543 B CN112116543 B CN 112116543B CN 202011025850 A CN202011025850 A CN 202011025850A CN 112116543 B CN112116543 B CN 112116543B
Authority
CN
China
Prior art keywords
image
network
detection
repaired
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011025850.9A
Other languages
English (en)
Other versions
CN112116543A (zh
Inventor
全卫泽
张瑞松
吴保元
李志锋
严冬明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Shenzhen Tencent Computer Systems Co Ltd
Original Assignee
Institute of Automation of Chinese Academy of Science
Shenzhen Tencent Computer Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science, Shenzhen Tencent Computer Systems Co Ltd filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202011025850.9A priority Critical patent/CN112116543B/zh
Publication of CN112116543A publication Critical patent/CN112116543A/zh
Application granted granted Critical
Publication of CN112116543B publication Critical patent/CN112116543B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图形处理和计算机视觉技术领域，具体涉及了一种基于检测式生成框架的图像修复方法、系统及装置，旨在解决现有残缺破损的数字图像修复质量低且修复过程中会带来残次工件的问题。本发明包括：使用生成网络的编码器降采样受损图像并嵌入到隐特征空间进行深层表示；利用生成网络的残差网络模块结合受损区域相对于其他区域的上下文语义信息对受损区域进行填充；利用生成网络中的解码器升采样将特征转换到RGB空间，得到修复图像；通过检测网络评估修复图像的质量，并且定位残次工件在图像中的具体位置；检测网络的输出结果作为权重映射到传统重构损失函数中训练生成网络。本发明可以高质量地修复残缺破损图像，且能消除修复中带来的视觉瑕疵。

Description

基于检测式生成框架的图像修复方法、系统及装置
技术领域
本发明属于图形处理和计算机视觉技术领域，具体涉及了一种基于检测式生成框架的图像修复方法、系统及装置。
背景技术
图像修复是计算机图形学与计算机视觉领域共同关注的一个重要问题。它的目标是对破损图像的缺失部分进行合理的填充，从而得到接近原始图像的视觉效果。早在文艺复兴时期，这种技术就被运用到艺术品的修复中。在人工智能和虚拟现实飞速发展的今天，广泛的应用需求不断推动着相关研究的发展，图像补全的重要性也日益凸显，在多个领域都取得了重要的应用，如数字取证、文物修复及保护、影视特效制作、图像编辑。
早期的工作试图用一些优化算法来填充缺失的区域，例如，从边界中传播信息[1]或将匹配的信息从背景图像块复制到丢失的区域中[2]。 这些方法由于它们无法提取高级语义信息，因此在现实世界中，它们常常无法生成具有新颖模式的合理结构。 此外，高昂的计算成本也限制了它们在实际应用中的部署。
另一方面，基于深度语义特征的方法试图使用深度神经网络来感知缺损图像的语义结构，以获得更好的恢复效果。例如，通过特征学习进修图像修复[3]，该方法首次引入卷积神经网络来修补缺损区域，但其提出的编码器-解码器体系结构是通过合并的重构损失和对抗损失进行训练的。这种网络过分关注整体一致性，经常导致细节区域中出现视觉瑕疵。还有一些方法联合全局和局部鉴别器以评估补全后的图像[4]，然而，局部鉴别器无法处理不规则的缺损区域。为了更好地建模缺损区域与远距离区域之间的长范围关联性，一些方法设计了一个从粗糙到精细的网络，并首次将上下文注意力机制引入到精细网络[5]，但是，注意力机制的效果主要取决于粗糙网络的结果，较差的粗糙重构常常会导致匹配错误。另外，当前主流的图像修复方法主要基于生成对抗网络架构，在该框架中，鉴别器将修复的图像作为输入并基于整个图像或其图像块[6]进行评估，同时，训练生成器时的对抗损失函数会丢弃残次工件的有意义的位置信息。
为解决上述问题，本发明提出一种基于检测式生成框架的图像修复方法，高质量地修复残缺破损的数字图像，并且可以消除修复过程中带来的残次工件。
以下文献是与本发明相关的技术背景资料：
[1] BALLESTER, COLOMA, BERTALMIO, MARCELO, CASELLES, VICENT, et al.“Filling-in by joint interpolation of vector fields and gray levels”. IEEETrans. Image Process. 10.8 (2001), 1200–1211。
[2]HUANG, JIA-BIN, KANG, SING BING, AHUJA, NARENDRA,and KOPF,JOHANNES. “Image completion using planar structure guidance”. ACM Trans.Graph. (Proc. SIGGRAPH) 33.4 (2014), 1–10。
[3]PATHAK, DEEPAK, KRAHENBUHL, PHILIPP, DONAHUE,JEFF, et al. “Contextencoders: Feature learning by inpainting”. IEEE CVPR. 2016, 2536–2544）。
[4]IIZUKA, SATOSHI, SIMO-SERRA, EDGAR, and ISHIKAWA, HIROSHI.“Globally and locally consistent image completion”. ACM Trans.Graph. (Proc.SIGGRAPH) 36.4 (2017), 1–14。
[5] YU, JIA HUI, LIN, ZHE, YANG, JIMEI, et al. “Generative imageinpainting with contextual attention”. IEEE CVPR. 2018, 5505–5514。
[6] ISOLA, PHILLIP, ZHU, JUN-YAN, ZHOU, TINGHUI, and EFROS, ALEXEI A.“Image-to-image translation with conditional adversarial networks”. IEEECVPR. 2017, 1125–1134。
发明内容
为了解决现有技术中的上述问题，即现有残缺破损的数字图像修复质量低且修复过程中会带来残次工件的问题，本发明提供了一种基于检测式生成框架的图像修复方法，该图像修复方法包括：
步骤S10，获取局部残缺或老旧破损的图像作为待修复图像；
步骤S20，通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器；
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数。
在一些优选的实施例中，步骤S20包括：
步骤S21，通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间，获得待修复图像的深层表示；
步骤S22，在隐特征空间，通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复，获得修复后的图像的深层表示；
步骤S23，通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间，获得修复图像。
在一些优选的实施例中，所述三层卷积神经网络的第一层网络卷积核大小为
Figure 155743DEST_PATH_IMAGE001
， 步长为
Figure 867347DEST_PATH_IMAGE002
，后两层网络卷积核大小为
Figure 732535DEST_PATH_IMAGE003
，步长为
Figure 933709DEST_PATH_IMAGE004
；
所述八个残差网络模块中每一个残差网络模块均由卷积核大小为
Figure 517137DEST_PATH_IMAGE005
，步长为
Figure 78437DEST_PATH_IMAGE002
的两个卷积层构成，其中第一个卷积层是膨胀率为
Figure 63711DEST_PATH_IMAGE004
的空洞卷积；
所述三层反卷积神经网络的两层网络卷积核大小为
Figure 373469DEST_PATH_IMAGE003
，步长为
Figure 506511DEST_PATH_IMAGE004
，最后一层网 络卷积核大小为
Figure 559917DEST_PATH_IMAGE001
，步长为
Figure 399697DEST_PATH_IMAGE002
。
在一些优选的实施例中，所述基于图像修复质量的权重映射，其计算方法为：
步骤A10，通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布；
步骤A20，通过设定的迁移函数将所述概率分布迁移到权重映射区间，获得基于图像修复质量的权重映射；
其中，所述检测网络由七层全卷积网络构成。
在一些优选的实施例中，所述生成网络和检测网络，其训练中采用的与真值图像配对的破损图像的获取方法为：
Figure 880357DEST_PATH_IMAGE006
其中，
Figure 985848DEST_PATH_IMAGE007
为与真值图像配对的破损图像；
Figure 842945DEST_PATH_IMAGE008
为二值掩码，值为0表示有效区域，值为 1表示破损区域；
Figure 537232DEST_PATH_IMAGE009
代表逐像素乘法，
Figure 251110DEST_PATH_IMAGE010
为真值图像。
在一些优选的实施例中，所述加权重构损失函数，其表示为：
Figure 296426DEST_PATH_IMAGE011
其中，
Figure 6150DEST_PATH_IMAGE012
代表生成网络的加权重构损失函数，
Figure 554943DEST_PATH_IMAGE013
为基于图像修复质量的权重映 射，
Figure 642984DEST_PATH_IMAGE014
代表修复图像，
Figure 972334DEST_PATH_IMAGE015
代表
Figure 171235DEST_PATH_IMAGE016
距离。。
在一些优选的实施例中，步骤A10包括：
步骤A11，通过检测网络的前五个卷积核大小为
Figure 574534DEST_PATH_IMAGE003
的卷积层进行两次所述修复 图像的下采样；
步骤A12，通过检测网络的后两个卷积核大小为
Figure 833477DEST_PATH_IMAGE003
的反卷积层将下采样后的 图像上采样两次至所述修复图像大小；
步骤A13，通过softmax函数将检测网络的两层输出映射到概率空间，评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布；所述两层输出，其第一层是掩码值为0的输出，第二层是掩码值为1的输出。
在一些优选的实施例中，所述检测网络的训练过程的损失函数为带有平衡因子和焦距因子的检测损失函数，其表示为：
Figure 400856DEST_PATH_IMAGE017
其中，
Figure 137868DEST_PATH_IMAGE018
代表检测网络的检测损失函数，
Figure 661253DEST_PATH_IMAGE019
为图像中像素点的个数，
Figure 153414DEST_PATH_IMAGE020
为第
Figure 129460DEST_PATH_IMAGE021
个 像素点对应的破损区域掩码，
Figure 670163DEST_PATH_IMAGE022
为第
Figure 313634DEST_PATH_IMAGE021
个像素点对应的检测网络输出图像全局评价，
Figure 960385DEST_PATH_IMAGE023
为平 衡因子，
Figure 689307DEST_PATH_IMAGE024
为焦距因子。
本发明的另一方面，提出了一种基于检测式生成框架的图像修复系统，该图像修复系统包括以下模块：
获取模块，用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块；
生成网络模块，用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络训练中采用的损失函数为的加权重构损失函数，加权重构损失函数通过以下模块获取：
检测网络模块，用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布，并通过设定的迁移函数迁移到权重映射空间，获得基于图像修复质量的权重映射；
损失函数模块，用于在重构损失函数中融入基于图像修复质量的权重映射，获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明的第四方面，提出了一种处理装置，包括处理器、存储装置；所述处理器，适于执行各条程序；所述存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明的有益效果：
（1）本发明基于检测式生成框架的图像修复方法，采用加权重构损失函数训练生成网络使得该图像修复框架可以很好地平衡生成图像肉眼观测真实性和与受损图像剩余背景相似性这一多目标优化问题，大大降低了传统的基于生成对抗网络手工调节权衡参数带来的训练难度。在图像合成、图像修复等领域有很好的应用价值。
（2）本发明基于检测式生成框架的图像修复方法，引入检测网络以弱监督学习的方式评估生成网络修复图像质量，并且定位残次区域在修复图像中的具体位置，通过实验表明该定位结果与人类的感知评估定位的位置相似，但采用本发明方法相较于人工方法大大提高了效率、准确率，并降低了错误率和人工成本。
（3）本发明基于检测式生成框架的图像修复方法，在训练生成网络的同时加入了检测网络提供的残次区域信息，相比于传统的生成对抗网络，实验结果表明本发明的图像修复框架能更好地去除修复图像中的残次区域，解决了在高质量修复残缺破损的数字图像的同时，降低甚至杜绝了消除修复过程中带来的残次工件的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本发明基于检测式生成框架的图像修复方法的流程示意图；
图2是本发明基于检测式生成框架的图像修复方法一种实施例的网络结构示意图；
图3是本发明基于检测式生成框架的图像修复方法一种实施例的不同框架的图像修复结果对比图；
图4是本发明基于检测式生成框架的图像修复方法一种实施例的残次工件位置概率分布可视化结果图；
图5是本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在三个不同的公开数据集CelebA-HQ、Places2和Paris上的修复结果的定性对比图；
图6是本发明基于检测式生成框架的图像修复方法一种实施例的系统结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种基于检测式生成框架的图像修复方法，借鉴图像分割任务中使用的全卷积神经网络作为检测网络，对修复后图像质量进行像素级的全局评价。在编码-解码生成网络训练过程中，加入检测网络输出的稠密评价，有利于消除生成网络输出修复图像中存在的残次工件，同时克服了传统生成对抗网络需要引入权衡参数做多目标优化的问题，降低了整个图像修复框架训练难度，从而提高了图像修复的质量和效率，在高质量修复残缺破损的数字图像的同时，消除了修复过程中带来的视觉瑕疵（包括人眼观察到的内容失真、细节模糊以及语义不连贯），在图像合成、图像修复等领域有很好的应用价值。
本发明引入图像分割任务中使用的全卷积神经网络作为检测网络，可以得到稠密的修复图像评估和残次工件位置概率分布，作为辅助信息指导生成网络更好地填补缺失区域。本发明使用编码器、解码器将图像投影到隐特征空间或者从特征空间转换到RGB图像空间，并在隐特征空间中使用一系列的残差网络模块以卷积的方式填补受损图像残缺的信息；另外，本发明提出了一种联合生成网络和上述检测网络一起对抗训练的方法，使得生成网络在消除修复图像残次工件方面有一定效果，且检测网络输出的全局评估类似于人类视觉感知的结果。该检测式生成框架无需任何超参数来调节优化目标，训练更加简单高效。现有的深度图像修复工作绝大多数只是利用生成对抗网络进行缺失区域的填补，本发明实施例首次成功地将检测网络应用到图像修复问题中。
本发明的一种基于检测式生成框架的图像修复方法，该图像修复方法包括：
步骤S10，获取局部残缺或老旧破损的图像作为待修复图像；
步骤S20，通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器；
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数。
为了更清晰地对本发明基于检测式生成框架的图像修复方法进行说明，下面结合图1对本发明实施例中各步骤展开详述。
本发明第一实施例的基于检测式生成框架的图像修复方法，各步骤详细描述如下：
步骤S10，获取局部残缺或老旧破损的图像作为待修复图像。
因为在图像修复中采用的生成网络和修复图像检测中采用的检测网络，其训练中都需要配对的破损图像和真值图像，而在真实场景中，往往很难收集到配对图像，因此，本发明在真值图像上根据二值掩码扣去缺失区域，从而获得与真值图像以及二值掩码配对的破损图像，如式（1）所示：
Figure 768121DEST_PATH_IMAGE025
其中，
Figure 328415DEST_PATH_IMAGE007
为与真值图像配对的破损图像；
Figure 834483DEST_PATH_IMAGE008
为二值掩码，值为0表示有效区域，值 为1表示破损区域；
Figure 50701DEST_PATH_IMAGE009
代表逐像素乘法，
Figure 933206DEST_PATH_IMAGE010
为真值图像。
通过上述方法获得的破损图像，其缺失区域显示为白色。
步骤S20，通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像。
如图2所示，为本发明基于检测式生成框架的图像修复方法一种实施例的网络结构示意图，图2上半部分为生成网络的结构图，生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器，其输出为修复图像。缺失图像（或破损图像）与二值掩码经过生成网络的编码器-生成器-解码器获得修复图像，其具体过程包括：
步骤S21，通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间，获得待修复图像的深层表示。
三层卷积神经网络的第一层网络卷积核大小为
Figure 98739DEST_PATH_IMAGE001
，步长为
Figure 41288DEST_PATH_IMAGE002
，后两层网络卷积 核大小为
Figure 479222DEST_PATH_IMAGE003
，步长为
Figure 962156DEST_PATH_IMAGE004
。本发明一个实施例中，将原始输入的
Figure 434726DEST_PATH_IMAGE026
的图像经 过两次下采样后变为
Figure 282596DEST_PATH_IMAGE027
的深层表示。
步骤S22，在隐特征空间，通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复，获得修复后的图像的深层表示。
八个残差网络模块中每一个残差网络模块均由卷积核大小为
Figure 534060DEST_PATH_IMAGE005
，步长为1的两 个卷积层构成，其中第一个卷积层是膨胀率为
Figure 758368DEST_PATH_IMAGE004
的空洞卷积。
残差跳连和空洞卷积分别引入了低尺度和高尺度的特征信息，这种多尺度信息融合使得网络具有强大的修复能力。
步骤S23，通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间，获得修复图像。
三层反卷积神经网络的两层网络卷积核大小为
Figure 85444DEST_PATH_IMAGE003
，步长为
Figure 432111DEST_PATH_IMAGE004
，最后一层网络卷 积核大小为
Figure 844638DEST_PATH_IMAGE001
，步长为
Figure 607058DEST_PATH_IMAGE002
。
本发明一个实施例中，将图像深层特征表示的尺寸由
Figure 788640DEST_PATH_IMAGE027
经过变换后得 到
Figure 56942DEST_PATH_IMAGE026
的RGB图像。
生成网络获取的修复图像通过检测网络进行质量评估，在破损图像为工件图像 时，可以给出残次工件的概率分布，并通过迁移变换获得权重映射，即基于图像修复质量的 权重映射，将此映射融入重构损失函数获得用于训练生成网络的损失函数。如图2下半部分 所示，将修复图像输入检测网络进行评估，将其两层输出映射到概率空间，评估修复图像的 每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布，
Figure 956765DEST_PATH_IMAGE009
代 表逐像素乘法，
Figure 522875DEST_PATH_IMAGE028
代表绝对误差。
基于图像修复质量的权重映射，其计算方法为：
步骤A10，通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布；检测网络由七层全卷积网络构成。
步骤A11，通过检测网络的前五个卷积核大小为
Figure 621281DEST_PATH_IMAGE003
的卷积层进行两次所述修 复图像的下采样。前五个卷积层使用
Figure 247435DEST_PATH_IMAGE029
的LeakyReLU激活函数提升网络的复杂度。
步骤A12，通过检测网络的后两个卷积核大小为
Figure 634554DEST_PATH_IMAGE003
的反卷积层将下采样后的 图像上采样两次至所述修复图像大小。
步骤A13，通过softmax函数将检测网络的两层输出映射到概率空间，评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布。
两层输出的第一层是像素点为有效区域（掩码中值为0）的概率，第二层是像素点为破损区域（掩码中值为1）的概率，两层概率和为1。
步骤A20，通过设定的迁移函数将所述概率分布迁移到权重映射区间，获得基于图像修复质量的权重映射。
在本发明中，为了进一步消除残次工件，以单张修复图像的每个像素点作为样本， 给有残次工件的像素点分配较大权重，而不去减少没有残次工件像素点的权重。检测器输 出的第二层概率分布正好符合上述权重分配关系。利用一个迁移函数将概率分布
Figure 738776DEST_PATH_IMAGE030
的 区间迁移到权重映射
Figure 206535DEST_PATH_IMAGE031
的区间。概率分布表示为
Figure 3590DEST_PATH_IMAGE032
，权重映射表示为
Figure 612426DEST_PATH_IMAGE013
，本发明选用 的迁移函数为式（2）所示的线性函数或者式（3）所示的指数函数：
Figure 848235DEST_PATH_IMAGE033
Figure 858916DEST_PATH_IMAGE034
其中，
Figure 826872DEST_PATH_IMAGE035
为尺度参数，
Figure 923004DEST_PATH_IMAGE036
为偏移参数，
Figure 182079DEST_PATH_IMAGE037
为指数函数的底数。
上述检测残次工件的方法仅仅是举例，在其他实施例中可以根据需要选择合适的检测残次工件的方法，本发明在此不一一详述。
一般生成网络的学习目标不仅包含与真值图像的相似性，填补区域同时需要高真 实感来骗过人眼。传统的生成对抗网络将两个目标分别用重构损失（比如
Figure 312846DEST_PATH_IMAGE016
距离）和对抗 损失来描述，并用两个超参数来权衡两个目标的倾向性，本质上是一个多目标优化问题。与 单目标优化相比，多目标优化往往是比较困难的，例如对于软间距支持向量机最大间距和 最小误差之间的权衡是一个棘手的问题。更重要的是，权衡因子是没有实际意义的参数，对 于不同场景的图像修复都需要手工调整，比如人脸、自然场景和街景等数据可能需要不同 的参数。为了解决上述问题，本发明参考Boosting算法，其思想是增加弱样本的权重，减少 强样本的权重。步骤A20计算的权重映射
Figure 451703DEST_PATH_IMAGE013
已在修复图像中区分了弱像素或强像素，并分 配了相应权重。
因此，本发明引入与修复图像尺寸相同的权重映射（即基于图像修复质量的权重映射），合并了两个目标的加权重构损失函数如式（4）所示：
Figure 97448DEST_PATH_IMAGE038
其中，
Figure 347164DEST_PATH_IMAGE012
代表生成网络的加权重构损失函数，
Figure 332437DEST_PATH_IMAGE013
为基于图像修复质量的权重映 射，
Figure 642196DEST_PATH_IMAGE014
代表修复图像，
Figure 27434DEST_PATH_IMAGE015
代表
Figure 80841DEST_PATH_IMAGE016
距离。
如图3所示，为本发明基于检测式生成框架的图像修复方法一种实施例的不同框架的图像修复结果对比图，从左到右依次是真值图像，输入破损图像，硬加权重构损失（有效区域:破损区域=1:6）训练生成网络修复结果，传统生成对抗网络训练生成网络修复结果，以及加权重构损失函数训练生成网络（本发明提出框架）修复结果。为了公平比较，所有框架均使用步骤S20描述的相同生成网络。对于第一行人脸数据，硬加权方法和生成对抗方法无法产生合理的人眼细节结构，而本发明方法对于眼睛位置的填补较为合理。对于第二行湖水与岸边的交界区域做了细节放大，硬加权方法在河岸和湖泊的边界处产生了过度平滑的结果，而生成对抗方法的结果也是比较模糊。本发明方法的修复图像在具体细节上稍微优于其他常用的修复框架，这主要得益于本发明使用检测网络对修复图像进行精细的评估，并将该像素级的评价传递给生成网络进行对抗学习。相比于传统的生成对抗网络，基于检测式生成框架生成网络与检测网络在定位残次工件的位置上相互竞争，而不仅仅是关于整张图像的真假问题。
上述将权重映射加入重构损失函数训练生成网络的方法仅仅是举例，在其他实施例中还可以选择其他合适的损失函数进行生成网络的训练，本发明在此不一一详述。
在实际应用中，获取修复图像的残次工件的位置信息通常是很困难的，而如果无法收集到大量修复图像的残次工件监督信息，检测网络是难以训练的。特别针对图像修复问题，填补缺失区域的难度是远大于将有效区域的信息拷贝复制到新的修复图像上的。
本发明采用弱监督学习方法将二值掩码作为真值训练检测网络，假设生成网络修复后的图像残次工件存在于原来缺失区域的概率远高于残次工件出现在有效区域的概率，该假设在大多数情况下是合理的。因此本发明以受损区域掩码作为检测网络的真值来定位残次工件的位置。由于受损区域掩码只是一个粗略的监督信息，并不是工件位置的具体刻画，所以对检测网络的上述训练过程属于弱监督学习方法。在学习过程中，检测网络可能挖掘出破损区域没有残次工件的位置以及有效区域有类似残次模式的位置。
通常破损区域面积是小于有效区域面积的，为了减弱样本不均衡问题影响正常训 练，使用带有平衡因子
Figure 920621DEST_PATH_IMAGE023
和焦距因子
Figure 463598DEST_PATH_IMAGE024
的检测损失函数来训练检测网络，具体表示如式（5） 所示：
Figure 756039DEST_PATH_IMAGE039
其中，
Figure 613136DEST_PATH_IMAGE018
代表检测网络的检测损失函数，
Figure 307423DEST_PATH_IMAGE019
为图像中像素点的个数，
Figure 772033DEST_PATH_IMAGE020
为第
Figure 817350DEST_PATH_IMAGE021
个 像素点对应的破损区域掩码，
Figure 212559DEST_PATH_IMAGE022
为第
Figure 823669DEST_PATH_IMAGE021
个像素点对应的检测网络输出图像全局评价，
Figure 911711DEST_PATH_IMAGE023
为平 衡因子，
Figure 178744DEST_PATH_IMAGE024
为焦距因子。
如图4所示，为本发明基于检测式生成框架的图像修复方法一种实施例的残次工件位置概率分布可视化结果图，经过检测损失函数训练的检测网络，分别输入修复图像和真值图像后，检测器输出的残次工件位置概率分布可视化结果。其中越暗的颜色表明该区域存在残次工件的概率越高，反之越亮的颜色表明概率越低。图3中真值图像（第3列）的残次工件位置概率分布无明显规律，而修复图像的残次工件位置概率分布（第5列）与破损区域掩码（第1列）具有很强的相关性，即大部分颜色较亮像素都在破损区域及其附近。同时，明显的视觉残次工件在图中用矩形方框标注与残次工件位置概率分布图中最暗的区域匹配。而图中第二行的结果中的矩形方框标注区域并非对应着掩码中缺失区域，而是缺失区域周围的有效区域。这意味着检测网络学习到的是残次工件位置，而不是标注缺失区域的掩码。检测器输出的稠密估计在一定程度上也符合人眼的感知，（0,0.2,0.4,0.6,0.8,1）代表相应像素为残次工件的概率，数值越大，表示概率越高。
上述用检测损失函数将破损区域掩码作为真值，以弱监督学习方式训练检测网络的方法仅仅是举例，在其他实施例中还可以选用其他合适的方式进行检测网络的训练，本发明在此不一一详述。
结合用弱监督学习方法将二值掩码作为真值训练检测网络以及引入步骤A20计算的权重映射到传统的重构损失函数中训练生成网络，本发明提出的基于检测式生成框架总的优化目标函数如式（6）所示：
Figure 423649DEST_PATH_IMAGE040
其中，
Figure 92528DEST_PATH_IMAGE041
表示生成网络，
Figure 351471DEST_PATH_IMAGE042
；
Figure 840221DEST_PATH_IMAGE043
表示检测网络，
Figure 905129DEST_PATH_IMAGE044
。 公式中，基于检测式生成框架的生成网络和检测网络只在损坏区域（不涉及有效区域）涉及 权重大小产生对抗学习。这可以看作是使用生成对抗网络引入整张图像全局对抗来解决图 像修复问题的一种改进。
如图5所示，为本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在三个不同的公开数据集CelebA-HQ、Places2和Paris上的修复结果的定性对比图，从上到下用虚线分为三个部分，分别为在CelebA-HQ数据集，Places2数据集和Paris StreetView数据集的图像修复情况。从左到右分别为：真值图像、破损图像、PConv方法、PEN方法、GConv方法和本发明方法。从图5中可以看出，PConv方法有时会存在明显的视觉残次工件，并产生无意义的纹理。PEN方法修复后的图像存在一些类似棋盘格的工件，并且由于过渡平滑的填补结果和色调不一致，填补区域与有效区域的协调性较差。GConv方法相比于前两种方法可以生成更好的结果，但仍存在不完美的细节。本发明方法取得了更加真实可信的结果，尤其是在人脸数据上。
如表1所示，为本发明基于检测式生成框架的图像修复方法一种实施例的本发明方法与PConv、PEN和GConv方法在两个不同的公开数据集CelebA-HQ(C)、Places2(P)上的修复结果的定量对比表：
表1
Figure 428514DEST_PATH_IMAGE045
如表1所示，生成网络填充的内容与有效区域相结合构成最终的修复图像，可能与 真实图像有所不同，但依然具有合理性。由于图像修复问题的非唯一解的性质，很难用定量 的指标来评价单个图像的修复质量。然而，在整个数据集上的整体度量指标可以衡量修复 方法的性能。这里使用四种修复图像常用的度量方法分别是：
Figure 592780DEST_PATH_IMAGE016
距离，峰值信噪比（PSNR）， 结构相似度指数（SSIM）和Frechet距离（FID）。掩码比例从
Figure 647454DEST_PATH_IMAGE046
到
Figure 188157DEST_PATH_IMAGE047
的比较 结果来看，本发明方法在
Figure 566049DEST_PATH_IMAGE048
范围内的所有指标均表现最好。在过低或者过高的掩码 比例范围内，本发明方法仍然具有很强的竞争性，取得与其他方法类似的表现。
本发明第二实施例的基于检测式生成框架的图像修复系统如图6所示，包括以下模块：
获取模块，用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块；
生成网络模块，用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络训练中采用的损失函数为的加权重构损失函数，加权重构损失函数通过以下模块获取：
检测网络模块，用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布，并通过设定的迁移函数迁移到权重映射空间，获得基于图像修复质量的权重映射；
损失函数模块，用于在重构损失函数中融入基于图像修复质量的权重映射，获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
生成网络模块具体包括：
编码器子模块，通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间，获得待修复图像的深层表示；
残差网络子模块，在隐特征空间，通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复，获得修复后的图像的深层表示；
解码器子模块，通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间，获得修复图像。
损失函数模块具体包括：
检测损失函数子模块，用于获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数；
加权重构损失函数子模块，用于在重构损失函数中融入基于图像修复质量的权重映射，获得用于生成网络训练的加权重构损失函数，进一步消除修复图像中的残次工件。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
需要说明的是，上述实施例提供的基于检测式生成框架的图像修复系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
本发明第三实施例的一种存储装置，其中存储有多条程序，所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
本发明第四实施例的一种处理装置，包括处理器、存储装置；处理器，适于执行各条程序；存储装置，适于存储多条程序；所述程序适于由处理器加载并执行以实现上述的基于检测式生成框架的图像修复方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件模块、方法步骤对应的程序可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
术语“第一”、 “第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于检测式生成框架的图像修复方法，其特征在于，该图像修复方法包括：
步骤S10，获取局部残缺或老旧破损的图像作为待修复图像；
步骤S20，通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络包括三层卷积神经网络构成的编码器、八个残差网络模块构成的生成器和三层反卷积神经网络构成的解码器；
所述生成网络训练中采用的损失函数为在重构损失函数中融入基于图像修复质量的权重映射的加权重构损失函数；
所述基于图像修复质量的权重映射，其计算方法为：
步骤A10，通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布；所述检测网络由七层全卷积网络构成；步骤A10具体包括：
步骤A11，通过检测网络的前五个卷积核大小为4×4的卷积层进行两次所述修复图像的下采样；
步骤A12，通过检测网络的后两个卷积核大小为4×4的反卷积层将下采样后的图像上采样两次至所述修复图像大小；
步骤A13，通过softmax函数将检测网络的两层输出映射到概率空间，评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布；所述两层输出，其第一层是掩码值为0的输出，第二层是掩码值为1的输出；
步骤A20，通过设定的迁移函数将所述概率分布迁移到权重映射区间，获得基于图像修复质量的权重映射。
2.根据权利要求1所述的基于检测式生成框架的图像修复方法，其特征在于，步骤S20包括：
步骤S21，通过三层卷积神经网络构成的编码器将所述待修复图像投影到隐特征空间，获得待修复图像的深层表示；
步骤S22，在隐特征空间，通过八个残差网络模块构成的生成器逐一进行所述待修复图像的深层表示的填补修复，获得修复后的图像的深层表示；
步骤S23，通过三层反卷积神经网络构成的解码器将所述修复后的图像的深层表示从隐特征空间转换到RGB图像空间，获得修复图像。
3.根据权利要求2所述的基于检测式生成框架的图像修复方法，其特征在于，所述三层卷积神经网络的第一层网络卷积核大小为7×7，步长为1，后两层网络卷积核大小为4×4，步长为2；
所述八个残差网络模块中每一个残差网络模块均由卷积核大小为3×3，步长为1的两个卷积层构成，其中第一个卷积层是膨胀率为2的空洞卷积；
所述三层反卷积神经网络的两层网络卷积核大小为4×4，步长为2，最后一层网络卷积核大小为7×7，步长为1。
4.根据权利要求1所述的基于检测式生成框架的图像修复方法，其特征在于，所述生成网络和检测网络，其训练中采用的与真值图像配对的破损图像的获取方法为：
Iin＝Igt⊙(1-M)+M
其中，Iin为与真值图像配对的破损图像；M为二值掩码，值为0表示有效区域，值为1表示破损区域；⊙代表逐像素乘法，Igt为真值图像。
5.根据权利要求4所述的基于检测式生成框架的图像修复方法，其特征在于，所述加权重构损失函数，其表示为：
Figure FDA0003780643540000021
其中，
Figure FDA0003780643540000022
代表生成网络的加权重构损失函数，W为基于图像修复质量的权重映射，Iout代表修复图像，‖·‖1代表
Figure FDA0003780643540000033
距离。
6.根据权利要求1所述的基于检测式生成框架的图像修复方法，其特征在于，所述检测网络的训练过程的损失函数为带有平衡因子和焦距因子的检测损失函数，其表示为：
Figure FDA0003780643540000031
其中，
Figure FDA0003780643540000032
代表检测网络的检测损失函数，N为图像中像素点的个数，Mi为第i个像素点对应的破损区域掩码，Vi为第i个像素点对应的检测网络输出图像全局评价，α为平衡因子，γ为焦距因子。
7.一种基于检测式生成 框架的图像修复系统，其特征在于，该图像修复系统包括以下模块：
获取模块，用于获取局部残缺或老旧破损的图像作为待修复图像并输入至生成网络模块；
生成网络模块，用于通过训练好的生成网络根据所述待修复图像以及图像中破损区域相对于其他区域的上下文语义信息填充所述待修复图像的缺失区域，获得修复图像；
其中，所述生成网络训练中采用的损失函数为的加权重构损失函数，加权重构损失函数通过以下模块获取：
检测网络模块，用于通过训练好的检测网络评估所述修复图像的每一个像素属于有效区域或破损区域的概率，获得有效区域或破损区域的概率分布，并通过设定的迁移函数迁移到权重映射空间，获得基于图像修复质量的权重映射；
损失函数模块，用于在重构损失函数中融入基于图像修复质量的权重映射，获得用于生成网络训练的加权重构损失函数以及获取带有平衡因子和焦距因子的用于检测网络训练的检测损失函数。
8.一种存储装置，其中存储有多条程序，其特征在于，所述程序适于由处理器加载并执行以实现权利要求1-6任一项所述的基于检测式生成 框架的图像修复方法。
9.一种处理装置，包括
处理器，适于执行各条程序；以及
存储装置，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：
权利要求1-6任一项所述的基于检测式生成 框架的图像修复方法。
CN202011025850.9A 2020-09-25 2020-09-25 基于检测式生成框架的图像修复方法、系统及装置 Active CN112116543B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011025850.9A CN112116543B (zh) 2020-09-25 2020-09-25 基于检测式生成框架的图像修复方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011025850.9A CN112116543B (zh) 2020-09-25 2020-09-25 基于检测式生成框架的图像修复方法、系统及装置

Publications (2)

Publication Number Publication Date
CN112116543A CN112116543A (zh) 2020-12-22
CN112116543B true CN112116543B (zh) 2022-09-20

Family

ID=73796981

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011025850.9A Active CN112116543B (zh) 2020-09-25 2020-09-25 基于检测式生成框架的图像修复方法、系统及装置

Country Status (1)

Country Link
CN (1) CN112116543B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658038B (zh) * 2021-08-26 2023-05-05 北京安德医智科技有限公司 基于空间误差自适应的网络训练方法及装置
CN113516604B (zh) * 2021-09-14 2021-11-16 成都数联云算科技有限公司 图像修复方法
CN114841977B (zh) * 2022-05-17 2023-04-25 南京信息工程大学 一种基于Swin Transformer结构结合SSIM和GMSD的疵点检测方法
CN115599598B (zh) * 2022-10-08 2023-08-15 国网江苏省电力有限公司南通供电分公司 一种电力负荷传感数据恢复方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN111292265A (zh) * 2020-01-22 2020-06-16 东华大学 一种基于生成式对抗神经网络的图像修复方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584178A (zh) * 2018-11-29 2019-04-05 腾讯科技（深圳）有限公司 图像修复方法、装置和存储介质
CN110689499A (zh) * 2019-09-27 2020-01-14 北京工业大学 一种基于密集扩张卷积自编码对抗网络的人脸图像修复方法
CN111292265A (zh) * 2020-01-22 2020-06-16 东华大学 一种基于生成式对抗神经网络的图像修复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Image Inpainting for Irregular Holes Using Partial Convolutions;Guilin Liu等;《European Conference on Computer Vision（2018）》;20181006;第89-105页 *
基于生成式对抗网络的图像修复;杨会成 等;《海南热带海洋学院学报》;20200426(第02期);第86-92页 *

Also Published As

Publication number Publication date
CN112116543A (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
CN112116543B (zh) 基于检测式生成框架的图像修复方法、系统及装置
Lim et al. DSLR: Deep stacked Laplacian restorer for low-light image enhancement
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Liu et al. Trident dehazing network
JP3877916B2 (ja) デジタル画像の異常検出方法およびシステム、ならびにそのための記憶媒体
US7149355B2 (en) Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
JP4776705B2 (ja) 画像処理装置および方法
KR100860968B1 (ko) 해상도 향상 장치 및 방법
CN116739899A (zh) 基于saugan网络的图像超分辨率重建方法
CN116563693A (zh) 基于轻量级注意力机制的水下图像色彩复原方法
CN111798359A (zh) 一种基于深度学习的图像去水印方法
CN111476739B (zh) 水下图像增强方法、系统及存储介质
Du et al. X-ray image super-resolution reconstruction based on a multiple distillation feedback network
Hsu et al. A hybrid algorithm with artifact detection mechanism for region filling after object removal from a digital photograph
CN115170435A (zh) 一种基于Unet网络的图像几何畸变校正方法
CN115496654A (zh) 基于自注意力机制的图像超分辨率重建方法、设备及介质
CN111739139B (zh) 一种噪声ct图像三维重建方法
CN116958317A (zh) 一种结合边缘信息和外观流操作的图像修复方法及系统
CN108364273B (zh) 一种空间域下的多聚焦图像融合的方法
Cho et al. Image Repair and Restoration Using Deep Learning
Ma et al. MHGAN: A Multi-Headed Generative Adversarial Network for Underwater Sonar Image Super-Resolution
Shobi et al. Review on Image Inpainting using Intelligence Mining Techniques.
CN116129036B (zh) 一种深度信息引导的全方向图像三维结构自动恢复方法
Poormajidi et al. Single Image Super-Resolution Enhancement using Luminance Map and Atmospheric Light Removal
Righetto et al. Ancient coins' surface inspection with web-based neural RTI visualization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant