CN112184585B - 一种基于语义边缘融合的图像补全方法及系统 - Google Patents

一种基于语义边缘融合的图像补全方法及系统 Download PDF

Info

Publication number
CN112184585B
CN112184585B CN202011049723.2A CN202011049723A CN112184585B CN 112184585 B CN112184585 B CN 112184585B CN 202011049723 A CN202011049723 A CN 202011049723A CN 112184585 B CN112184585 B CN 112184585B
Authority
CN
China
Prior art keywords
edge
image
representing
model
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011049723.2A
Other languages
English (en)
Other versions
CN112184585A (zh
Inventor
冷聪
李成华
倪浩鹏
蔡逸扬
曾伟键
程健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Original Assignee
Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Nanjing Artificial Intelligence Innovation Research Institute, Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Zhongke Nanjing Artificial Intelligence Innovation Research Institute
Priority to CN202011049723.2A priority Critical patent/CN112184585B/zh
Publication of CN112184585A publication Critical patent/CN112184585A/zh
Application granted granted Critical
Publication of CN112184585B publication Critical patent/CN112184585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于语义边缘融合的图像补全方法及系统，包括以下步骤：步骤1、针对原始输入图像生成语义边缘图；步骤2、分别建立边缘模型和补全模型；步骤3、联合训练步骤2中建立的边缘模型和补全模型；步骤4、将需要修复的破损图像输入至步骤3中训练后的边缘模型和补全模型中重新构建。采用用于图像修复的语义边缘融合模型，该模型通过先产生边缘纹理，再对内容进行着色的方式，替换传统的直接恢复方法，这样可以使得恢复的图像具有更多的细节和更少的噪声；提出了一种端到端可训练网络，该网络结合了边缘生成和图像修补功能以恢复丢失的区域。

Description

一种基于语义边缘融合的图像补全方法及系统
技术领域
本发明涉及一种基于语义边缘融合的图像补全方法及系统，属于G06T：一般的图像数据处理或产生领域，尤其涉及G06T5/00：图像的增强或复原领域。
背景技术
在信息社会中，图像是最重要的信息来源。如何获得更完整，更清晰的图像也已成为计算机视觉领域的热点，相关应用领域包括图像修复和超分辨率。图像修复是指从受损图像中图像信息的其余部分恢复完整图像的技术。对于人眼而言，这并不是一项艰巨的任务，但对于计算机视觉而言，这却是一个相当具有挑战性的任务。这项技术有许多实用方案，例如，图像恢复(用于去除照片划痕和文本遮挡)，照片编辑(去除不需要的目标)，图像编码和传输(图像传输期间的网络)需要使用由数据包丢失引起的图像块内容丢失)。因此，图像修复技术是近年来非常流行的研究领域。
目前，基于深度学习的算法不但可以获得比其他传统修复技术更好的视觉效果，而且能处理更多的缺失类型。生成对抗网络(Generative adversarial net,GAN)的出现进一步推动了这一领域的研究。当前的图像修补技术可以按照步骤分为两类：单阶段补全和双阶段补全。单阶段补全直接进行图像修复，并通过不同类型的模块设计实现此效果。例如将卷积更改为部分卷积，其中卷积被屏蔽并重新规范化为仅以有效像素为条件；又或者是判别网络，以发现变换后的图像和相应的地面真实性之间的差异；还可以共享权重，同时解码粗略输出和精炼输出。双阶段补全则将修补分为两个步骤，第一步是勾勒出整个图像的纹理边缘，第二步是上色。相比之下，单阶段模型的效率较高，但是这种类型的模型将具有在处理大面积空白空间时无法完全修复的问题。双阶段模型更有效，但是需要更多的计算资源。
尽管各种图像修复方法在恢复图像空白都取得了可喜的成果。但在如下几个方面也存在局限性。第一，对于方块蒙版式的图像空白无法获得令人满意的恢复效果，尤其是当方块蒙版面积相对较大或周围信息不多时(类似于图像传输过程终端，导致恢复出的图像少了一部分；或者是在拍照的同时想要拍的物体被遮挡)；第二，如果图像本身尺寸过大，模型运算量会超过显卡上限，但等比缩小这种方案却会丢失很多图像细节。
发明内容
发明目的：本发明的目的在于克服现有技术中的不足，提供一种基于语义边缘融合的图像补全方法。进一步目的是提供一种实现上述方法的系统。
技术方案：一种基于语义边缘融合的图像补全方法，包括以下步骤：
步骤1、针对原始输入图像生成语义边缘图；
步骤2、分别建立边缘模型和补全模型；
步骤3、联合训练步骤2中建立的边缘模型和补全模型；
步骤4、将需要修复的破损图像输入至步骤3中训练后的边缘模型和补全模型中重新构建。
在进一步的实施例中，所述步骤1进一步为：
步骤1-1、提取原始输入图像的边缘，生成图像边缘图；
步骤1-2、将步骤1-1中生成的图像边缘图和已有的语义图像进行融合，生成语义边缘图。
在进一步的实施例中，所述步骤2进一步为：
步骤2-1、本发明设计获取的神经网络为以编码器解码器为基础，将修补程序划分为整个过程，将其分为两个模块：“图像到边缘”和“边缘到图像”，第一阶段构建边缘模型：
式中，表示灰度图，/>表示经过第一阶段生成器后生成的真实图，M表示蒙版图，Cpred表示边缘信息，G1表示第一阶段生成器；
步骤2-2、第一阶段边缘生成器的输入为灰度图、真实图和蒙版图，训练生成器来构造边缘信息。优化函数为：
式中，表示第一阶段生成器的对抗损失，/>表示边缘构造损失，λadv,1表示第一阶段生成器的对抗损失所对应的权重，λFM表示边缘构造损失所对应的权重，/>表示最小化第一阶段生成器，/>表示最大化第一阶段判别器，/>表示第一阶段生成器的损失函数；
步骤2-3、第二阶段构建补全模型，获取第二阶段生成器，第二阶段生成器的输入为第一阶段补全的边缘图Ccomp和原始输入图
式中，G2表示第二阶段生成器，Ipred表示预测图片，表示经过第二阶段生成器后生成的真实图片，Ccomp表示检测轮廓函数。
在进一步的实施例中，所述步骤3进一步为：
步骤3-1、计算边缘模型中第一阶段生成器的对抗损失、以及边缘构造损失：
其中，对抗损失函数进一步如下：
式中，表示真实图片和灰度图求期望、/>表示灰度图和原始图求期望，其余各符号含义同上；
边缘构造损失函数进一步如下：
式中，表示边缘构造损失，Cpred表示边缘信息，Cgt表示原始图片的真实图，D1表示第一阶段判别器，L为预定值，N表示边缘构造迭代次数、取定值；其余各符号含义同上；
步骤3-2、计算补全模型中第二阶段生成器的对抗损失、预测损失、以及结构误差损失：
其中，对抗损失函数进一步如下：
式中，表示第二阶段生成器的对抗损失；/>表示原始输入图和第一阶段补全的边缘图求期望，/>为求期望函数，D2表示第二阶段判别器，其余各符号含义同上；
预测损失函数进一步如下：
式中，表示第二阶段生成器的预测损失，/>表示真实图片矩阵，/>表示预测图片矩阵，||1表示L1范数，其余各符号含义同上；
结构误差损失函数进一步如下：
式中，表示结构误差损失，Igt表示原始真实图片，Ipred表示原始预测图片，/>表示经过第二阶段生成器后生成的真实图片，Ipred表示经过第二阶段生成器后的原始预测图片，其余各符号含义同上；
步骤3-3、通过训练直至优化函数收敛，得到第二阶段补全模型的生成器：
式中，λadv,2,λp分别表示对抗损失、预测损失、以及结构误差损失所对应的权重，其余各符号含义同上。
具体来说，生成器包括一个编码器，该编码器对样本进行两次下采样，然后是八个残差块；以及一个解码器，将图像上采样至原始大小。我们使用扩展因子为2的稀疏卷积代替残差层中的规则卷积。在原始的编码器解码器模型中，所有训练图像的大小均调整为256×256，然后进行训练。但是，在使用的数据集中，图像的平均大小为800×1000，因此我们将输入大小修改为512×512。
在进一步的实施例中，所述步骤4进一步为：
通过我们设计的算法识别蒙版类型，不同的破损蒙版对应不同的图像修复策略，从而实现整体上更好的修复效果：
对于方块蒙版，图像将被调整为三个较小的尺寸，以便获得更多的结构信息并能够通过我们的模型。调整为原始大小后，我们将三张权重不同的图像合成为一张图像；
对于其他蒙版，模型对于小图像的修复效果非常好，如果图像不是很大，我们会让图像直接通过网络进行修复。
有益效果：相比现有技术，本发明具有以下有益效果：
(1)采用用于图像修复的语义边缘融合模型，该模型通过先产生边缘纹理，再对内容进行着色的方式，替换传统的直接恢复方法，这样可以使得恢复的图像具有更多的细节和更少的噪声；提出了一种端到端可训练网络，该网络结合了边缘生成和图像修补功能以恢复丢失的区域。
(2)采用融合框架来应对长方形式的图像缺陷，使得此类缺陷修补后会有更多的边缘纹理信息，避免了细节丢失的问题。
(3)采用了切割输入、合并输出的方式应对大尺寸图像，减少显卡内存消耗。
附图说明
图1为本发明的整体算法流程图。
图2为本发明提出的语义边缘融合流程示意图。
图3为本发明中的边缘模型结构示意图。
图4为本发明中的补全模型结构示意图。
图5为本发明中的切割拼接算法示意图。
图6为本发明中的视觉效果比较图。
其中，图6中第一列为输入图像，第二列为语义图，第三列为原始算法修复后的效果，第四列为本发明所提出的算法修复效果。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
申请人认为，传统的图像修复方法在如下几个方面也存在局限性。第一，对于方块蒙版式的图像空白无法获得令人满意的恢复效果，尤其是当方块蒙版面积相对较大或周围信息不多时(类似于图像传输过程终端，导致恢复出的图像少了一部分；或者是在拍照的同时想要拍的物体被遮挡)；第二，如果图像本身尺寸过大，模型运算量会超过显卡上限，但等比缩小这种方案却会丢失很多图像细节。
为此，申请人提出一种基于语义边缘融合的图像补全方法，并进一步提出一种实现上述方法的系统。首先，我们的方法充分发掘利用了图像中的语义信息和边缘信息，我们将语义信息和边缘信息用算法进行融合，用语义图加强边缘图纹理，用边缘图提升语义图分割精准度。另一方面，一般来说小图像块中包含的信息对于细节恢复来说不够充分，而大图像块又会超出显卡内存上限。因此，我们设定阈值，对大图像进行切块，小图像不做处理送入网络。最后，我们利用多尺度加权融合来灵活处理不同问题，利用小尺寸图像修补出的更多边缘信息和大尺寸图像修补处的更多纹理信息来加权融合，得到最终的补全效果图。
基于语义边缘融合的方法主要针对小尺寸图像。整个网络由两个子模块组成：边缘生成部分和修补部分。第一部分使用蒙版图像生成整个图像的边缘，然后将此边缘图像与蒙版图像一起馈入到修复部分中以生成整个图像。我们的解决方案根据图像的遮罩类型将图像分为三个不同的组。对于方块蒙版，图像将被调整为三个较小的尺寸，以便在各个方面填充细节，并能够使图像通过我们的模型而不会使GPU过载。将输出调整为原始大小后，我们将三张权重不同的图像合并为一张图像。对于带有其他蒙版的大图像，我们将图像切成许多小块，然后将它们输入到我们的模型中。我们将输出放回了原来的位置。因此我们剪切的图片块大小将保持在服务器显存可接受范围内。
所述方法包括如下步骤。如图1所示，是本发明实施例提供一种基于神经网络的图像修补方法流程图，所述方法包括如下步骤：
步骤一：使用不同策略应对不同蒙版类型。
对于方块蒙版，我们将图片调整为128x128、256x256和512x512的大小并将其分别输入到我们的模型中。我们采用比例为3：3：4的加权融合方法，并在三个比例上融合结果以获得结果。对于其他两个蒙版，我们采用补丁切割方法并将补丁输入到我们的网络中。为了提高每个补丁边缘的画内效果，我们裁剪的补丁之间存在重叠。
步骤二：设计神经网络模型。
作为优选方案，本发明设计获取的神经网络为以编码器解码器为基础，将修补程序划分为整个过程，将其分为两个模块：“图像到边缘”和“边缘到图像”。
式中，表示灰度图，/>表示经过第一阶段生成器后生成的真实图，M表示蒙版图，Cpred表示边缘信息，G1表示第一阶段生成器；
第一阶段边缘生成器的输入为灰度图、真实图和蒙版图，训练生成器来构造边缘信息。优化函数为：
式中，表示第一阶段生成器的对抗损失，/>表示边缘构造损失，λadv,1表示第一阶段生成器的对抗损失所对应的权重，λFM表示边缘构造损失所对应的权重，/>表示最小化第一阶段生成器，/>表示最大化第一阶段判别器，/>表示第一阶段生成器的损失函数；
通过训练直至优化函数收敛，得到第一阶段的生成器。
其中：
式中，表示真实图片和灰度图求期望、/>表示灰度图和原始图求期望，其余各符号含义同上；
式中，表示边缘构造损失，Cpred表示边缘信息，Cgt表示原始图片的真实图，D1表示第一阶段判别器，L为预定值，N表示边缘构造迭代次数、取定值；其余各符号含义同上；
第二阶段的生成器的输入为第一阶段补全的边缘图和原始输入。
式中，G2表示第二阶段生成器，Ipred表示预测图片，表示经过第二阶段生成器后生成的真实图片，Ccomp表示检测轮廓函数
其中：
式中，表示第二阶段生成器的对抗损失；/>表示原始输入图和第一阶段补全的边缘图求期望，/>为求期望函数，D2表示第二阶段判别器，其余各符号含义同上；
式中，表示第二阶段生成器的预测损失，/>表示真实图片矩阵，/>表示预测图片矩阵，||1表示L1范数，其余各符号含义同上；
式中，表示结构误差损失，Igt表示原始真实图片，Ipred表示原始预测图片，/>表示经过第二阶段生成器后生成的真实图片，Ipred表示经过第二阶段生成器后的原始预测图片，其余各符号含义同上；
通过训练直至优化函数收敛，得到二阶段补全模型的生成器。
式中，λadv,2,λp分别表示对抗损失、预测损失、以及结构误差损失所对应的权重，其余各符号含义同上。
具体来说，生成器包括一个编码器，该编码器对样本进行两次下采样，然后是八个残差块；以及一个解码器，将图像上采样至原始大小。我们使用扩展因子为2的稀疏卷积代替残差层中的规则卷积。在原始的编码器解码器模型中，所有训练图像的大小均调整为256×256，然后进行训练。但是，在使用的数据集中，图像的平均大小为800×1000，因此我们将输入大小修改为512×512。
步骤三：语义边缘融合策略
语义标签提供了大量有关对象的精确位置、实例差异以及边缘信息的信息。根据此任务，语义指导可确保我们的修复模型对蒙版中的像素进行更好的分类，从而获得更优的修复性能。以下是我们处理语义标签的方法，让修补内容更好地适合基于边缘连接的模型。
在此模型中，语义标签被视为生成网络的边缘增强收缩。对于一个语义图像，我们首先将其分为三个通道，并使用Canny算子获得对应边缘图。之后，我们以此指导图将三通道边缘图加在一起并进行二进制运算，以增强边缘的性能。原始语义图将转换为灰度图。最后，灰度图将语义标签处理为类似于蒙版的函数，这能使得灰度图中的实例得到了显着增强，总体融合流程图如图2所示。
这种将语义信息和边缘信息融合在一起的指导，具有优于原始语义标签的优势。考虑到边缘特征，语义边缘合并标签具有更强的表达，使它的性能优于编码器模型。它可以在两个生成器上表现其独特的功能，分别与边缘生成和图像生成有关。其次，这些标签被压缩到单个通道中，其结构就像原始的边缘标签一样，但是为实例提供了更多信息。因此，由于语义标签显示该区域中的像素属于同一实例，因此可以提高单色区域的修复性能。
步骤四：多尺度融合处理
尽管编码器模型比以前的单级网络可以实现更好的修复效果，但是此框架仍然存在一些问题：在三种常见的蒙版类型中，噪声和涂鸦类型的破损更容易修复，因为有足够的边缘信息在空白区域周围，但是在大的矩形蒙版中，修复效果通常不容乐观。原因是边缘模型不能过多地渗透到空白区域，从而导致中间区域的边缘信息不足。为了解决该问题，我们提出了多尺度融合框架，以帮助边缘生成模型在空白区域中生成足够的边缘。
我们提出的多尺度融合框架设计为图3和图4。在边缘生成模型中，我们将灰度，语义边缘和蒙版的大小调整为128×128、256×256和512×512，并将这三种大小分别发送到模型中。最后，我们将三个结果调整为原始大小并对其加权(加权因子为0.3：0.3： 0.4)，以获得最终的边缘图。在图像生成模型中，我们将语义标签应用于另一个同尺寸、同深度网络，并将特征映射连接到编码器和解码器的每个卷积层。
步骤五：实现修复过程
通过我们设计的算法识别蒙版类型，不同的破损蒙版对应不同的图像修复策略，从而实现整体上更好的修复效果
对于方块蒙版，图像将被调整为三个较小的尺寸，以便获得更多的结构信息并能够通过我们的模型。调整为原始大小后，我们将三张权重不同的图像合成为一张图像。
对于其他蒙版，模型对于小图像的修复效果非常好，如果图像不是很大，我们会让图像直接通过网络进行修复。
由于图像尺寸以及算力的限制，使用的最大GPU内存为11G。一旦图像大小超过2000×2000，就无法顺利通过网络(即使是单次输入)。对于带有其他蒙版的大图像，我们将图像切成许多小块，然后让它们一张一张地传递模型。切割算法如图5所示。最终，我们将它们放回了原来的位置。因此，我们裁剪的小块将会在服务器GPU显存的接受范围内，视觉效果如图6所示。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (8)

1.一种基于语义边缘融合的图像补全方法，其特征是包括以下步骤：
步骤1、针对原始输入图像生成语义边缘图；
步骤1-1、提取原始输入图像的边缘，生成图像边缘图；
步骤1-2、将步骤1-1中生成的图像边缘图和已有的语义图像进行融合，生成语义边缘图；
步骤2、分别建立边缘模型和补全模型；
步骤3、联合训练步骤2中建立的边缘模型和补全模型；
步骤4、将需要修复的破损图像输入至步骤3中训练后的边缘模型和补全模型中重新构建；
步骤4-1、对于方块蒙版，图像将被调整为三个预定尺寸，以便获得更多的结构信息、并能够通过步骤3训练后的模型；调整为原始大小后，将三张权重不同的图像合成为一张图像；
步骤4-2、对于其他蒙版，采用补丁切割方法并将补丁输入到步骤3训练后的模型中，其中裁剪的补丁之间存在重叠。
2.根据权利要求1所述的一种基于语义边缘融合的图像补全方法，其特征在于，所述步骤2进一步为：
步骤2-1、将边缘模型划分为图像到边缘、边缘到图像两个模块，第一阶段构建边缘模型：
；
式中，表示灰度图，/>表示经过第一阶段生成器后生成的真实图，M表示蒙版图，表示边缘信息，/>表示第一阶段生成器；
步骤2-2、构建边缘模型优化函数：
；
式中，表示第一阶段生成器的对抗损失，/>表示边缘构造损失，/>表示第一阶段生成器的对抗损失所对应的权重，/>表示边缘构造损失所对应的权重，/>表示最小化第一阶段生成器，/>表示最大化第一阶段判别器，/>表示第一阶段生成器的损失函数；
步骤2-3、第二阶段构建补全模型，获取第二阶段生成器，第二阶段生成器的输入为第一阶段补全的边缘图和原始输入图/>：
；
式中，表示第二阶段生成器，/>表示预测图片，/>表示经过第二阶段生成器后生成的真实图片，/>表示检测轮廓函数。
3.根据权利要求2所述的一种基于语义边缘融合的图像补全方法，其特征在于，所述步骤3进一步为：
步骤3-1、计算边缘模型中第一阶段生成器的对抗损失、以及边缘构造损失：
其中，对抗损失函数进一步如下：
；
式中，表示真实图片和灰度图求期望、/>表示灰度图和原始图求期望，其余各符号含义同上；
边缘构造损失函数进一步如下：
；
式中，表示边缘构造损失，/>表示边缘信息，/>表示原始图片的真实图，/>表示第一阶段判别器，L为预定值，N表示边缘构造迭代次数、取定值；其余各符号含义同上；
步骤3-2、计算补全模型中第二阶段生成器的对抗损失、预测损失、以及结构误差损失：
其中，对抗损失函数进一步如下：
；
式中，表示第二阶段生成器的对抗损失；/>表示原始输入图和第一阶段补全的边缘图求期望，/>为求期望函数，/>表示第二阶段判别器，其余各符号含义同上；
预测损失函数进一步如下：
；
式中，表示第二阶段生成器的预测损失，/>表示真实图片矩阵，/>表示预测图片矩阵，/>表示L1范数，其余各符号含义同上；
结构误差损失函数进一步如下：
；
式中，表示结构误差损失，/>表示原始真实图片，/>表示原始预测图片，/>表示经过第二阶段生成器后生成的真实图片，/>表示经过第二阶段生成器后的原始预测图片，其余各符号含义同上；
步骤3-3、通过训练直至优化函数收敛，得到第二阶段补全模型的生成器：
；
式中，分别表示对抗损失、预测损失、以及结构误差损失所对应的权重，其余各符号含义同上。
4.一种实现上述权利要求1~3中任一项所述方法的图像补全系统，其特征在于，包括以下模块：
针对原始输入图像生成语义边缘图的语义边缘生成模块；
用于分别建立边缘模型和补全模型的模型构建模块；
用于联合训练所述模型构建模块所建立的边缘模型和补全模型的联合训练模块；
用于将需要修复的破损图像输入至经过所述联合训练模块训练后的边缘模型和补全模型中重新构建的图像重构模块。
5.根据权利要求4所述的图像补全系统，其特征在于，所述语义边缘生成模块中内置图像融合模块，所述语义边缘生成模块进一步用于提取原始输入图像的边缘并生成图像边缘图，并将边缘图和已有的语义图利用所述图像融合模块进行融合并生成语义边缘图；
所述模型构建模块内置有映射模块，所述模型构建模块进一步用于将原图、语义边缘图、掩膜图分别输入进边缘模型和补全模型，并利用所述映射模块学习生成图像边缘信息映射和进行图像着色映射；
所述联合训练模块进一步用于联合训练边缘模型和补全模型，利用边缘模型生成的边缘图作为补全模型的输入边缘图，将训练集和验证集放入模型进行训练，训练整个模型直至结构损失函数收敛；
所述图像重构模块内置有最终修复模块，所述图像重构模块进一步用于将需要修复的破损图像利用联合训练模块学习到的模型进行图像补全，并经过所述最终修复模块重建得到修复完成的图像。
6.根据权利要求4所述的图像补全系统，其特征在于：所述语义边缘生成模块进一步用于提取原始输入图像的边缘，生成图像边缘图，将生成的图像边缘图和已有的语义图像进行融合，生成语义边缘图；
所述模型构建模块进一步用于将边缘模型划分为图像到边缘、边缘到图像两个模块，第一阶段构建边缘模型：
；
式中，表示灰度图，/>表示经过第一阶段生成器后生成的真实图，M表示蒙版图，表示边缘信息，/>表示第一阶段生成器；
进一步构建边缘模型优化函数：
；
式中，表示第一阶段生成器的对抗损失，/>表示边缘构造损失，/>表示第一阶段生成器的对抗损失所对应的权重，/>表示边缘构造损失所对应的权重，/>表示最小化第一阶段生成器，/>表示最大化第一阶段判别器，/>表示第一阶段生成器的损失函数；
采用第二阶段构建补全模型，获取第二阶段生成器，第二阶段生成器的输入为第一阶段补全的边缘图和原始输入图/>：
；
式中，表示第二阶段生成器，/>表示预测图片，/>表示经过第二阶段生成器后生成的真实图片，/>表示检测轮廓函数。
7.根据权利要求4所述的图像补全系统，其特征在于：所述联合训练模块进一步用于计算边缘模型中第一阶段生成器的对抗损失、以及边缘构造损失：
其中，对抗损失函数进一步如下：
；
式中，表示真实图片和灰度图求期望、/>表示灰度图和原始图求期望，其余各符号含义同上；
边缘构造损失函数进一步如下：
；
式中，表示边缘构造损失，/>表示边缘信息，/>表示原始图片的真实图，/>表示第一阶段判别器，L为预定值，N表示边缘构造迭代次数、取定值；其余各符号含义同上；
计算补全模型中第二阶段生成器的对抗损失、预测损失、以及结构误差损失：
其中，对抗损失函数进一步如下：
；
式中，表示第二阶段生成器的对抗损失；/>表示原始输入图和第一阶段补全的边缘图求期望，/>为求期望函数，/>表示第二阶段判别器，其余各符号含义同上；
预测损失函数进一步如下：
；
式中，表示第二阶段生成器的预测损失，/>表示真实图片矩阵，/>表示预测图片矩阵，/>表示L1范数，其余各符号含义同上；
结构误差损失函数进一步如下：
；
式中，表示结构误差损失，/>表示原始真实图片，/>表示原始预测图片，/>表示经过第二阶段生成器后生成的真实图片，/>表示经过第二阶段生成器后的原始预测图片，其余各符号含义同上；
通过训练直至优化函数收敛，得到第二阶段补全模型的生成器：
；
式中，分别表示对抗损失、预测损失、以及结构误差损失所对应的权重，其余各符号含义同上。
8.根据权利要求4所述的图像补全系统，其特征在于：所述图像重构模块进一步判断当前图像蒙版，对于方块蒙版，图像将被调整为三个预定尺寸，以便获得更多的结构信息、并能够通过步骤3训练后的模型；调整为原始大小后，将三张权重不同的图像合成为一张图像；对于其他蒙版，采用补丁切割方法并将补丁输入到步骤3训练后的模型中，其中裁剪的补丁之间存在重叠。
CN202011049723.2A 2020-09-29 2020-09-29 一种基于语义边缘融合的图像补全方法及系统 Active CN112184585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011049723.2A CN112184585B (zh) 2020-09-29 2020-09-29 一种基于语义边缘融合的图像补全方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011049723.2A CN112184585B (zh) 2020-09-29 2020-09-29 一种基于语义边缘融合的图像补全方法及系统

Publications (2)

Publication Number Publication Date
CN112184585A CN112184585A (zh) 2021-01-05
CN112184585B true CN112184585B (zh) 2024-03-29

Family

ID=73947012

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011049723.2A Active CN112184585B (zh) 2020-09-29 2020-09-29 一种基于语义边缘融合的图像补全方法及系统

Country Status (1)

Country Link
CN (1) CN112184585B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700388B (zh) * 2021-01-11 2022-08-12 清华大学 图像修复方法和装置
CN112396069B (zh) * 2021-01-20 2021-04-13 深圳点猫科技有限公司 基于联合学习的语义边缘检测方法、装置、系统及介质
CN113256527A (zh) * 2021-05-31 2021-08-13 广东联通通信建设有限公司 一种图像修复方法及装置
CN113781309B (zh) * 2021-09-17 2024-06-28 北京金山云网络技术有限公司 图像处理方法、装置及电子设备
CN114549369B (zh) * 2022-04-24 2022-07-12 腾讯科技（深圳）有限公司 数据修复方法、装置、计算机及可读存储介质
CN116485802B (zh) * 2023-06-26 2024-01-26 广东电网有限责任公司湛江供电局 一种绝缘子闪络缺陷检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448164B1 (ko) * 2013-04-22 2014-10-14 금오공과대학교 산학협력단 파라미터 최적화를 이용한 영상의 안개 제거 방법
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法
CN110717863A (zh) * 2019-08-16 2020-01-21 天津大学 一种基于生成对抗网络的单图像去雪方法
CN110738207A (zh) * 2019-09-10 2020-01-31 西南交通大学 一种融合文字图像中文字区域边缘信息的文字检测方法
CN111062924A (zh) * 2019-12-17 2020-04-24 腾讯科技（深圳）有限公司 图像处理方法、装置、终端和存储介质
CN111445948A (zh) * 2020-03-27 2020-07-24 武汉古奥基因科技有限公司 一种利用Hi-C进行多倍体鱼类的染色体构建方法
WO2020172188A1 (en) * 2019-02-19 2020-08-27 Cedars-Sinai Medical Center Systems and methods for calcium-free computed tomography angiography

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410353B2 (en) * 2017-05-18 2019-09-10 Mitsubishi Electric Research Laboratories, Inc. Multi-label semantic boundary detection system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101448164B1 (ko) * 2013-04-22 2014-10-14 금오공과대학교 산학협력단 파라미터 최적화를 이용한 영상의 안개 제거 방법
CN109559287A (zh) * 2018-11-20 2019-04-02 北京工业大学 一种基于DenseNet生成对抗网络的语义图像修复方法
WO2020172188A1 (en) * 2019-02-19 2020-08-27 Cedars-Sinai Medical Center Systems and methods for calcium-free computed tomography angiography
CN110717863A (zh) * 2019-08-16 2020-01-21 天津大学 一种基于生成对抗网络的单图像去雪方法
CN110738207A (zh) * 2019-09-10 2020-01-31 西南交通大学 一种融合文字图像中文字区域边缘信息的文字检测方法
CN110689495A (zh) * 2019-09-25 2020-01-14 安徽信息工程学院 一种深度学习的图像修复方法
CN111062924A (zh) * 2019-12-17 2020-04-24 腾讯科技（深圳）有限公司 图像处理方法、装置、终端和存储介质
CN111445948A (zh) * 2020-03-27 2020-07-24 武汉古奥基因科技有限公司 一种利用Hi-C进行多倍体鱼类的染色体构建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AIM 2020 challenge on image extreme inpainting;Ntavelis E等;《omputer Vision–ECCV 2020 Workshops》;20210130;716-741 *
Edgeconnect: Generative image inpainting with adversarial edge learning;Nazeri K等;《arXiv:1901.00212v3》;20191101;1-17 *
Edgeconnect: Structure guided image inpainting using edge prediction;Nazeri K等;《Proceedings of the IEEE/CVF international conference on computer vision workshops》;20200305;3265-3274 *

Also Published As

Publication number Publication date
CN112184585A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
CN112184585B (zh) 一种基于语义边缘融合的图像补全方法及系统
CN113240613B (zh) 一种基于边缘信息重建的图像修复方法
US10896535B2 (en) Real-time avatars using dynamic textures
CN108520503B (zh) 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法
Iizuka et al. Globally and locally consistent image completion
CN111047522B (zh) 一种基于边缘生成的图像修复方法
CN113658051A (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
Zheng et al. T-net: Deep stacked scale-iteration network for image dehazing
Lee et al. Robust exemplar-based inpainting algorithm using region segmentation
US12148129B2 (en) Image dehazing method and system based on cyclegan
Thasarathan et al. Automatic temporally coherent video colorization
CN110675339A (zh) 基于边缘修复和内容修复的图像修复方法及系统
CN111275778A (zh) 人脸简笔画生成方法及装置
CN115205544A (zh) 一种基于前景参考图像的合成图像和谐化方法及系统
CN116703757A (zh) 一种基于背景引导的文本图像阴影消除方法
CN116051593A (zh) 服装图像提取方法及其装置、设备、介质、产品
CN116740324A (zh) 一种双路结构的点云补全系统及方法
CN118314267A (zh) 一种用于三维地图重建的纹理重映射过程阴影去除的方法
Gao A method for face image inpainting based on generative adversarial networks
Liu et al. Facial image inpainting using multi-level generative network
Salem et al. A novel face inpainting approach based on guided deep learning
CN115496843A (zh) 一种基于gan的局部写实感漫画风格迁移系统及方法
CN111047571A (zh) 一种具有自适应选择训练过程的图像显著目标检测方法
CN115115537B (zh) 一种基于掩码训练的图像修复方法
CN113298092B (zh) 用于多层次图像轮廓信息提取的神经网络训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant after: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Applicant before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Applicant before: NANJING ARTIFICIAL INTELLIGENCE CHIP INNOVATION INSTITUTE, INSTITUTE OF AUTOMATION, CHINESE ACADEMY OF SCIENCES

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20241210

Address after: 211100 floor 3, building 3, Qilin artificial intelligence Industrial Park, 266 Chuangyan Road, Nanjing, Jiangsu

Patentee after: Zhongke Nanjing artificial intelligence Innovation Research Institute

Country or region after: China

Address before: Room 203b, building 3, artificial intelligence Industrial Park, 266 Chuangyan Road, Qilin science and Technology Innovation Park, Jiangning District, Nanjing City, Jiangsu Province, 211000

Patentee before: Zhongke Fangcun Zhiwei (Nanjing) Technology Co.,Ltd.

Country or region before: China

Patentee before: Zhongke Nanjing artificial intelligence Innovation Research Institute