CN111583159B - 一种图像补全方法、装置及电子设备 - Google Patents

一种图像补全方法、装置及电子设备 Download PDF

Info

Publication number
CN111583159B
CN111583159B CN202010473729.6A CN202010473729A CN111583159B CN 111583159 B CN111583159 B CN 111583159B CN 202010473729 A CN202010473729 A CN 202010473729A CN 111583159 B CN111583159 B CN 111583159B
Authority
CN
China
Prior art keywords
image
complemented
complement
sub
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010473729.6A
Other languages
English (en)
Other versions
CN111583159A (zh
Inventor
贺沁雯
李果
汪贤
鲁方波
樊鸿飞
蔡媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010473729.6A priority Critical patent/CN111583159B/zh
Publication of CN111583159A publication Critical patent/CN111583159A/zh
Application granted granted Critical
Publication of CN111583159B publication Critical patent/CN111583159B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0021—Image watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种图像补全方法、装置及电子设备。其中，所述方法包括：针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示同一种内容且缺失图像信息的子区域；融合所述多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果。可以提高补全结果的视觉效果。

Description

一种图像补全方法、装置及电子设备
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像补全方法、装置及电子设备。
背景技术
出于一些原因，图像中部分像素点的图像信息可能丢失，例如图像中可能添加有水印，水印会遮挡住图片中的部分区域，导致这些区域的像素点的图像信息丢失，影响图像的视觉效果。相关技术中，可以利用深度学习得到的图像补全模型对图像中缺失的图像信息进行补全。
图像补全模型的工作原理为根据缺失图像信息的像素点附近的未缺失的图像信息类推得到这些像素点的图像信息。但是图像中部分区域的颜色、纹理可能和图像中其他区域的颜色、纹理存在较大区别，使用相同的类推方式在该部分区域和该其他区域进行类推，可能导致该部分区域和该其他区域中至少一个区域类推得到的图像信息和该区域实际的图像信息差别较大。
因此，如果图像中缺失图像信息的区域同时存在于该部分区域和该其他区域，则利用图像补全模型对该图像进行补全后得到的补全图像可能和该图像理论上补全后得到的图像差别较大，导致补全图像的视觉效果较差。
发明内容
本发明实施例的目的在于提供一种图像补全方法、装置及电子设备，以实现提高得到的补全结果的视觉效果。具体技术方案如下：
在本发明实施例的第一方面，提供了一种图像补全方法，所述方法包括：
针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示一种内容且缺失图像信息的子区域；
融合所述多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果。
在一种可能的实施例中，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
在一种可能的实施例中，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
在一种可能的实施例中，所述待补全子区域通过以下方式确定：
按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，确定所述内容子区域与待补全图像区域的重叠区域，作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域。
在一种可能的实施例中，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的；
所述针对每个内容子区域，确定所述内容子区域与待补全图像区域的重叠区域，作为待补全子区域，包括：
针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域。
在一种可能的实施例中，所述图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述图像补全模型。
在一种可能的实施例中，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述待补全子区域通过以下方式确定：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
在本发明实施例的第二方面，提供了一种图像补全装置，所述装置包括：
区域补全模块，用于针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示一种内容且缺失图像信息的子区域；
融合输出模块，用于融合所述多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果。
在一种可能的实施例中，所述区域补全模块，具体用于针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
在一种可能的实施例中，所述区域补全模块，具体用于将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
在一种可能的实施例中，所述装置还包括内容分析模块，用于按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，确定所述内容子区域与所述待补全图像区域的重叠区域，作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域。
在一种可能的实施例中，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的；
所述内容分析模块，具体用于针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域。
在一种可能的实施例中，所述装置还包括模型训练模块，用于预先通过以下方式训练得到所述图像补全模型：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至满足预设训练结束条件，得到所述图像补全模型。
在一种可能的实施例中，所述模型训练模块，所述模型训练模块，还用于在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述模型训练模块，具体用于基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述装置还包括：
确定模块，用于通过以下方式确定待补全子区域：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
在本发明实施例的第三方面，提供了一种电子设备，包括：
计算机可读存储介质，用于存放计算机程序；
处理器，用于执行所述计算机可读存储介质上所存放的程序时，实现上述第一方面任一所述的方法步骤。
本发明实施例提供的图像补全方法、装置及电子设备，可以按照内容对缺失图像信息的待补全图像区域进行分区域处理，根据每个区域所表示内容有针对性的利用合适的图像补全模型对该区域进行补全，使得各个待补全子区域的补全结果能够与该待补全子区域所丢失的图像信息更加接近，从而整体上提高待补全图像的补全结果的视觉效果。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的包含多种内容的图像的一种示意图；
图1b为本发明实施例提供的带有水印的图像的一种示意图；
图2为本发明实施例提供的图像补全方法的一种流程示意图；
图3为本发明实施例提供的图像补全模型生成方法的一种流程示意图；
图4为本发明实施例提供的图像补全模型生成方法的另一种流程示意图；
图5a为本发明实施例提供的图像补全装置的一种结构示意图；
图5b为本发明实施例提供的图像补全装置的另一种结构示意图；
图5c为本发明实施例提供的图像补全装置的另一种结构示意图；
图5d为本发明实施例提供的图像补全装置的另一种结构示意图；
图6为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了对本发明实施例提供的图像补全方法更清楚的进行说明，下面将对本发明实施例提供的图像补全方法的一种可能的应用场景进行说明。可以理解的是，下文中对应用场景的说明仅是一种示例性的说明，本发明实施例提供的图像补全方法也可以应用于其他可能的应用场景，该示例对此不做限制。
图像可能因多种原因导致丢失其中部分像素点的图像信息，例如图像中被添加水印、又例如在拍摄该图像时因障碍物阻挡导致部分像素点表示的为障碍物，而非想拍摄的对象、又例如在后期处理过程中部分像素点的图像信息被删除等。丢失的图像信息会影响用户观看图像时的体验，造成图像的视觉效果较差。因此，需要补全所丢失的图像信息。
为描述方便，下面将以因添加水印导致图像信息丢失为例进行说明，对于因其他原因导致图像信息丢失的情况原理是相同的，因此不再赘述。图像中水印所处的图像区域(下文称水印覆盖区域)即为图像中缺失图像信息的图像区域。相关技术中，可以利用经过深度学习得到的图像补全模型对带有水印的图像进行处理，以对图像中水印覆盖区域的图像进行补全，得到不带有水印的图像。
但是，一些图像中不同区域可能表示不同的内容，例如图像中部分区域表示人员，其他区域表示背景。示例性的，可以参见图1a，图1a所示为本发明实施例提供的包含多种内容的图像的一种示意图，该图像中同时包括表示人员的人员区域和表示背景的背景区域。不同应用场景中，内容的分类也可以不同。在该示例中，将人员和背景划分为两种不同的内容，并将风景划分至背景中，在其他可能的实施例中，也可以将人员和背景划分相同的内容，本实施例对此不做限制。
如果水印覆盖区域较大，跨越了表示不同内容的区域，如图1b所示，图1b所示为本发明实施例提供的带有水印的图像的一种示意图，图中添加有“水印”字样的水印，该水印覆盖区域跨越了人员区域和背景区域。由于图像补全模型的工作原理为根据缺失图像信息的像素点附近的未缺失的图像信息类推得到这些像素点的图像信息。而人员区域和背景区域由于所表示的内容不同，因此颜色、纹理可能存在较大区别，因此使用相同的图像补全模型对该图像中的水印覆盖区域进行补全，可能导致水印覆盖区域与人员区域重叠的部分和/或水印覆盖区域与背景区域重叠的部分的补全结果的视觉效果较差。
有鉴于此，本发明实施例提供了一种图像补全方法，可以参加图2，图2所示为本发明实施例提供的图像补全方法的一种流程示意图，可以包括：
S201，针对待补全图像中的每个待补全子区域，调用预先针对该待补全子区域所表示的内容设置的图像补全模型，对该待补全子区域缺失的图像信息进行补全，得到该待补全子区域的补全结果。
S202，融合多个待补全子区域中每个待补全子区域的补全结果，得到待补全图像的补全结果。
选用该实施例，可以按照内容对缺失图像信息的待补全图像区域进行分区域处理，根据每个区域所表示内容有针对性的利用合适的图像补全模型对该区域进行补全，使得各个待补全子区域的补全结果能够与该待补全子区域所丢失的图像信息更加接近，从而整体上提高待补全图像的补全结果的视觉效果。
其中，在S201中待补全子区域为待补全图像中表示同一种内容且缺失图像信息的子区域。
每个待补全子区域所表示的内容相同，不同待补全子区域所表示的内容可以相同也可以不同。由于不同实施例中，内容的分类可能各不相同，为描述方便，假设内容被划分为三种类别，人脸、肢体、背景。则可以是将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，将待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域，将待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。其中，待补全图像区域为待补全图像中缺失图像信息的区域。
待补全图像缺失图像信息的原因根据实际情况的不同可以不同，本实施例对此不做限制。根据导致缺失图像信息的原因的不同，确定待补全图像区域的方式也可以不同。
示例性的，假设是因为添加水印导致缺失图像信息，则可以是MSER(MaximallyStable Extremal Regions，最大稳定极值区域)算法确定待补全图像区域，也可以利用预先训练得到的用于检测水印覆盖区域的模型检测待补全图像区域，该模型可以是基于深度学习得到的神经网络模型，也可以是基于传统机器学习得到的算法模型，本实施例对此不做限制。
如果所添加的水印为文字水印，如图1b所示，则可以利用SWT(Stroke WidthTransform，笔画宽度变化)算法或其他用于检测文字的算法检测待补全图像中存在文字的图像区域作为待补全图像区域。
前述人脸、肢体、背景可以根据实际需求进行定义，在一种可能的示例中，人脸是指人员的脸部，肢体为人员除脸部外其他身体部位，背景为人员以外的其他内容。关于如何确定所表示的内容将在后续的实施例中进行说明，再次在不再赘述。
在一种可能的实施例中，可以是按照待补全图像所表示的内容，将待补全图像划分为多个内容子区域，其中，每个内容子区域表示待补全图像中的一种内容。针对每个内容子区域，确定该内容子区域与待补全图像区域的重叠区域，作为待补全子区域。示例性的，以待补全图像为图1b所示的图像为例，可以是将待补全图像划分为表示人脸的内容子区域(下文称人脸子区域)、表示肢体的内容子区域(下文称肢体子区域)以及表示背景的内容子区域(下文称背景子区域)。
人脸子区域与待补全图像区域的重叠区域即为待补全图像区域中表示人脸的待补全子区域，肢体子区域与待补全图像区域的重叠区域即为待补全图像区域中表示肢体的待补全子区域，背景子区域与待补全图像区域的重叠区域即为待补全图像区域中表示背景的待补全子区域。
在一种可能的实施例中，人脸子区域可以是通过人脸检测算法确定得到的，肢体子区域可以是通过肢体检测算法确定得到的，待补全图像中除人脸子区域和肢体子区域外的其他区域即为背景子区域。
在另一种可能的实施例中，可以根据待补全图像中保留的人员图像信息进行人体建模，以确定待补全图像中的人脸子区域和肢体子区域。待补全图像中除人脸子区域和肢体子区域外的其他区域即为背景子区域。
可以理解的是，图像中的一个区域为图像中一个或多个像素点的集合，因此在一种可能的实施例中，可以是通过蒙版的方式表示待补全图像中的区域、子区域。蒙版可以是与待补全图像尺寸相同的二值图像，例如，假设待补全图像的尺寸为1920*1080，则蒙版的尺寸同样为1920*1080。
蒙版中每个像素点的像素值为1或0。对于蒙版中的每个像素点，如果待补全图像中与该像素点位置相同的像素点属于该蒙版所表示的区域，则蒙版中的该像素点的像素值为1，如果待补全图像中与该像素点位置相同的像素点不属于该蒙版所表示的区域，则蒙版中的该像素点的像素值为0。
在通过蒙版表示区域、子区域的实施例中，可以是针对每个内容子区域，将用于表示该内容子区域的蒙版与用于表示待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在待补全图像中所表示的区域作为待补全子区域。示例性的，可以是将用于表示人脸子区域的蒙版，与用于表示待补全图像区域的蒙版叠加，叠加后得到的蒙版所表示的区域即为待补全图像区域中表示人脸的待补全子区域。
在S201中，可以是将待补全图像输入至图像补全模型中，也可以是将待补全图像的部分图像输入至图像补全模型中。
示例性，在一种可能的实施例中，可以是针对待补全图像中的每个待补全子区域，将该待补全子区域中的图像输入至预先针对该待补全子区域所表示的内容设置的图像补全模型，得到该图像补全模型输出的该待补全子区域的补全结果。例如以用于表示人脸的待补全子区域为例，可以是对待补全图像进行裁剪以获取待补全图像中的人脸图像，并将人脸图像输入至图像补全模型，其中人脸图像为待补全图像中以该待补全子区域为中心向外延伸预设数目个像素形成的区域内的图像，以使得图像补全模型对人脸图像进行补全，从而得到该待补全子区域的补全结果。
在另一种可能的实施例中，也可以是将待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到多个图像补全模型输出的已补全图像。针对待补全图像中的每个待补全子区域，获取针对该待补全子区域所对应的已补全图像中与该待补全子区域对应区域内的图像，作为该待补全子区域的补全结果，其中，待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。例如，仍以用于表示人脸的待补全子区域为例，可以是将待补全图像和用于表示该子区域的蒙版输入至针对人脸设置的图像补全模型，以使得该图像补全模型对所输入的图像中所输入的蒙版所表示的区域内的图像进行补全，从而得到该该待补全子区域的补全结果。
针对一个内容设置的图像补全模型，为对表示该内容的图像进行补全时准确率较高的图像补全模型。例如，针对人脸设置的图像补全模型，为对人脸图像进行补全时准确率较高的图像补全模型。该图像补全模型可以是基于深度学习训练得到的卷积神经网络(Convolutional Neural Networks，CNN)。
该图像补全模型的生成方式根据应用场景的不同可以不同，本实施例对此不做限制。下文将对该图像补全模型可能的生成方式进行示例性的说明，在其他可能的实施例中，也可以通过这些示例以外的其他方式生成图像补全模型，本实施例对此不做限制。
在S202中，可以是从待补全图像中提取没有缺失图像信息的子区域(下文称背景区域)的图像，即从待补全图像中提取不属于任一待补全子区域的区域内的图像，将背景区域的图像与每个待补全子区域的补全结果融合在一起得到待补全图像的补全结果。
融合的方式可以是：对于融合得到的图像中的任一像素点，如果该像素点对应于待补全图像中背景区域的像素点，则该像素点的取值等于背景区域图像中对应的像素点的像素值，如果该像素点对应于待补全图像中待补全子区域的像素点，则该像素点的取值等于该待补全子区域的补全结果中对应的像素点的像素值。
可以参加图3，图3所示为本发明实施例提供的图像补全模型生成方法的一种流程示意图，可以包括：
S301，获取原始样本图像和缺失样本图像。
其中，原始样本图像中包括图像补全模型所针对的内容，缺失样本图像为原始样本图像中用于表示该内容的部分图像信息丢失后的图像。示例性的，假设该图像补全模型所针对的内容为人脸，则原始样本图像中应当包括人脸，并且原始样本图像为没有缺失图像信息的图像。缺失样本图像为原始样本图像中部分表示人脸的像素点的像素值丢失后形成的图像，例如可以是在原始样本图像中表示人脸的图像区域内添加水印以得到缺失样本图像。
S302，将缺失样本图像输入至预设生成模型，得到预设生成模型输出的补全图像。
预设生成模型的模型参数可以是预先经过一定次数的训练得到的，也可以是人工设置的初始参数，本实施例对此不做限制。
S303，基于补全图像与原始样本图像的差异构建第一损失函数。
损失函数的构建方式可以根据实际需求进行选择，本实施例对此不做限制。
S304，基于第一损失函数，调整预设生成模型的模型参数，直至第一损失函数收敛，得到图像补全模型。
可以是利用梯度下降法，向着最小化第一损失函数的方向调整预设生成模型的模型参数，以得到图像补全模型。第一损失函数收敛的条件根据应用场景的不同可以不同，示例性的，可以是指第一损失函数的收敛性达到预设阈值，也可以是已经用于训练的缺失样本图像的数量达到预设数量阈值。
选用该实施例，可以有效针对特定内容，生成相应的图像补全模型，以提高所生成的图像补全模型在补全该用于表示该内容的图像时的性能，进而整体提高待补全图像的补全结果的视觉效果。
训练得到的图像补全模型用于实现由缺失图像到完整图像的映射，因此图像补全模型所表示的映射与缺失图像到完整图像的真实映射越接近，则该图像补全模型得到的补全结果越准确。而训练可以视为拟合该真实映射的一个过程，该过程往往受到初值的影响，即受到预设生成模型的影响。如果预设生成模型所表示的映射与该真实映射越相似，则训练得到的图像补全模型所表示的映射，理论上越接近于该真实映射。例如，假设真实映射满足高斯函数，且当预设生成模型满足高斯函数时训练得到的图像补全模型，在不考虑其他因素的影响下理论上相比于当预设生成模型满足逻辑斯蒂函数时训练得到的图像补全模型更加接近真实映射。
但是，一些真实映射所满足的函数难以预先确定，因此可能无法选择合适的模型作为预设生成模型，导致训练得到的图像补全模型与真实映射相差较大，因此补全结果的视觉效果较差。
有鉴于此，在一种可能的实施例中，可以参加图4，图4所示为本发明实施例提供的图像补全模型生成方法的另一种流程示意图，可以包括：
S401，获取原始样本图像和缺失样本图像。
该步骤与S301相同，可以参见前述S301的相关描述，在此不再赘述。
S402，将缺失样本图像输入至预设生成模型，得到预设生成模型输出的补全图像。
该步骤与S302相同，可以参见前述S302的相关描述，在此不再赘述。
S403，将原始样本图像或补全图像输入至预设判别模型，得到预设判别模型输出的判别结果。
可以是以随机顺序依次输入图像，每次输入的图像为原始样本图像或补全图像。其中，判别结果用于表示输入的图像是否为经过补全的图像。预设判别模型可以是二分类模型，示例性的，预设判别模型的输出可以为0或者1,1表示所输入的图像为未经过补全的图像(下文称真实图像)，0表示所输入的图像为经过补全的图像。预设判别模型的输出也可以是取值为[0,1]内的任一实数，该实数表示所输入的图像为真实图像(或者经过补全的图像)的置信度，当该实数大于0.5时可以认为输入结果表示所输入的图像为真实图像，当该实数小于0.5时可以认为输入结果表示所输入的图像为经过补全的图像。当该实数等于0.5时，输入结果所表示的含义可以根据应用场景的不同而不同，本实施例对此不做限制。
S404，根据判别模型输出的判别结果的准确程度构建第二损失函数。
原始样本图像为真实图像，补全图像为经过补全的图像，因此当输入的为补全图像时，如果判别模型输出的判别结果表示补全图像为经过补全的图像，则可以认为判别模型输出的判别结果准确，如果判别模型输出的判别结果表示补全图像为真实图像，则可以认为判别模型输出的判别结果不准确。当输入的为原始样本图像时，如果判别模型输出的判别结果表示原始样本图像为经过补全的图像，则可以认为判别模型输出的判别结果不准确，如果判别模型输出的判别结果表示原始样本图像为真实图像，则可以认为判别模型输出的判别结果准确。
S405，基于第二损失函数，调整预设判别模型的模型参数，得到训练后判别模型。
S406，将补全图像输入至训练后的判别模型，得到训练后判别模型输出的判别结果。
S407，基于补全图像与原始样本图像的差异，以及训练后的判别模型输出的判别结果构建第一损失函数。
判别模型输出的判别结果用于表示所输入的图像是否为经过补全的图像，可以理解的是，判别模型的输出结果具并不一定准确，补全图像虽然是经过补全的图像，但是如果补全图像与真实图像相似度较高，则判别模型错误的将补全图像确定为真实图像的可能性越高。因此，如果判别模型输出的结果表示输入的图像为真实图像，则可以认为补全图像与真实图像的相似度较高，如果判别模型输出的结果表示输入的图像为经过补全的图像，则可以认为补全图像与真实图像的相似度较低。而补全图像与真实图像的相似度越高，则可以说明图像补全模型性能越好，因此，可以根据该判别结果构建第一损失函数。
S408，基于第一损失函数，调整预设生成模型的模型参数，直至第一损失函数收敛，得到图像补全模型。
该步骤与S304相同，可以参见前述关于S304的相关描述，在此不再赘述。在一种可能的实施例中，在得到图像补全模型后，可以将图像补全模型作为新的预设生成模型，将训练后判别模型作为新的预设判别模型，重新执行S401-S408以得到性能更高的新的图像补全模型。
选用该实施例，可以利用判别模型和生成模型相互训练，即通过预设生成模型生成的补全图像，对预设判别模型进行训练，以使得训练后判别模型能够更加准确的判别出真实图像和经过补全的图像，而训练后判别模型可以对预设生成模型的输出结果的与真实图像的接近程度进行判别，以监督预设生成模型的训练过程向更加接近真实图像的方向收敛，有效降低训练过程对初值的敏感性。因此，选用该实施例，可以通过生成对抗网络(Generative Adversarial Networks，GAN)的方式，提高训练得到的图像补全模型的性能，使得补全结果的视觉效果更好。
参见图5a,图5a所示为本发明实施例提供的图像补全装置的一种结构示意图，可以包括：
区域补全模块501，用于针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示同一种内容且缺失图像信息的子区域；
融合输出模块502，用于融合所述多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果。
在一种可能的实施例中，所述区域补全模块501，具体用于针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
在一种可能的实施例中，所述区域补全模块501，具体用于将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
在一种可能的实施例中，如图5b所示，所述装置还包括内容分析模块503，用于按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，确定所述内容子区域与所述待补全图像区域的重叠区域，作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域。
在一种可能的实施例中，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的；
所述内容分析模块503，具体用于针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域。
在一种可能的实施例中，如图5c所示，所述装置还包括模型训练模块504，用于预先通过以下方式训练得到所述图像补全模型：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至满足预设训练结束条件，得到所述图像补全模型。
在一种可能的实施例中，所述模型训练模块504，还用于在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述模型训练模块504，具体用于基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，如图5d所示，所述装置还包括：
确定模块505，用于通过以下方式确定待补全子区域：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
本发明实施例还提供了一种电子设备，如图6所示，包括：
计算机可读存储介质601，用于存放计算机程序；
处理器602，用于执行计算机可读存储介质601上所存放的程序时，实现如下步骤：
针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示一种内容且缺失图像信息的子区域；
融合所述多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果。
在一种可能的实施例中，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
在一种可能的实施例中，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
在一种可能的实施例中，所述待补全子区域通过以下方式确定：
按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，确定所述内容子区域与待补全图像区域的重叠区域，作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域。
在一种可能的实施例中，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的；
所述针对每个内容子区域，确定所述内容子区域与待补全图像区域的重叠区域，作为待补全子区域，包括：
针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域。
在一种可能的实施例中，所述图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述图像补全模型。
在一种可能的实施例中，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述待补全子区域通过以下方式确定：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
上述电子设备提到的计算机可读存储介质可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一图像补全方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像补全方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质、计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (14)

1.一种图像补全方法，其特征在于，所述方法包括：
针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示一种内容且缺失图像信息的子区域；
融合多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果；
所述待补全子区域通过以下方式确定：
按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的。
2.根据权利要求1所述的方法，其特征在于，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
3.根据权利要求1所述的方法，其特征在于，所述针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，包括：
将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
4.根据权利要求1所述的方法，其特征在于，所述图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述图像补全模型。
5.根据权利要求4所述的方法，其特征在于，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述待补全子区域通过以下方式确定：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
7.一种图像补全装置，其特征在于，所述装置包括：
区域补全模块，用于针对待补全图像中的每个待补全子区域，调用预先针对所述待补全子区域所表示的内容设置的图像补全模型，对所述待补全子区域缺失的图像信息进行补全，得到所述待补全子区域的补全结果，其中，每个待补全子区域为所述待补全图像中表示一种内容且缺失图像信息的子区域；
融合输出模块，用于融合多个待补全子区域中每个待补全子区域的所述补全结果，得到所述待补全图像的补全结果；
内容分析模块，用于按照待补全图像所表示的内容，将所述待补全图像划分为多个内容子区域，其中，每个内容子区域表示所述待补全图像中的一种内容；
针对每个内容子区域，将用于表示所述内容子区域的蒙版与用于表示所述待补全图像区域的蒙版进行叠加，将叠加后得到的蒙版在所述待补全图像中所表示的区域作为待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域，所述内容子区域和所述待补全图像区域是以蒙版的形式表示的。
8.根据权利要求7所述的装置，其特征在于，所述区域补全模块，具体用于针对待补全图像中的每个待补全子区域，将所述待补全子区域中的图像输入至预先针对所述待补全子区域所表示的内容设置的图像补全模型，得到所述图像补全模型输出的所述待补全子区域的补全结果。
9.根据权利要求7所述的装置，其特征在于，所述区域补全模块，具体用于将所述待补全图像分别输入至预先针对不同内容设置的多个图像补全模型，得到所述多个图像补全模型输出的已补全图像；
针对待补全图像中的每个待补全子区域，获取所述待补全子区域对应的已补全图像中与所述待补全子区域对应区域内的图像，作为所述待补全子区域的补全结果；待补全子区域对应的已补全图像为针对待补全子区域所表示的内容设置的图像补全模型输出的已补全图像。
10.根据权利要求7所述的装置，其特征在于，所述装置还包括模型训练模块，用于预先通过以下方式训练得到所述图像补全模型：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述图像补全模型所针对的内容，所述缺失样本图像为所述原始样本图像中用于表示所述内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至满足预设训练结束条件，得到所述图像补全模型。
11.根据权利要求10所述的装置，其特征在于，所述模型训练模块，还用于在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述模型训练模块，具体用于基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
12.根据权利要求7-11任一项所述的装置，其特征在于，所述装置还包括：
确定模块，用于通过以下方式确定待补全子区域：
将待补全图像区域中表示背景的像素点划分为一个或多个待补全子区域，所述待补全图像区域为所述待补全图像中缺失图像信息的区域；
将所述待补全图像区域中表示人脸的像素点划分为一个或多个待补全子区域；
将所述待补全图像区域中表示肢体的像素点划分为一个或多个待补全子区域。
13.一种电子设备，其特征在于，包括：
计算机可读存储介质，用于存放计算机程序；
处理器，用于执行所述计算机可读存储介质上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
CN202010473729.6A 2020-05-29 2020-05-29 一种图像补全方法、装置及电子设备 Active CN111583159B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010473729.6A CN111583159B (zh) 2020-05-29 2020-05-29 一种图像补全方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010473729.6A CN111583159B (zh) 2020-05-29 2020-05-29 一种图像补全方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN111583159A CN111583159A (zh) 2020-08-25
CN111583159B true CN111583159B (zh) 2024-01-05

Family

ID=72112393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010473729.6A Active CN111583159B (zh) 2020-05-29 2020-05-29 一种图像补全方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN111583159B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114626468B (zh) * 2022-03-17 2024-02-09 小米汽车科技有限公司 在图像中生成阴影的方法、装置、电子设备及存储介质
CN116228605B (zh) * 2023-05-09 2023-09-08 深圳大学 图像补全方法、装置、计算机设备和存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012034255A (ja) * 2010-08-02 2012-02-16 Hitachi Ins Software Ltd 電子透かしによる画像処理方法および画像処理装置
JP2012221102A (ja) * 2011-04-06 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
CN106530279A (zh) * 2016-10-15 2017-03-22 扬州奥泰光电生物技术有限公司 一种图像处理方法及系统
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
CN108595756A (zh) * 2018-03-21 2018-09-28 中国科学院自动化研究所 大包线飞行干扰估计的方法及装置
CN109255768A (zh) * 2018-09-21 2019-01-22 深圳市中科明望通信软件有限公司 图像补全方法、装置、终端及计算机可读存储介质
CN109740606A (zh) * 2018-12-20 2019-05-10 上海众源网络有限公司 一种图像识别方法及装置
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质
CN110276344A (zh) * 2019-06-04 2019-09-24 腾讯科技（深圳）有限公司 一种图像分割的方法、图像识别的方法以及相关装置
CN110705558A (zh) * 2019-09-29 2020-01-17 郑州阿帕斯科技有限公司 图像实例分割方法和装置
CN110930333A (zh) * 2019-11-22 2020-03-27 北京金山云网络技术有限公司 图像修复方法、装置、电子设备及计算机可读存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100846513B1 (ko) * 2007-01-15 2008-07-17 삼성전자주식회사 영상 처리 방법 및 장치
US9396530B2 (en) * 2014-07-24 2016-07-19 Adobe Systems Incorporated Low memory content aware image modification

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012034255A (ja) * 2010-08-02 2012-02-16 Hitachi Ins Software Ltd 電子透かしによる画像処理方法および画像処理装置
JP2012221102A (ja) * 2011-04-06 2012-11-12 Nippon Telegr & Teleph Corp <Ntt> 画像処理装置、方法、及びプログラム
CN106530279A (zh) * 2016-10-15 2017-03-22 扬州奥泰光电生物技术有限公司 一种图像处理方法及系统
CN107730457A (zh) * 2017-08-28 2018-02-23 广东数相智能科技有限公司 一种图像补全方法、装置、电子设备及存储介质
WO2019128646A1 (zh) * 2017-12-28 2019-07-04 深圳励飞科技有限公司 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
WO2019128508A1 (zh) * 2017-12-28 2019-07-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108595756A (zh) * 2018-03-21 2018-09-28 中国科学院自动化研究所 大包线飞行干扰估计的方法及装置
CN109255768A (zh) * 2018-09-21 2019-01-22 深圳市中科明望通信软件有限公司 图像补全方法、装置、终端及计算机可读存储介质
CN109740606A (zh) * 2018-12-20 2019-05-10 上海众源网络有限公司 一种图像识别方法及装置
CN110210514A (zh) * 2019-04-24 2019-09-06 北京林业大学 生成式对抗网络训练方法、图像补全方法、设备及存储介质
CN110276344A (zh) * 2019-06-04 2019-09-24 腾讯科技（深圳）有限公司 一种图像分割的方法、图像识别的方法以及相关装置
CN110705558A (zh) * 2019-09-29 2020-01-17 郑州阿帕斯科技有限公司 图像实例分割方法和装置
CN110930333A (zh) * 2019-11-22 2020-03-27 北京金山云网络技术有限公司 图像修复方法、装置、电子设备及计算机可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冀俭俭 ; 杨刚 ; .基于生成对抗网络的分级联合图像补全方法.图学学报.2019,(06),全文. *
基于子块区域分割和自嵌入技术的全盲多功能图像水印算法;叶天语;;通信学报(03);全文 *

Also Published As

Publication number Publication date
CN111583159A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111079570B (zh) 一种人体关键点识别方法、装置及电子设备
CN112464809B (zh) 一种人脸关键点检测方法、装置、电子设备及存储介质
CN111914665B (zh) 一种人脸遮挡检测方法、装置、设备及存储介质
CN110706261A (zh) 车辆违章检测方法、装置、计算机设备和存储介质
CN108875534B (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN111583159B (zh) 一种图像补全方法、装置及电子设备
CN109740416B (zh) 目标跟踪方法及相关产品
CN110969045B (zh) 一种行为检测方法、装置、电子设备和存储介质
WO2021127841A1 (zh) 属性识别方法、装置、存储介质及电子设备
CN110910322A (zh) 图片处理方法、装置、电子设备及计算机可读存储介质
CN111292377A (zh) 目标检测方法、装置、计算机设备和存储介质
CN108038491B (zh) 一种图像分类方法及装置
CN113705294A (zh) 一种基于人工智能的图像识别方法、装置
CN113313189A (zh) 一种遮挡检测方法、装置及电子设备
CN114708291A (zh) 图像处理方法、装置、电子设备及存储介质
CN114220097A (zh) 一种基于对抗攻击的图像语义信息敏感像素域的筛选方法及应用方法与系统
CN111640076B (zh) 一种图像补全方法、装置及电子设备
CN113263728A (zh) 3d打印机的报警方法、装置、3d打印机和存储介质
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN113807182B (zh) 用于处理点云的方法、装置、介质以及电子设备
CN112188151B (zh) 视频处理方法、装置及计算机可读存储介质
CN111597966A (zh) 一种表情图像识别方法、装置及系统
CN113706428B (zh) 一种图像生成方法及装置
WO2021098572A1 (zh) 图像处理方法、装置、设备及计算机可读存储介质
WO2021083110A1 (zh) 载体对象处理和水印嵌入方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant