CN111640076B - 一种图像补全方法、装置及电子设备 - Google Patents
一种图像补全方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111640076B CN111640076B CN202010476100.7A CN202010476100A CN111640076B CN 111640076 B CN111640076 B CN 111640076B CN 202010476100 A CN202010476100 A CN 202010476100A CN 111640076 B CN111640076 B CN 111640076B
- Authority
- CN
- China
- Prior art keywords
- image
- model
- complement
- complemented
- detail
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000295 complement effect Effects 0.000 title claims abstract description 242
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001514 detection method Methods 0.000 claims description 36
- 238000004590 computer program Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 11
- 230000006870 function Effects 0.000 description 46
- 238000012549 training Methods 0.000 description 28
- 238000013507 mapping Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000005484 gravity Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种图像补全方法、装置及电子设备。其中，所述方法包括：确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域；根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。可以通过分析待补全图像区域中的内容，选择相应的图像补全模型对待补全图像区域所丢失的图像信息进行补全，以提高补全结果的视觉效果。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种图像补全方法、装置及电子设备。
背景技术
出于一些原因，图像中部分像素点的图像信息可能丢失，例如图像中可能添加有水印，水印会遮挡住图片中的部分区域，导致这些区域的像素点的图像信息丢失，影响图像的视觉效果。相关技术中，可以利用深度学习得到的图像补全模型对图像中缺失的图像信息进行补全。
图像补全模型的工作原理为根据缺失图像信息的像素点附近的未缺失的图像信息类推得到这些像素点的图像信息。但是图像中可能存在具有一定细节的部分区域，这部分区域的颜色、纹理和图像中其他区域的颜色、纹理存在较大区别，例如图像中可能存在部分区域用于表示人员，而其他区域表示风景，而人员图像的颜色、纹理和风景图像的颜色、纹理存在较大区别。
因此如果图像补全模型按照和对其他区域相同的类推方式，对该部分区域丢失的图像信息进行补全，所补全的图像信息可能和该部分区域实际所丢失的图像信息相差较大。因此，如果图像中该部分区域的图像信息丢失，则相关技术中利用图像补全模型对该图像进行补全，得到的补全结果与真实图像相差较大，可能导致用户产生违和感，因此视觉效果较差。
发明内容
本发明实施例的目的在于提供一种图像补全方法、装置及电子设备，以实现提高得到的补全结果的视觉效果。具体技术方案如下：
在本发明实施例的第一方面，提供了一种图像补全方法，所述方法包括：
确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
在一种可能的实施例中，在所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型之前，所述方法还包括：
统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度。
在一种可能的实施例中，所述细节图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述预设内容，所述缺失样本图像为所述原始样本图像中用于表示所述预设内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述细节图像补全模型。
在一种可能的实施例中，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型，包括：
确定所述重合程度是否大于预设阈值；
如果所述重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型；
如果所述重合程度不大于预设阈值，将通用图像补全模型确定为目标图像补全模型。
在一种可能的实施例中，所述待补全图像区域通过以下方式确定，包括：
利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。
在一种可能的实施例中，所述细节图像区域通过以下方式确定：
利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，所述细节检测算法用于检测所述预设内容。
在本发明实施例的第二方面，提供了一种图像补全装置，所述装置包括：
丢失信息检测模块，用于确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
重合检测模块，用于根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
图像补全模块，用于基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
在一种可能的实施例中，所述重合检测模块还用于在所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型之前，统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度。
在一种可能的实施例中，所述装置还包括模型训练模块，用于按照以下方式预先训练得到所述细节图像补全模型：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述预设内容，所述缺失样本图像为所述原始样本图像中用于表示所述预设内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述细节图像补全模型。
在一种可能的实施例中，所述模型训练模块，还用于将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述模型训练模块，具体用于基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述重合检测模块，具体用于确定所述重合程度是否大于预设阈值；
如果所述重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型；
如果所述重合程度不大于预设阈值，将通用图像补全模型确定为目标图像补全模型。
在一种可能的实施例中，所述丢失信息检测模块通过以下方式确定待补全图像区域，包括：
利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。
在一种可能的实施例中，所述丢失信息检测模块通过以下方式确定细节图像区域，包括：
利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，所述细节检测算法用于检测所述预设内容。
在本发明实施例的第三方面，提供了一种电子设备，包括：
计算机可读存储介质，用于存放计算机程序；
处理器，用于执行计算机可读存储介质上所存放的程序时，实现上述第一方面任一所述的方法步骤。
在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。
本发明实施例提供的图像补全方法、装置及电子设备，可以通过分析待补全图像区域中的内容，选择相应的图像补全模型对待补全图像区域所丢失的图像信息进行补全，以提高补全结果的视觉效果。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a为本发明实施例提供的包含多种内容的图像的一种示意图；
图1b为本发明实施例提供的带有水印的图像的一种示意图；
图2为本发明实施例提供的图像补全方法的一种流程示意图；
图3为本发明实施例提供的图像补全模型生成方法的一种流程示意图；
图4为本发明实施例提供的图像补全模型生成方法的另一种流程示意图；
图5a为本发明实施例提供的图像补全装置的一种结构示意图；
图5b为本发明实施例提供的图像补全装置的另一种结构示意图；
图6为本发明实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了对本发明实施例提供的图像补全方法更清楚的进行说明，下面将对本发明实施例提供的图像补全方法的一种可能的应用场景进行说明。可以理解的是，下文中对应用场景的说明仅是一种示例性的说明，本发明实施例提供的图像补全方法也可以应用于其他可能的应用场景，该示例对此不做限制。
图像可能因多种原因导致丢失其中部分像素点的图像信息，例如图像中被添加水印、又例如在拍摄该图像时因障碍物阻挡导致部分像素点表示的为障碍物，而非想拍摄的对象、又例如在后期处理过程中部分像素点的图像信息被删除等。丢失的图像信息会影响用户观看图像时的体验，造成图像的视觉效果较差。因此，需要补全所丢失的图像信息。
为描述方便，下面将以因添加水印导致图像信息丢失为例进行说明，对于因其他原因导致图像信息丢失的情况原理是相同的，因此不再赘述。图像中水印所处的图像区域(下文称水印覆盖区域)即为图像中缺失图像信息的图像区域。相关技术中，可以利用经过深度学习得到的图像补全模型对带有水印的图像进行处理，以对图像中水印覆盖区域的图像进行补全，得到不带有水印的图像。
但是，一些图像中可以存在细节图像区域，细节图像区域所表示的内容与图像中的其他图像区域不同。示例性的，可以参见图1a，图1a所示为本发明实施例提供的包含细节图像区域的图像的一种示意图，该图像中同时包括表示人员的人员图像区域，和表示背景的背景图像区域。不同应用场景中，细节图像区域的定义可以不同，本实施例对此不做限制。以图1a所示的图像为例，可以是将图1a中表示人员的人员图像区域作为细节图像区域，也可以是将人员图像区域中用于表示人脸的人脸图像区域作为细节图像区域。
如果水印覆盖区域与细节图像区域重叠，如图1b所示，图1b所示为本发明实施例提供的带有水印的图像的一种示意图，图中添加有“水印”字样的水印。假设人脸图像区域为细节图像区域，则在图1b中，水印覆盖区域与人脸图像区域重叠。
而在训练图像补全模型过程中，往往是在完整图像中随机选择丢失部分区域的图像信息，得到缺失图像，并将完整图像标注为缺失图像的真值，以对图像补全模型进行训练，以使得图像补全模型学习到缺失图像到完整图像的映射。该部分区域的选取具有一定的随机性，而人脸图像区域相比于背景图像区域往往是占比较小，因此在训练过程中，图像补全模型难以有效学习到如何对缺失图像信息的人脸图像区域进行补全。
并且由于图像补全模型的工作原理为根据缺失图像信息的像素点附近的未缺失的图像信息类推得到这些像素点的图像信息。如前述分析，图像补全模型所学习到的类推方式往往适用于背景图像区域，而人脸图像区域和背景图像区域由于所表示的内容不同，因此颜色、纹理可能存在较大区别。因此，图像补全模型学习到的类推方式往往不适用于人脸图像区域，导致图像补全模型对人脸图像区域进行补全时补全结果的视觉效果较低。
有鉴于此，本发明实施例提供了一种图像补全方法，参见图2，图2所示为本发明实施例提供的图像补全方法的一种流程示意图，可以包括：
S201，确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域。
S202，根据待补全图像区域与细节图像区域的重合程度，确定目标图像补全模型。
S203，基于目标图像补全模型对待补全图像区域缺失的图像信息进行补全，得到补全结果。
选用该实施例，可以通过分析待补全图像区域中的内容，选择相应的图像补全模型对待补全图像区域所丢失的图像信息进行补全，以提高补全结果的视觉效果。
其中，在S201中，待补全图像缺失图像信息的原因根据实际情况的不同可以不同，本实施例对此不做限制。根据导致缺失图像信息的原因的不同，确定待补全图像区域的方式也可以不同。
示例性的，假设是因为添加水印导致缺失图像信息，则可以是利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。预设水印算法根据应用场景的不同也可以不同，示例性的，预设水印算法可以是MSER(Maximally StableExtremal Regions，最大稳定极值区域)算法，如果所添加的水印为文字水印，如图1b所示，则预设水印算法也可以是SWT(Stroke Width Transform，笔画宽度变化)算法或其他用于检测文字的算法。
细节图像区域为待补全图像中用于表示预设内容的图像区域。该预设内容根据应用场景的不同可以不同，示例性的，在一种可能的实施例中预设内容可以是人脸，在其他可能的实施例中，预设内容也可以是肢体、车辆等，本实施例对此不做限制。
在一种可能的实施例中，可以是利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，细节检测算法用于检测预设内容。根据预设内容的不同，细节检测算法可以是不同的算法，例如，以预设内容为人脸为例，细节检测算法可以是基于哈尔特征(Haar-like feature)的人脸检测算法，也可以是基于LBP(LocalBinary Pattern，局部二值模式)特征的人脸检测算法，还可以是基于深度学习的人脸检测算法或基于深度学习的人脸分割算法。
在S202中，目标图像补全模型包括细节图像补全模型或通用补全模型，即根据重合程度的不同，目标图像补全模型为细节图像补全模型或通用补全模型。其中，细节图像补全模型为针对预设内容训练得到的图像补全模型，通用补全模型为针对预设内容以外的内容训练得到的图像补全模型。
重合程度用于表示待补全图像区域与细节图像区域重叠区域在待补全图像区域中的比重，该比重的表示方式可以根据实际需求的不同而不同，并且可以是以数值的形式表示的，也可以是以非数值的形式表示的。在一种可能的实施例中，可以是统计待补全图像区域中属于细节图像区域的像素点的数目与待补全图像区域中所有像素点的数目的比例，作为待补全图像区域与细节图像区域的重合程度。示例性的，假设待补全图像区域一共包括500*400＝200000个像素点，其中有80000个像素点属于细节图像区域，则重合程度为40％。
根据实际需求，可以通过不同的方式根据重合程度确定目标图像补全模型。例如，在一种可能的实施例中，可以是确定重合程度是否大于预设阈值，如果重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型，如果重合程度不大于预设阈值，则将通用图像补全模型确定为目标图像补全模型。预设阈值可以根据实际需求进行设置，示例性的，在一种可能的实施例中，预设阈值可以为5％。
又例如，在其他可能的实施例中，也可以是将重合程度输入至一个预设的二分器中，根据二分器的输出结果确定目标图像补全模型。
针对一个预设内容训练得到的细节图像补全模型，为对预设内容的图像进行补全时准确率较高的图像补全模型。例如，针对人脸训练得到的细节图像补全模型，为对人脸图像进行补全时准确率较高的图像补全模型。该细节图像补全模型可以是基于深度学习训练得到的卷积神经网络(Convolutional Neural Networks，CNN)。
细节图像补全模型的训练方式根据应用场景的不同可以不同，本实施例对此不做限制。下文将对细节图像模型可能的训练方式进行示例性的说明，在其他可能的实施例中，也可以通过这些示例以外的其他方式生成细节图像补全模型。
可以参加图3，图3所示为本发明实施例提供的细节图像补全模型训练方法的一种流程示意图，可以包括：
S301，获取原始样本图像和缺失样本图像。
其中，原始样本图像中包括图像补全模型预设内容，缺失样本图像为原始样本图像中用于表示预设内容的部分图像信息丢失后的图像。示例性的，假设预设内容为人脸，则原始样本图像中应当包括人脸，并且原始样本图像为没有缺失图像信息的图像。缺失样本图像为原始样本图像中部分表示人脸的像素点的像素值丢失后形成的图像，例如可以是在原始样本图像中表示人脸的图像区域内添加水印以得到缺失样本图像。
S302，将缺失样本图像输入至预设生成模型，得到预设生成模型输出的补全图像。
预设生成模型的模型参数可以是预先经过一定次数的训练得到的，也可以是人工设置的初始参数，本实施例对此不做限制。
S303，基于补全图像与原始样本图像的差异构建第一损失函数。
损失函数的构建方式可以根据实际需求进行选择，本实施例对此不做限制。
S304，基于第一损失函数，调整预设生成模型的模型参数，直至第一损失函数收敛，得到细节图像补全模型。
可以是利用梯度下降法，向着最小化第一损失函数的方向调整预设生成模型的模型参数，以得到细节图像补全模型。第一损失函数收敛的条件根据应用场景的不同可以不同，示例性的，可以是指第一损失函数的收敛性达到预设阈值，也可以是已经用于训练的缺失样本图像的数量达到预设数量阈值。
选用该实施例，可以有效针对预设内容，训练得到相应的细节图像补全模型，以提高所生成的细节图像补全模型在补全用于表示预设内容的图像时的性能，即可以提高待补全图像的补全结果的视觉效果。
训练得到的细节图像补全模型用于实现由缺失图像到完整图像的映射，因此细节图像补全模型所表示的映射与缺失图像到完整图像的真实映射越接近，则该细节图像补全模型得到的补全结果越准确。而训练可以视为拟合该真实映射的一个过程，该过程往往受到初值的影响，即受到预设生成模型的影响。如果预设生成模型所表示的映射与该真实映射越相似，则训练得到的细节图像补全模型所表示的映射，理论上越接近于该真实映射。例如，假设真实映射满足高斯函数，则当预设生成模型满足高斯函数时训练得到的细节图像补全模型，在不考虑其他因素的影响下理论上相比于当预设生成模型满足逻辑斯蒂函数时训练得到的细节图像补全模型更加接近真实映射。
但是，一些真实映射所满足的函数难以预先确定，因此可能无法选择合适的模型作为预设生成模型，导致训练得到的细节图像补全模型与真实映射相差较大，因此补全结果的视觉效果较差。
有鉴于此，在一种可能的实施例中，可以参加图4，图4所示为本发明实施例提供的图像补全模型生成方法的另一种流程示意图，可以包括：
S401，获取原始样本图像和缺失样本图像。
该步骤与S301相同，可以参见前述S301的相关描述，在此不再赘述。
S402，将缺失样本图像输入至预设生成模型，得到预设生成模型输出的补全图像。
该步骤与S302相同，可以参见前述S302的相关描述，在此不再赘述。
S403，将原始样本图像或补全图像输入至预设判别模型，得到预设判别模型输出的判别结果。
可以是以随机顺序依次输入图像，每次输入的图像为原始样本图像或补全图像。其中，判别结果用于表示输入的图像是否为经过补全的图像。预设判别模型可以是二分类模型，示例性的，预设判别模型的输出可以为0或者1,1表示所输入的图像为未经过补全的图像(下文称真实图像)，0表示所输入的图像为经过补全的图像。预设判别模型的输出也可以是取值为[0,1]内的任一实数，该实数表示所输入的图像为真实图像(或者经过补全的图像)的置信度，当该实数大于0.5时可以认为输入结果表示所输入的图像为真实图像，当该实数小于0.5时可以认为输入结果表示所输入的图像为经过补全的图像。当该实数等于0.5时，输入结果所表示的含义可以根据应用场景的不同而不同，本实施例对此不做限制。
S404，根据判别模型输出的判别结果的准确程度构建第二损失函数。
原始样本图像为真实图像，补全图像为经过补全的图像，因此当输入的为补全图像时，如果判别模型输出的判别结果表示补全图像为经过补全的图像，则可以认为判别模型输出的判别结果准确，如果判别模型输出的判别结果表示补全图像为真实图像，则可以认为判别模型输出的判别结果不准确。当输入的为原始样本图像时，如果判别模型输出的判别结果表示原始样本图像为经过补全的图像，则可以认为判别模型输出的判别结果不准确，如果判别模型输出的判别结果表示原始样本图像为真实图像，则可以认为判别模型输出的判别结果准确。
S405，基于第二损失函数，调整预设判别模型的模型参数，得到训练后判别模型。
S406，将补全图像输入至训练后的判别模型，得到训练后判别模型输出的判别结果。
S407，基于补全图像与原始样本图像的差异，以及训练后的判别模型输出的判别结果构建第一损失函数。
判别模型输出的判别结果用于表示所输入的图像是否为经过补全的图像，可以理解的是，判别模型的输出结果并不一定准确，补全图像虽然是经过补全的图像，但是如果补全图像与真实图像相似度较高，则判别模型错误的将补全图像确定为真实图像的可能性越高。因此，如果判别模型输出的结果表示输入的图像为真实图像，则可以认为补全图像与真实图像的相似度较高，如果判别模型输出的结果表示输入的图像为经过补全的图像，则可以认为补全图像与真实图像的相似度较低。而补全图像与真实图像的相似度越高，则可以说明图像补全模型性能越好，因此，可以根据该判别结果构建第一损失函数。
S408，基于第一损失函数，调整预设生成模型的模型参数，直至第一损失函数收敛，得到细节图像补全模型。
该步骤与S304相同，可以参见前述关于S304的相关描述，在此不再赘述。在一种可能的实施例中，在得到细节图像补全模型后，可以将细节图像补全模型作为新的预设生成模型，将训练后判别模型作为新的预设判别模型，重新执行S401-S408以得到性能更高的新的细节图像补全模型。
选用该实施例，可以利用判别模型和生成模型相互训练，即通过预设生成模型生成的补全图像，对预设判别模型进行训练，以使得训练后判别模型能够更加准确的判别出真实图像和经过补全的图像，而训练后判别模型可以对预设生成模型的输出结果的与真实图像的接近程度进行判别，以监督预设生成模型的训练过程向更加接近真实图像的方向收敛，有效降低训练过程对初值的敏感性。因此，选用该实施例，可以通过生成对抗网络(Generative Adversarial Networks，GAN)的方式，提高训练得到的细节图像补全模型的性能，使得补全结果的视觉效果更好。
参见图5a，图5a所示为本发明实施例提供的图像补全装置的一种结构示意图，可以包括：
丢失信息检测模块501，用于确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
重合检测模块502，用于根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
图像补全模块503，用于基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
在一种可能的实施例中，所述重合检测模块502还用于在所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型之前，统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度。
在一种可能的实施例中，如图5b所示，所述装置还包括模型训练模块504，用于按照以下方式预先训练得到所述细节图像补全模型：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述预设内容，所述缺失样本图像为所述原始样本图像中用于表示所述预设内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述细节图像补全模型。
在一种可能的实施例中，所述模型训练模块504，还用于将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述模型训练模块504，具体用于基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述重合检测模块502，具体用于确定所述重合程度是否大于预设阈值；
如果所述重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型；
如果所述重合程度不大于预设阈值，将通用图像补全模型确定为目标图像补全模型。
在一种可能的实施例中，所述丢失信息检测模块501通过以下方式确定待补全图像区域，包括：
利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。
在一种可能的实施例中，所述丢失信息检测模块501通过以下方式确定细节图像区域，包括：
利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，所述细节检测算法用于检测所述预设内容。
本发明实施例还提供了一种电子设备，如图6所示，包括：
计算机可读存储介质601，用于存放计算机程序；
处理器602，用于执行计算机可读存储介质601上所存放的程序时，实现如下步骤：
确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
在一种可能的实施例中，在所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型之前，所述方法还包括：
统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度。
在一种可能的实施例中，所述细节图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述预设内容，所述缺失样本图像为所述原始样本图像中用于表示所述预设内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述细节图像补全模型。
在一种可能的实施例中，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
在一种可能的实施例中，所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型，包括：
确定所述重合程度是否大于预设阈值；
如果所述重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型；
如果所述重合程度不大于预设阈值，将通用图像补全模型确定为目标图像补全模型。
在一种可能的实施例中，所述待补全图像区域通过以下方式确定，包括：
利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。
在一种可能的实施例中，所述细节图像区域通过以下方式确定：
利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，所述细节检测算法用于检测所述预设内容。
上述电子设备提到的计算机可读存储介质可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一图像补全方法。
在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像补全方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。
Claims (9)
1.一种图像补全方法，其特征在于，所述方法包括：
确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度；
根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
2.根据权利要求1所述的方法，其特征在于，所述细节图像补全模型预先通过以下方式训练得到：
获取原始样本图像和缺失样本图像，所述原始样本图像中包括所述预设内容，所述缺失样本图像为所述原始样本图像中用于表示所述预设内容的部分图像信息丢失后的图像；
将所述缺失样本图像输入至预设生成模型，得到所述预设生成模型输出的补全图像；
基于所述补全图像与所述原始样本图像的差异构建第一损失函数；
基于所述第一损失函数，调整所述预设生成模型的模型参数，直至所述第一损失函数收敛，得到所述细节图像补全模型。
3.根据权利要求2所述的方法，其特征在于，在所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数之前，所述方法还包括：
将所述原始样本图像或所述补全图像输入至预设判别模型，得到所述预设判别模型输出的判别结果，所述判别结果用于表示输入的图像是否为经过补全的图像；
根据所述预设判别模型输出的判别结果的准确程度构建第二损失函数；
基于所述第二损失函数，调整所述预设判别模型的模型参数，得到训练后判别模型；
将所述补全图像输入至所述训练后判别模型，得到所述训练后判别模型输出的判别结果；
所述基于所述补全图像与所述原始样本图像的差异构建第一损失函数，包括：
基于所述补全图像与所述原始样本图像的差异，以及所述训练后判别模型输出的判别结果构建第一损失函数。
4.根据权利要求1所述的方法，其特征在于，所述根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型，包括：
确定所述重合程度是否大于预设阈值；
如果所述重合程度大于预设阈值，将细节图像补全模型确定为目标图像补全模型；
如果所述重合程度不大于预设阈值，将通用图像补全模型确定为目标图像补全模型。
5.根据权利要求1所述的方法，其特征在于，所述待补全图像区域通过以下方式确定，包括：
利用预设水印检测算法检测待补全图像中存在水印的图像区域，作为待补全图像区域。
6.根据权利要求1所述的方法，其特征在于，所述细节图像区域通过以下方式确定：
利用细节检测算法检测待补全图像中存在预设内容的图像区域，作为细节图像区域，其中，所述细节检测算法用于检测所述预设内容。
7.一种图像补全装置，其特征在于，所述装置包括：
丢失信息检测模块，用于确定待补全图像中缺失图像信息的待补全图像区域和细节图像区域，所述细节图像区域为所述待补全图像中用于表示预设内容的图像区域；
重合检测模块，用于统计所述待补全图像区域中属于细节图像区域的像素点的数目与所述待补全图像区域中所有像素点的数目的比例，作为所述待补全图像区域与所述细节图像区域的重合程度；
所述重合检测模块，还用于根据所述待补全图像区域与所述细节图像区域的重合程度，确定目标图像补全模型；所述目标图像补全模型包括细节图像补全模型或通用补全模型；所述细节图像补全模型为针对所述预设内容训练得到的图像补全模型；所述通用补全模型为针对所述预设内容以外的内容训练得到的图像补全模型；
图像补全模块，用于基于所述目标图像补全模型对所述待补全图像区域缺失的图像信息进行补全，得到补全结果。
8.一种电子设备，其特征在于，包括：
计算机可读存储介质，用于存放计算机程序；
处理器，用于执行计算机可读存储介质上所存放的程序时，实现权利要求1-6任一所述的方法步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-6任一所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010476100.7A CN111640076B (zh) | 2020-05-29 | 2020-05-29 | 一种图像补全方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010476100.7A CN111640076B (zh) | 2020-05-29 | 2020-05-29 | 一种图像补全方法、装置及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111640076A CN111640076A (zh) | 2020-09-08 |
| CN111640076B true CN111640076B (zh) | 2023-10-10 |
Family
ID=72332187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010476100.7A Active CN111640076B (zh) | 2020-05-29 | 2020-05-29 | 一种图像补全方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111640076B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112767506A (zh) * | 2020-12-31 | 2021-05-07 | 维沃移动通信有限公司 | 图像处理方法、装置和电子设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760978B1 (en) * | 2016-05-09 | 2017-09-12 | Adobe Systems Incorporated | Missing region prediction |
| CN107730457A (zh) * | 2017-08-28 | 2018-02-23 | 广东数相智能科技有限公司 | 一种图像补全方法、装置、电子设备及存储介质 |
| CN108683845A (zh) * | 2018-05-14 | 2018-10-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108765380A (zh) * | 2018-05-14 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108932693A (zh) * | 2018-06-15 | 2018-12-04 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109727209A (zh) * | 2018-12-13 | 2019-05-07 | 北京爱奇艺科技有限公司 | 一种确定残缺文物完整图像的方法及装置 |
| CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子系统 |
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
| WO2020022436A1 (ja) * | 2018-07-25 | 2020-01-30 | 国立大学法人京都大学 | 修復用関数調整システム、データ修復装置、修復用関数調整方法、修復用関数生成方法、およびコンピュータプログラム |
| JP2020046736A (ja) * | 2018-09-14 | 2020-03-26 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| CN111105370A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
-
2020
- 2020-05-29 CN CN202010476100.7A patent/CN111640076B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9760978B1 (en) * | 2016-05-09 | 2017-09-12 | Adobe Systems Incorporated | Missing region prediction |
| CN107730457A (zh) * | 2017-08-28 | 2018-02-23 | 广东数相智能科技有限公司 | 一种图像补全方法、装置、电子设备及存储介质 |
| CN108683845A (zh) * | 2018-05-14 | 2018-10-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108765380A (zh) * | 2018-05-14 | 2018-11-06 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及移动终端 |
| CN108932693A (zh) * | 2018-06-15 | 2018-12-04 | 中国科学院自动化研究所 | 基于人脸几何信息的人脸编辑补全方法及装置 |
| WO2020022436A1 (ja) * | 2018-07-25 | 2020-01-30 | 国立大学法人京都大学 | 修復用関数調整システム、データ修復装置、修復用関数調整方法、修復用関数生成方法、およびコンピュータプログラム |
| JP2020046736A (ja) * | 2018-09-14 | 2020-03-26 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| CN109255768A (zh) * | 2018-09-21 | 2019-01-22 | 深圳市中科明望通信软件有限公司 | 图像补全方法、装置、终端及计算机可读存储介质 |
| CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技（深圳）有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
| CN109559287A (zh) * | 2018-11-20 | 2019-04-02 | 北京工业大学 | 一种基于DenseNet生成对抗网络的语义图像修复方法 |
| CN109727209A (zh) * | 2018-12-13 | 2019-05-07 | 北京爱奇艺科技有限公司 | 一种确定残缺文物完整图像的方法及装置 |
| CN109740533A (zh) * | 2018-12-29 | 2019-05-10 | 北京旷视科技有限公司 | 遮挡比例确定方法、装置和电子系统 |
| CN111105370A (zh) * | 2019-12-09 | 2020-05-05 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 基于生成对抗网络的分级联合图像补全方法;冀俭俭;杨刚;;图学学报(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111640076A (zh) | 2020-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222831B (zh) | 深度学习模型的鲁棒性评估方法、装置及存储介质 | |
| CN110163300B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN109784391B (zh) | 基于多模型的样本标注方法及装置 | |
| WO2019190886A1 (en) | Digital watermarking of machine learning models | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| CN110706261A (zh) | 车辆违章检测方法、装置、计算机设备和存储介质 | |
| CN112633310A (zh) | 具有改进的训练鲁棒性地对传感器数据进行分类的方法和系统 | |
| CN112948612B (zh) | 人体封面生成方法、装置、电子设备及存储介质 | |
| CN112329837B (zh) | 一种对抗样本检测方法、装置、电子设备及介质 | |
| CN112001406A (zh) | 一种文本区域检测方法及装置 | |
| CN112396068B (zh) | 点云数据的处理方法、装置及电子设备 | |
| CN113657202A (zh) | 构件识别方法、构建训练集方法、装置、设备及存储介质 | |
| CN110909664A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
| CN110969100A (zh) | 一种人体关键点识别方法、装置及电子设备 | |
| CN111932545A (zh) | 图像处理方法、目标计数方法及其相关装置 | |
| CN111583159B (zh) | 一种图像补全方法、装置及电子设备 | |
| CN113420848A (zh) | 神经网络模型的训练方法及装置、手势识别的方法及装置 | |
| CN115797735A (zh) | 目标检测方法、装置、设备和存储介质 | |
| CN111640076B (zh) | 一种图像补全方法、装置及电子设备 | |
| CN110765843A (zh) | 人脸验证方法、装置、计算机设备及存储介质 | |
| CN117475253A (zh) | 一种模型训练方法、装置、电子设备及存储介质 | |
| CN116977783A (zh) | 一种目标检测模型的训练方法、装置、设备及介质 | |
| CN115398425A (zh) | 神经网络加水印 | |
| CN110399803B (zh) | 一种车辆检测方法及装置 | |
| CN112926608A (zh) | 一种图像分类方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |