CN113689324A - 一种基于二分类标签的人像物件的自动增删方法及装置 - Google Patents
一种基于二分类标签的人像物件的自动增删方法及装置 Download PDFInfo
- Publication number
- CN113689324A CN113689324A CN202110761565.1A CN202110761565A CN113689324A CN 113689324 A CN113689324 A CN 113689324A CN 202110761565 A CN202110761565 A CN 202110761565A CN 113689324 A CN113689324 A CN 113689324A
- Authority
- CN
- China
- Prior art keywords
- face image
- portrait
- modified
- portrait object
- deleting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 43
- 238000013528 artificial neural network Methods 0.000 claims abstract description 38
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000004048 modification Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 13
- 238000012217 deletion Methods 0.000 claims description 12
- 230000037430 deletion Effects 0.000 claims description 12
- 230000001815 facial effect Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 239000011521 glass Substances 0.000 description 31
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出一种基于二分类标签的人像物件的自动增删方法方法和装置，其中，包括：接收人像物件的自动增删请求，确定人像物件的自动增删请求中包括的至少一种人像物件的类型；获取至少一张待修改的人脸图像和至少一张参考人脸图像；对待修改的人脸图像和参考人脸图像进行特征点检测；通过预先训练完成的神经网络中的类型的人像物件的增删模块，确定待修改的人脸图像和参考人脸图像对于类型的人像物件的二分类标签；根据待修改的人脸图像和参考人脸图像的人像物件特征确定所修改的人脸图像的目标人像物件增删方式，根据目标人像物件增删方式对待修改的人脸图像进行修改。本申请提出的方法可以自动化地增删对应的人像物件，便捷性高且训练成本低。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种仅利用二分类标签训练人像物件增删网络方法。
背景技术
人像编辑是计算机视觉的一项重要应用，目前人们对人像照片编辑的便捷性也有了更高的需求。相关技术中通常是通过基于深度学习的自动化方法或通用的图像编辑方法进行人像编辑。
但多数基于深度学习的自动化方法都严重依赖于监督数据。例如，想要训练一个增删眼镜的网络，可能需要人工提供眼镜的语义分割结果作为监督数据。这种监督数据需要大量的人工标注，导致训练成本很高。
通用的图像编辑方法(如图像编辑软件、图像补全技术等)虽然能够做到精确的人像编辑，但它们都依赖于用户的输入。例如，用户想要把人像一上的眼镜添加到人像二上，就需要人工把人像一的眼镜先分割出来，放置在人像二的合理位置上，最后做一些平滑处理。这些操作不仅繁琐，而且往往需要用户具有较高的专业水平才能编辑出高质量的人像。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种基于二分类标签的人像物件的自动增删方法，以实现人像物件的自动增删，为用户提供方便。
本发明的第二个目的在于提出一种基于二分类标签的人像物件的自动增删装置。
本发明的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种基于二分类标签的人像物件的自动增删方法，包括以下步骤：
接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型；
获取至少一张待修改的人脸图像和至少一张参考人脸图像；
对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点；
通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征；
根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
可选地，在本申请的一个实施例中，在所述接收人像物件的自动增删请求之前，还包括：
获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。
可选地，在本申请的一个实施例中，所述根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，包括：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是维持所述待修改的人脸图。
可选地，在本申请的一个实施例中，所述对所述待修改的人脸图像进行修改，包括：在所述待修改的人脸图像的图像特征空间上进行修改。
可选地，在本申请的一个实施例中，所述对神经网络进行对抗训练，包括：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
为达上述目的，本申请第二方面实施例提出本发明一种基于二分类标签的人像物件的自动增删装置，包括以下模块：
接收模块，用于接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型；
第一获取模块，用于获取至少一张待修改的人脸图像和至少一张参考人脸图像；
第一检测模块，用于对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点；
确定模块，用于通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征；
修改模块，根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
可选地，在本申请的一个实施例中，还包括：
第二获取模块，用于获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
第二检测模块，用于对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
训练模块，用于利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。
可选地，在本申请的一个实施例中，所述修改模块，还用于：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是维持所述待修改的人脸图。
可选地，在本申请的一个实施例中，具体用于：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
本申请的技术效果：本发明的目的是以更低的网络训练成本，实现人像物件的自动增删，为用户提供方便，本申请实施例能很好地应用于虚拟试穿等生活场景中；网络训练完成后，可以自动化地增删对应的人像物件(如耳环、眼镜等)，具有很高的便捷性。
为达上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于二分类标签的人像物件的自动增删方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例的基于二分类标签的人像物件的自动增删方法的流程图。
图2是本申请实施例的本实施实例中的人像为256*256*3的彩色图像的示意图；
图3为本申请实施例的基于二分类标签的人像物件的自动增删装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的一所提供的一种基于关节组间关联建模的动作识别方法。
如图1所示，为达上述目的，本发明第一方面实施例提出了一种基于二分类标签的人像物件的自动增删方法，包括以下步骤：
S1，接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型。
其中，人像物件指人脸图像中穿戴的物品，人像物件的类型包括耳环、眼镜和帽子等多种人脸图像中可包含的物件。
具体实施时，可以通过终端设备中用于虚拟试穿的APP接收用户发送的人像物件的自动增删请求等方式接收人像物件的自动增删请求，以应用于虚拟试穿等生活场景中。
需要说明的是，在本申请一些实施例中，接收到的人像物件的自动增删请求可以包括一种或多种人像物件的类型，即本申请可同时对一种人像物件或对多种人像进行编辑。
S2，获取至少一张待修改的人脸图像和至少一张参考人脸图像。
其中，参考人脸图像是指依据其图像中包含的人像物件对待修改的人脸图像中人像物件进行自动增删的图像。
S3，对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点。
需要说明的是，在实际应用中，由于人像间的人脸姿态并不相同，比如，获取的待修改的人脸图像为正脸而参考人脸图像为侧脸，可能导致影响人脸图像识别，不利于对人脸图像的编辑，而本申请利用人脸特征点进行图像特征的映射，可以准确的获取人脸图像中的人脸特征等，从而可适用于实际应用中将一张侧脸人像的物件迁移到一张正脸人像上等场景。
在本申请一个实施例中，可以通过人脸特征点检测器对人脸图像进行特征点检测。
S4，通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征。
其中，调用的人像物件的增删模块与接收的请求中人像物件的类型对应，比如，若接收到眼镜的自动增删请求，则调用预先对神经网络训练后得到的眼镜增删模块。
其中，二分类标签，是只包含“是”或“否”两种值的标签。举例而言，对于眼镜的增删任务，一张包含眼镜的人像就会被标记为“是”，一张不包含眼镜的人像就会被标记为“否”。这种标签相较于语义分割标签来说获取成本更低，降低了训练成本。
进而，通过人脸图像的二分类标签可以确定人脸图像的人像特征，比如，若参考人脸图像的二分类标签是“否”，则确定该参考人脸图像的人像物件特征是“不包含眼镜”。在本申请一个实施例中，可以通过识别的人脸特征点确定人脸图像的人像特征，并通过二分类标签确定对应类型的人像物件的人像物件特征。
S5，根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
在本申请的一个实施例中，进一步而言，在所述接收人像物件的自动增删请求之前，还包括：
获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。其中，可参照深度学习领域中的相关训练方式对神经网络进行对抗训练，具体训练方式此处不再赘述。
在本申请的一个实施例中，进一步而言，所述根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，包括：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是维持所述待修改的人脸图。
在本申请的一个实施例中，进一步而言，所述对所述待修改的人脸图像进行修改，包括：在所述待修改的人脸图像的图像特征空间上进行修改，从而避免直接在人像上做修改而留下明显的修改痕迹，在图像特征空间做修改可以起到一定的缓冲作用，使其具有更强的鲁棒性。
在本申请的一个实施例中，进一步而言，所述对神经网络进行对抗训练，包括：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
需要说明的是，通过本申请的人像物件增删方法，可以接收包含对多个类型的人像物件进行自动增删的请求，同时对多个类型的人像物件进行自动增删，进一步提高对人脸图像进行编辑的效率和便捷性。
在本申请的一个实施例中，进一步而言，具体而言，本申请的一个具体实施方式：
如图2所示，本实施实例中的人像为256x256x3的彩色图像，并以眼镜的增删为例。由于涉及到神经网络的训练与使用，以下步骤分为训练步骤以及使用步骤。
训练步骤1：准备一组不戴眼镜的人脸图像(记为A)以及一组戴眼镜的人脸图像(记为B)
训练步骤2：利用人脸特征点检测器对人脸图像进行特征点检测
训练步骤3：利用这两组数据以及它们的人脸特征点对图1的神经网络进行训练，训练后就得到了眼镜增删模块
使用步骤1：启用眼镜增删模块
使用步骤2：选取一张待修改人像和一张参考人像输入给眼镜增删模块
使用步骤3：发明会先自动地使用人脸特征点检测器提取人脸特征点，然后根据输入的人像情况，自动做出如下修改：
| 待修改人像 | 参考人像 | 修改后人像 |
| 戴眼镜 | 不戴眼镜 | 去掉眼镜 |
| 不戴眼镜 | 戴眼镜 | 戴上参考人像的眼镜 |
| 戴眼镜 | 戴眼镜 | 替换为参考人像的眼镜 |
| 不戴眼镜 | 不戴眼镜 | 无修改 |
需要说明的是，如图2所示，本申请还可以对修改后的人脸图像继续进行修改，进行循环损失修改，其中可包括利用不同的参考图像进行人像物件的自动增删，便于用户比较不同的图像编辑后的效果，有利于用户从多张图像中选择最偏好的人像物件的增删方式。
本申请的技术效果：本发明的目的是以更低的网络训练成本，实现人像物件的自动增删，为用户提供方便，本申请实施例能很好地应用于虚拟试穿等生活场景中；网络训练完成后，可以自动化地增删对应的人像物件(如耳环、眼镜等)，具有很高的便捷性。
本发明的优点：降低了训练成本，只需要二分类标签；使用时不需要繁琐的用户输入；能够保留物件的原貌。
如图3所示，为达上述目的，本申请第二方面实施例提出本发明一种基于二分类标签的人像物件的自动增删装置，包括以下模块：
接收模块，用于接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型；
第一获取模块，用于获取至少一张待修改的人脸图像和至少一张参考人脸图像；
第一检测模块，用于对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点；
确定模块，用于通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征；
修改模块，根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
在本申请的一个实施例中，进一步而言，还包括：
第二获取模块，用于获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
第二检测模块，用于对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
训练模块，用于利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。
在本申请的一个实施例中，进一步而言，所述修改模块，还用于：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是维持所述待修改的人脸图。
在本申请的一个实施例中，进一步而言，具体用于：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
本申请的目的：人脸图像在日常生活中随处可见，俗称人像照片。诸如耳环、眼镜等物件也经常出现于人像照片中。随着手机硬件的发展，人们更容易获取到高质量的人像照片，对人像照片编辑的便捷性也有了更高的需求。一方面，目前的很多图像编辑方法都依赖于用户的输入，达不到便捷性的要求。另一方面，多数基于深度学习的自动化方法严重依赖于监督数据，需要大量的人工标注，训练成本高。本发明提出了一种基于二分类标签的人像物件的自动增删方法，可以在保证编辑便捷性的同时降低训练成本。物件增删功能可以很好地应用于虚拟试穿等生活场景中。
本申请的技术效果：本发明的目的是以更低的网络训练成本，实现人像物件的自动增删，为用户提供方便，本申请实施例能很好地应用于虚拟试穿等生活场景中；网络训练完成后，可以自动化地增删对应的人像物件(如耳环、眼镜等)，具有很高的便捷性。
本发明的优点：降低了训练成本，只需要二分类标签；使用时不需要繁琐的用户输入；能够保留物件的原貌。
为了实现上述实施例，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本申请第一方面实施例所述的基于二分类标签的人像物件的自动增删方法。
尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种基于二分类标签的人像物件的自动增删方法，其特征在于，包括以下步骤：
接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型；
获取至少一张待修改的人脸图像和至少一张参考人脸图像；
对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点；
通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征；
根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
2.根据权利要求1所述的方法，其特征在于，在所述接收人像物件的自动增删请求之前，还包括：
获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，包括：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则所述目标人像物件增删方式是维持所述待修改的人脸图。
4.根据权利要求1所述的方法，其特征在于，所述对所述待修改的人脸图像进行修改，包括：在所述待修改的人脸图像的图像特征空间上进行修改。
5.根据权利要求2所述的方法，所述对神经网络进行对抗训练，包括：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
6.一种基于二分类标签的人像物件的自动增删装置，其特征在于，包括：
接收模块，用于接收人像物件的自动增删请求，并确定所述人像物件的自动增删请求中包括的至少一种人像物件的类型；
第一获取模块，用于获取至少一张待修改的人脸图像和至少一张参考人脸图像；
第一检测模块，用于对所述待修改的人脸图像和所述参考人脸图像进行特征点检测，以获取所述待修改的人脸图像和所述参考人脸图像的人脸特征点；
确定模块，用于通过预先训练完成的神经网络中的所述类型的人像物件的增删模块，确定所述待修改的人脸图像和所述参考人脸图像对于所述类型的人像物件的二分类标签，并根据所述人脸特征点和所述二分类标签，确定所述待修改的人脸图像的人像特征和所述类型的人像物件的人像物件特征，以及所述参考人脸图像的所述类型的人像物件的人像物件特征；
修改模块，根据所述待修改的人脸图像和所述参考人脸图像的人像物件特征确定所述待修改的人脸图像的目标人像物件增删方式，并根据所述目标人像物件增删方式对所述待修改的人脸图像进行修改。
7.根据权利要求6所述的装置，其特征在于，还包括：
第二获取模块，用于获取第一人脸图像组和第二人脸图像组，所述第一人脸图像组包括多张包含所述类型的人像物件的人脸图像，所述第二人脸图像组包括多张不包含所述类型的人像物件的人脸图像；
第二检测模块，用于对所述第一人脸图像组和所述第二人脸图像组进行特征点检测，以获取所述第一人脸图像组和所述第二人脸图像组中各张人脸图像的人脸特征点；
训练模块，用于利用所述第一人脸图像组、所述第二人脸图像组及其对应的人脸特征点对神经网络进行对抗训练，以获得所述神经网络中的所述类型的人像物件的增删模块。
8.根据权利要求6或7所述的装置，其特征在于，所述修改模块，还用于：
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是删除所述待修改的人脸图像中的所述人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是向所述待修改的人脸图像中的增加所述人像物件；
若所述待修改的人脸图像的人像物件特征是包含所述人像物件，且所述参考人脸图像的人像物件特征是包含所述人像物件，则确定所述目标人像物件增删方式是将所述待修改的人脸图像中的所述人像物件替换为所述参考人脸图像的人像物件；
若所述待修改的人脸图像的人像物件特征是不包含所述人像物件，且所述参考人脸图像的人像物件特征是不包含所述人像物件，则确定所述目标人像物件增删方式是维持所述待修改的人脸图。
9.根据权利要求7所述的装置，所述训练模块，具体用于：以自监督的方式训练所述神经网络区分具有不同二分类标签的人脸图像，以使所述神经网络学习到对于所述类型的人像物件的语义分割能力。
10.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一所述的基于二分类标签的人像物件的自动增删方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110761565.1A CN113689324B (zh) | 2021-07-06 | 2021-07-06 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110761565.1A CN113689324B (zh) | 2021-07-06 | 2021-07-06 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689324A true CN113689324A (zh) | 2021-11-23 |
| CN113689324B CN113689324B (zh) | 2024-04-26 |
Family
ID=78576654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110761565.1A Active CN113689324B (zh) | 2021-07-06 | 2021-07-06 | 一种基于二分类标签的人像物件的自动增删方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689324B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989857A (zh) * | 2021-12-27 | 2022-01-28 | 四川新网银行股份有限公司 | 一种基于深度学习的人像照片内容解析方法及系统 |
| WO2023141146A1 (en) * | 2022-01-19 | 2023-07-27 | Snap Inc. | Object replacement system |
| US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
| US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975916A (zh) * | 2016-04-28 | 2016-09-28 | 西安电子科技大学 | 基于多输出卷积神经网络和有序回归的年龄估计方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN108108715A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 基于生物启发和深度属性学习相结合的人脸美感预测方法 |
| CN108446617A (zh) * | 2018-03-09 | 2018-08-24 | 华南理工大学 | 抗侧脸干扰的人脸快速检测方法 |
| CN108564049A (zh) * | 2018-04-22 | 2018-09-21 | 北京工业大学 | 一种基于深度学习的快速人脸检测识别方法 |
| CN109829353A (zh) * | 2018-11-21 | 2019-05-31 | 东南大学 | 一种基于空间约束的人脸图像风格化方法 |
| CN109934062A (zh) * | 2017-12-18 | 2019-06-25 | 比亚迪股份有限公司 | 眼镜摘除模型的训练方法、人脸识别方法、装置和设备 |
| CN110070611A (zh) * | 2019-04-22 | 2019-07-30 | 清华大学 | 一种基于深度图像融合的人脸三维重建方法和装置 |
| CN110263737A (zh) * | 2019-06-25 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
| CN111274856A (zh) * | 2018-12-05 | 2020-06-12 | 北京猎户星空科技有限公司 | 一种人脸识别方法、装置、计算设备及存储介质 |
| CN111353392A (zh) * | 2020-02-18 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 换脸检测方法、装置、设备及存储介质 |
| CN111583105A (zh) * | 2020-05-14 | 2020-08-25 | 厦门美图之家科技有限公司 | 人像生成方法、装置、设备及存储介质 |
| CN113033476A (zh) * | 2021-04-19 | 2021-06-25 | 清华大学 | 一种跨姿态人脸识别方法 |
-
2021
- 2021-07-06 CN CN202110761565.1A patent/CN113689324B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105975916A (zh) * | 2016-04-28 | 2016-09-28 | 西安电子科技大学 | 基于多输出卷积神经网络和有序回归的年龄估计方法 |
| CN106446872A (zh) * | 2016-11-07 | 2017-02-22 | 湖南源信光电科技有限公司 | 一种低照度下的视频人脸检测识别方法 |
| CN109934062A (zh) * | 2017-12-18 | 2019-06-25 | 比亚迪股份有限公司 | 眼镜摘除模型的训练方法、人脸识别方法、装置和设备 |
| CN108108715A (zh) * | 2017-12-31 | 2018-06-01 | 厦门大学 | 基于生物启发和深度属性学习相结合的人脸美感预测方法 |
| CN108446617A (zh) * | 2018-03-09 | 2018-08-24 | 华南理工大学 | 抗侧脸干扰的人脸快速检测方法 |
| CN108564049A (zh) * | 2018-04-22 | 2018-09-21 | 北京工业大学 | 一种基于深度学习的快速人脸检测识别方法 |
| CN109829353A (zh) * | 2018-11-21 | 2019-05-31 | 东南大学 | 一种基于空间约束的人脸图像风格化方法 |
| CN111274856A (zh) * | 2018-12-05 | 2020-06-12 | 北京猎户星空科技有限公司 | 一种人脸识别方法、装置、计算设备及存储介质 |
| CN110751009A (zh) * | 2018-12-20 | 2020-02-04 | 北京嘀嘀无限科技发展有限公司 | 人脸识别方法、目标识别方法、装置和电子设备 |
| CN110070611A (zh) * | 2019-04-22 | 2019-07-30 | 清华大学 | 一种基于深度图像融合的人脸三维重建方法和装置 |
| CN110263737A (zh) * | 2019-06-25 | 2019-09-20 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端设备及可读存储介质 |
| CN110969139A (zh) * | 2019-12-11 | 2020-04-07 | 深圳市捷顺科技实业股份有限公司 | 人脸识别模型训练方法及相关装置、人脸识别方法及相关装置 |
| CN111353392A (zh) * | 2020-02-18 | 2020-06-30 | 腾讯科技（深圳）有限公司 | 换脸检测方法、装置、设备及存储介质 |
| CN111583105A (zh) * | 2020-05-14 | 2020-08-25 | 厦门美图之家科技有限公司 | 人像生成方法、装置、设备及存储介质 |
| CN113033476A (zh) * | 2021-04-19 | 2021-06-25 | 清华大学 | 一种跨姿态人脸识别方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989857A (zh) * | 2021-12-27 | 2022-01-28 | 四川新网银行股份有限公司 | 一种基于深度学习的人像照片内容解析方法及系统 |
| US11887260B2 (en) | 2021-12-30 | 2024-01-30 | Snap Inc. | AR position indicator |
| US11928783B2 (en) | 2021-12-30 | 2024-03-12 | Snap Inc. | AR position and orientation along a plane |
| WO2023141146A1 (en) * | 2022-01-19 | 2023-07-27 | Snap Inc. | Object replacement system |
| US11954762B2 (en) | 2022-01-19 | 2024-04-09 | Snap Inc. | Object replacement system |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689324B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765278B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| CN113689324B (zh) | 一种基于二分类标签的人像物件的自动增删方法及装置 | |
| JP2023018021A (ja) | 制御されていない照明条件の画像中の肌色を識別する技術 | |
| CN109035246B (zh) | 一种人脸的图像选择方法及装置 | |
| CN110009556A (zh) | 图像背景虚化方法、装置、存储介质及电子设备 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| CN111144215B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN103201769A (zh) | 图像处理装置、图像处理方法、程序、集成电路 | |
| JPWO2012073421A1 (ja) | 画像分類装置、画像分類方法、プログラム、記録媒体、集積回路、モデル作成装置 | |
| CN113627402B (zh) | 一种图像识别方法及相关装置 | |
| CN107122786B (zh) | 一种众包学习方法及装置 | |
| CN106557549A (zh) | 识别目标对象的方法和装置 | |
| CN112381104A (zh) | 一种图像识别方法、装置、计算机设备及存储介质 | |
| US10958842B2 (en) | Method of displaying images in a multi-dimensional mode based on personalized topics | |
| CN105404878A (zh) | 一种照片分类方法和装置 | |
| CN112199530A (zh) | 多维度脸库图片自动更新方法、系统、设备及介质 | |
| CN107341762A (zh) | 拍照处理方法、装置和终端设备 | |
| CN108805838A (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
| KR101961462B1 (ko) | 객체 인식 방법 및 장치 | |
| CN104933145A (zh) | 照片处理方法及装置与移动终端 | |
| US20190304152A1 (en) | Method and device for processing image | |
| CN107506735A (zh) | 照片归类方法以及归类系统 | |
| CN109685079B (zh) | 一种特征图像类别信息的生成方法和装置 | |
| CN110313001A (zh) | 照片处理方法、装置及计算机设备 | |
| EP2930687A2 (en) | Image segmentation using blur and color |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |