CN110929651B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110929651B
CN110929651B CN201911168483.5A CN201911168483A CN110929651B CN 110929651 B CN110929651 B CN 110929651B CN 201911168483 A CN201911168483 A CN 201911168483A CN 110929651 B CN110929651 B CN 110929651B
Authority
CN
China
Prior art keywords
image
face
target
special effect
fused
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911168483.5A
Other languages
English (en)
Other versions
CN110929651A (zh
Inventor
武珊珊
帕哈尔丁·帕力万
艾尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201911168483.5A priority Critical patent/CN110929651B/zh
Publication of CN110929651A publication Critical patent/CN110929651A/zh
Priority to US17/105,186 priority patent/US11367307B2/en
Priority to US17/829,743 priority patent/US11678734B2/en
Application granted granted Critical
Publication of CN110929651B publication Critical patent/CN110929651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D44/00—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms
    • A45D44/005—Other cosmetic or toiletry articles, e.g. for hairdressers' rooms for selecting or displaying personal cosmetic colours or hairstyle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/77—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，属于计算机图形学技术领域。包括：获取待处理的目标人脸图像，对目标人脸图像进行人脸关键点检测；基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；获取目标人脸图像的遮挡掩码图，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域；基于遮挡掩码图和第一融合图像，生成第二融合图像。本公开能够避免在人脸区域被遮挡的情况下添加虚拟特效时，虚拟特效可能会出现在遮挡物上的情况，特效添加效果更佳逼真和自然，该种图像处理方式较为精准，效果较佳。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机图形学技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着智能终端的广泛普及以及终端性能的逐步提升，利用智能终端进行拍摄已经成为人们日常生活中用来记录美好瞬间的重要手段之一。其中，为了提升图像美感，可以在人脸图像的人脸部位上添加虚拟特效，比如可以对人脸图像的人脸部位进行美妆特效处理。其中，对人脸部位进行美妆特效处理，可以是在眉毛部位添加虚拟眉毛特效，在鼻子和嘴巴这两个部位之间添加虚拟胡子特效等。
相关技术中，在对某一人脸部位添加虚拟特效时，若该人脸部位被遮挡物遮挡住，则添加的虚拟特效会直接显示在该遮挡物上面，这无疑会严重影响特效添加效果。为此，如何进行图像处理，以解决上述因出现遮挡物而导致的特效添加效果差的问题，成为了本领域技术人员亟待解决的一个问题。
发明内容
本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术因出现遮挡物而导致的特效添加效果差的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种图像处理方法，包括：
获取待处理的目标人脸图像，对所述目标人脸图像进行人脸关键点检测；
基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；
获取所述目标人脸图像的遮挡掩码图，所述遮挡掩码图区分了所述目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；
基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像。
在一种可能的实现方式中，所述获取所述目标人脸图像的遮挡掩码图，包括：
基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；
生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域。
在一种可能的实现方式中，所述基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像，包括：
保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；
在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
在一种可能的实现方式中，所述基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像，包括：
确定与选中的虚拟特效适配的人脸部位；
基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
在一种可能的实现方式中，所述获取待处理的目标人脸图像，包括：
在获取到一张图像后，对获取到的图像进行人脸检测；
当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
在一种可能的实现方式中，所述图像语义分割模型的训练过程包括：
获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；
将所述训练样本图像输入至深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；
当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
根据本公开实施例的第二方面，提供一种图像处理装置，包括：
第一获取模块，被配置为获取待处理的目标人脸图像；
检测模块，被配置为对所述目标人脸图像进行人脸关键点检测；
处理模块，被配置为基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；
第二获取模块，被配置为获取所述目标人脸图像的遮挡掩码图，所述遮挡掩码图区分了所述目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；
所述处理模块，还被配置为基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像。
在一种可能的实现方式中，所述第二获取模块，还被配置为基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域。
在一种可能的实现方式中，所述处理模块，还被配置为保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
在一种可能的实现方式中，所述处理模块，还被配置为确定与选中的虚拟特效适配的人脸部位；基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
在一种可能的实现方式中，所述第一获取模块，被配置为在获取到一张图像后，对获取到的图像进行人脸检测；当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
在一种可能的实现方式中，所述装置还包括：
训练模块，被配置为获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；将所述训练样本图像输入至深度学习模型中；基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述第一方面所述的图像处理方法。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面所述的图像处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面所述的图像处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
在获取到待处理的目标人脸图像，除了对目标人脸图像进行人脸关键点检测，并基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像之外，本公开实施例还会获取目标人脸图像的遮挡掩码图，其中，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；进而基于遮挡掩码图和第一融合图像，生成第二融合图像。
基于以上描述可知，本公开实施例在进行图像处理时，除了基于人脸关键点检测技术之外，还结合了图像语义分割技术，由于反映图像语义分割结果的遮挡掩码图区分了目标人脸图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域，因此在得到第一融合图像后，基于该遮挡掩码图再对第一融合图像进行修正，能够完全避免在人脸区域被遮挡物遮挡的情况下进行虚拟特效添加时，虚拟特效可能会出现在遮挡物上的情况，虚拟特效能够完全贴合在用户想要美化的人脸部位。换一种表达方式，本公开实施例结合人脸关键点检测技术和图像语义分割技术可以解决因为遮挡物遮挡人脸区域而导致的特效添加效果差的问题，能够使得特效添加效果更佳逼真和自然，所以该种图像处理方式较为精准，效果较佳。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种图像处理方法涉及的实施环境的示意图。
图2是根据一示例性实施例示出的一种添加虚拟特效的效果示意图。
图3是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图4是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图5是根据一示例性实施例示出的一种图像处理方法的流程图。
图6是根据一示例性实施例示出的一种图像处理方法的流程图。
图7是根据一示例性实施例示出的一种图像处理方法的整体执行流程示意图。
图8是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图9是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图10是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图11是根据一示例性实施例示出的另一种添加虚拟特效的效果示意图。
图12是根据一示例性实施例示出的一种图像处理装置的框图。
图13是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。
在对本公开实施例进行详细地解释说明之前，先对本公开实施例涉及到的一些名词进行解释。
遮挡掩码图(mask)：用于区分人脸图像中未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域。作为一个示例，遮挡掩码图中取值为第一数值的像素位置指示了可见人脸区域，取值为第二数值的像素位置指示了不可见人脸区域。
其中，对人脸进行遮挡的遮挡物既可以为其他人体部位，比如手部或手臂，也可以为物体，本公开实施例对此不进行具体限定。
示例性地，遮挡掩码图可以为二进制掩码，比如，当人脸图像中某一像素属于未被遮挡物遮挡的可见人脸区域时在遮挡掩码图中相应位置标识为1，否则标识为0。即第一数值的取值为1，第二数值的取值为0。换一种表达方式，遮挡掩码图中数值为1的区域指示了人脸图像的可见人脸区域，数值为0的区域指示了人脸图像的不可见人脸区域。
人脸检测(Face Detection)：给定一个图像，找出该图像中的所有人脸位置。
通常会用一个矩形框将人脸框起来，即输入是一个图像，输出是若干个包含人脸的矩形框和矩形框位置。
人脸关键点检测：也称为人脸关键定位或者人脸对齐，其是指给定一个人脸图像，定位出人脸面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部轮廓等；
其中，通常将关键点的集合称作形状(shape)，形状包含了关键点的位置信息，而这个位置信息一般可以用两种形式表示，第一种是关键点相对于整张图像的位置，第二种是关键点相对于人脸矩形框的位置，本公开实施例对此不进行具体限定。
图像语义分割：在图像领域，语义指的是图像的内容，对图片意思的理解；分割的意思是从像素的角度分割出图像中的不同对象，即图像语义分割是输出图像中每个像素的类别决策。换一种表达方式，图像语义分割是将每个像素划分为几个可能的类别之一。
在本公开实施例中，基于图像语义分割能够区分人脸图像中未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域。
虚拟特效：在本公开实施例中，虚拟特效可以泛指任何一种可用于装饰人脸的特殊效果。示例性地，虚拟特效包括但不限于虚拟妆容或虚拟饰品等。比如，可以将用户选中的虚拟妆容或虚拟饰品等与人脸图像中适配的人脸部位进行融合，从而使得人脸图像可以呈现出一种特殊效果，实现人脸美化。
其中，虚拟妆容包括但不限于口红、眉毛、睫毛、腮红等一切可用于人脸美妆的装饰类型。示例性地，每一个虚拟特效通常均对应一个特效模板，比如口红特效即对应一个口红特效模板。
下面对本公开实施例提供的一种图像处理方法涉及的实施环境进行介绍说明。
本公开实施例提供了一种图像处理方法，该图像处理方法基于人脸关键点检测技术和图像语义分割技术实现，能够解决在某些情况下因脸部存在遮挡物，进而导致的虚拟特效不够逼真自然的问题。比如，当用户用手遮挡住嘴唇的时候，添加的虚拟口红特效可能会被渲染到用户的手上，不够逼真自然，影响用户体验。
其中，该图像处理方法可应用在交互场景下，比如视频通话过程中、视频直播过程中等；也可应用在非交互场景下，比如应用在用户个人进行图像或视频拍摄的过程中，或者还可以针对用户本地存储的人脸图像或视频进行图像处理，本公开实施例对此不进行具体限定。
以应用在非交互场景下为例，参见图1，该实施环境包括用户101和电子设备102，该电子设备102通常指代平板电脑、智能手机等移动式计算机设备。该电子设备102用于通过摄像头采集人脸图像并执行该图像处理方法。另外，若应用在交互场景下，则图1所示的实施环境中还包括与该电子设备102进行数据通信的服务器和至少一个与该服务器进行数据通信的其他电子设备。
以仅根据人脸关键点检测技术进行虚拟特效添加为例，如图2所示，在对一张人脸图像进行人脸关键点检测后，根据人脸关键点检测结果会拟合出来一个嘴唇区域，由于该张人脸图像中用户脸部没有被遮挡物遮挡，因此虚拟口红特效能够完全贴合在嘴唇区域，最终的特效添加结果也较为自然。而针对图3，在进行人脸关键点检测，并根据人脸关键点检测结果拟合出来一个嘴唇区域后，由于该张人脸图像中用户脸部被手指所遮挡，因此虚拟口红特效最终会被渲染到用户手指上，即出现了虚拟特效浮在用户手指上的情况，会大大影响用户体验。
基于以上描述，考虑到人脸关键点检测技术对遮挡信息不敏感，通常仅可给出关键点的位置信息，而不能分辨出关键点是否被遮挡的情况，本公开实施例在人脸关键点检测的基础之上，还结合了图像语义分割技术，即同时借助人脸关键点技术和图像语义分割技术来为人脸图像添加虚拟特效。
比如，在为人脸图像添加虚拟特效的时候，本公开实施例会首先基于人脸关键点检测技术将选中的虚拟特效与人脸图像中适配的人脸部位进行融合；然后，再根据对人脸图像进行语义分割得到的遮挡掩码图，来对得到的融合图像进行进一步地处理，实现仅保留添加在未被遮挡的可见人脸区域上的虚拟特效。这样便避免了虚拟特效被渲染在遮挡物上的缺陷，整体特效添加效果更佳逼真自然，能够显著提升用户体验。
需要说明的是，无论应用在何种场景下，本公开实施例提供的图像处理方法仅需用户使用电子设备的摄像头进行拍摄即可，应用本公开实施例提供的图像处理方法，可以使得虚拟特效完全贴合在脸部，且无论脸部是否出现遮挡物，都不会出现因遮挡物存在而导致的特效添加效果差的情况。其中，图4示出了本公开实施例的添加虚拟特效的效果图。基于图4可知，无论用户是否用手部去遮挡嘴唇区域，虚拟胡子特效均只在用户嘴唇未被遮挡的区域出现，而在用户嘴唇被遮挡的区域隐藏，进而实现了更具真实感的虚拟特效添加体验。
图5是根据一示例性实施例示出的一种图像处理方法的流程图，如图5所示，该方法用于电子设备中，包括以下步骤。
在步骤501中，获取待处理的目标人脸图像，对目标人脸图像进行人脸关键点检测。
在步骤502中，基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像。
在步骤503中，获取目标人脸图像的遮挡掩码图，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域。
在步骤504中，基于遮挡掩码图和第一融合图像，生成第二融合图像。
本公开实施例提供的方法，在获取到待处理的目标人脸图像，除了对目标人脸图像进行人脸关键点检测，并基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像之外，本公开实施例还会获取目标人脸图像的遮挡掩码图，其中，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；进而基于遮挡掩码图和第一融合图像，生成第二融合图像。
基于以上描述可知，本公开实施例在进行图像处理时，除了基于人脸关键点检测技术之外，还结合了图像语义分割技术，由于反映图像语义分割结果的遮挡掩码图区分了目标人脸图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域，因此在得到第一融合图像后，基于该遮挡掩码图再对第一融合图像进行修正，能够完全避免在人脸区域被遮挡物遮挡的情况下进行虚拟特效添加时，虚拟特效可能会出现在遮挡物上的情况，虚拟特效能够完全贴合在用户想要美化的人脸部位。换一种表达方式，本公开实施例结合人脸关键点检测技术和图像语义分割技术可以解决因为遮挡物遮挡人脸区域而导致的特效添加效果差的问题，能够使得特效添加效果更佳逼真和自然，所以该种图像处理方式较为精准，效果较佳。
在一种可能的实现方式中，所述获取所述目标人脸图像的遮挡掩码图，包括：
基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；
生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域。
在一种可能的实现方式中，所述基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像，包括：
保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；
在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
在一种可能的实现方式中，所述基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像，包括：
确定与选中的虚拟特效适配的人脸部位；
基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
在一种可能的实现方式中，所述获取待处理的目标人脸图像，包括：
在获取到一张图像后，对获取到的图像进行人脸检测；
当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
在一种可能的实现方式中，所述图像语义分割模型的训练过程包括：
获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；
将所述训练样本图像输入至深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；
当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
图6是根据一示例性实施例示出的一种图像处理方法的流程图，下面结合图7对本公开实施例提供的图像处理方法进行详细地解释说明。参见图6，包括以下步骤。
在步骤601中，电子设备在获取到一张图像后，对获取到的图像进行人脸检测；当获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到目标人脸图像。
其中，电子设备获取到的一张图像可以为视频通话或视频直播过程中的一个视频帧，也可以为用户当前拍摄或预先拍摄的一张图像，还可以为预先拍摄的一段视频中的视频帧，本公开实施例对此不进行具体限定。本实施例仅是以一张图像为例说明了整个图像处理流程，可以扩展的是，该图像处理流程可以适用到多张图像或视频中的各个视频帧。
针对人脸检测，通常会将在该图像中检测到的人脸用检测框标注出来，并给出该检测框的位置信息，即给出检测到的人脸在该图像中的出现位置。在一种可能的实现方式中，既可以采取深度学习的人脸检测算法进行人脸检测，也可以采取非深度学习的人脸检测算法进行人脸检测，本公开实施例对此不进行具体限定。
其中，深度学习源于人工神经网络的研究，深度学习是机器学习中一种基于对数据进行表征学习的方法。换一种表达方式，深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络。
在本公开实施例中，若在该图像中检测到人脸，则电子设备会在该图像中剪裁出人脸区域图像，该人脸区域图像在本文中也称之为待处理的目标人脸图像。
作为一个示例，剪裁方式可以为：基于人脸检测结果，按照一定比例进行外扩，以剪裁出人脸区域，进而得到目标人脸图像。其中，在剪裁时既要保证剪裁出的人脸区域尽可能地完整，又要保证剪裁出的人脸区域不能过大，原因是：如果剪裁出的人脸区域若不完整，则会影响后续的虚拟特效添加效果，而剪裁区域过大，又会导致大量的无用计算，影响图像处理效率，也难以应用于移动端。
在一种可能的实现方式中，可以基于人脸检测结果确定出人脸中心，其中，人脸中心可以是人脸检测框的几何中心点，进而以人脸中心为准，按照一定比例进行外扩，剪裁出人脸区域，本公开实施例对此不进行具体限定。
需要说明的是，如图7所示，在得到目标人脸图像后，可以通过两个分支分别执行下述步骤602和603，以及下述步骤604；或者，可以先执行下述步骤602和603，后执行下述步骤604；或者，也可以先执行下述步骤604，后执行下述步骤602和603，本公开实施例对此不进行具体限定。
在步骤602中，电子设备对待处理的目标人脸图像进行人脸关键点检测。
针对人脸关键点检测，人脸关键点包括但不限于：眉毛、眼睛、鼻子、嘴巴、人脸轮廓等。在一种可能的实现方式中，可根据多个人脸图像以及该多个人脸图像中检测出的人脸关键点坐标，进行模型训练，得到具有人脸关键点检测能力的网络模型。后续过程中，当要检测某一个图像中的人脸关键点时，将该图像输入到该网络模型中，基于该网络模型对该图像进行人脸关键点检测，从而确定该图像中的人脸关键点坐标。
在步骤603中，电子设备基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像。
如图7所示，本步骤主要根据人脸关键点检测结果，结合用户想要进行美妆的人脸部位(比如眼睛、嘴巴等)，拟合出需要进行虚拟特效处理的相应位置区域，进而对该位置区域进行虚拟特效处理，完成第一步的人脸图像美化。
通常情况下，每一种虚拟特效均与一处人脸部位适配，用户选中了相应的虚拟特效，与该虚拟特效适配的人脸部位便随之确定。比如，眉毛特效与眉毛部位适配，即眉毛特效需要添加在人脸的眉毛所在位置；口红特效与嘴唇部位适配，即口红特效需要添加在人脸的嘴唇所在位置。
在一种可能的实现方式中，基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像，包括但不限于：确定与选中的虚拟特效适配的人脸部位；基于人脸关键点检测结果和确定的人脸部位，在目标人脸图像中拟合出目标位置区域；将选中的虚拟特效与目标人脸图像中的目标位置区域进行融合，得到第一融合图像。
作为一个示例，时下虚拟特效通常均是特效模板的形式，因此将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，也即是将用户选中的虚拟特效的特效模板同目标人脸图像进行融合，需要注意的是，特效模板会基于人脸关键点检测技术融合在目标人脸图像中的上述目标位置区域处。其中，融合算法主要包括但不限于alpha融合、Photoshop图层混合、泊松融合等，本公开实施例对此不进行具体限定。
另外，考虑到不同人脸图像的五官区域的不一致性，在将特效模板同人脸图像融合之前，还可能会涉及到对特效模板进行变形处理，以适配于人脸五官区域。其中，变形算法包括但不限于仿射变换，IDW(Inverse Distance Weighted，反距离加权插值)变换，MLS(Moving Least Squares,移动最小二乘法)变换等，本公开实施例对此不进行具体限定。
示例性地，以用户想要上妆的人脸部位为嘴唇，虚拟特效为口红为例，则如图8所示，该人脸图像中出现了遮挡物(具体为用户手指)，且该遮挡物部分遮挡住了嘴唇，则在对该人脸图像进行人脸关键检测得到人脸关键点检测结果，并基于人脸关键点检测结果拟合出需要上妆的嘴唇区域后，会直接在该嘴唇区域上添加口红特效；由于用户手指部分遮挡住了嘴唇，所以如图8所示口红特效此时会被添加在用户手指上。
示例性地，继续以用户想要上妆的人脸部位为嘴唇，虚拟特效为口红为例，则如图9所示，该人脸图像中出现了遮挡物(具体为用户手部)，且该遮挡物完全遮挡住了嘴唇，则在对该人脸图像进行人脸关键检测得到人脸关键点检测结果，并基于人脸关键点检测结果拟合出需要上妆的嘴唇区域后，会直接在该嘴唇区域上添加口红特效；由于用户手部完全遮挡住了嘴唇，所以如图8所示口红特效此时会完全被添加在用户手部上，而非嘴唇上。
示例性地，继续以用户想要上妆的人脸部位为嘴唇，虚拟特效为口红为例，则如图10所示，该人脸图像中出现了遮挡物(具体为用户手指)，且该遮挡物部分遮挡住了嘴唇，则在对该人脸图像进行人脸关键检测得到人脸关键点检测结果，并基于人脸关键点检测结果拟合出需要上妆的嘴唇区域后，会直接在该嘴唇区域上添加口红特效；由于用户手指部分遮挡住了嘴唇，所以如图10所示口红特效此时会被添加在用户手指上。
示例性地，继续以用户想要上妆的人脸部位为嘴唇，虚拟特效为口红为例，则如图11所示，该人脸图像中出现了遮挡物(具体为用户手部)，且该遮挡物部分遮挡住了嘴唇，则在对该人脸图像进行人脸关键检测得到人脸关键点检测结果，并基于人脸关键点检测结果拟合出需要上妆的嘴唇区域后，会直接在该嘴唇区域上添加口红特效；由于用户手部部分遮挡住了嘴唇，所以如图11所示口红特效此时会被添加在用户手部上。
在步骤604中，电子设备获取目标人脸图像的遮挡掩码图，该遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域。
本步骤用于对目标图像进行图像语义分割，生成目标图像的遮挡掩码图，该遮挡掩码图反应了目标人脸图像的遮挡信息。
在对目标人脸图像进行图像语义分割后，给出的分割结果中区分了未被遮挡物遮挡的可见人脸区域和被遮挡物遮挡的不可见人脸区域。而被遮挡的不可见人脸区域上即被覆盖了遮挡物。
在一种可能的实现方式中，遮挡掩码图中取值为第一数值的像素位置指示了上述可见人脸区域，取值为第二数值的像素位置指示了上述不可见人脸区域。
示例性地，遮挡掩码图可以为二进制掩码，比如，当目标人脸图像中某一像素属于未被遮挡的可见人脸区域时在遮挡掩码图中相应位置置为1，否则，当目标人脸图像中某一像素属于被遮挡的不可见人脸区域时在遮挡掩码图中相应位置置为0。即第一数值的取值可以为1，第二数值的取值可以为0。换一种表达方式，遮挡掩码图中数值为1的区域指示了人脸图像的可见人脸区域，数值为0的区域指示了人脸图像的不可见人脸区域。
在本公开实施例中，会基于预先训练好的图像语义分割模型对目标人脸图像进行语义分割处理，进而得到上述可见人脸区域和上述不可见人脸区域。而图像语义分割模型通常对边缘较为敏感，因此利用图像语义分割模型能够得到更为准确的分割边缘，确保了分割效果。
在一种可能的实现方式中，图像语义分割模型的训练过程包括但不限于：
步骤a、获取训练样本图像和对训练样本图像的标注分割结果。
其中，训练样本图像中包括的大量人脸区域被比如手或物体等遮挡物遮挡的图像，以及对这些训练样本图像进行人工标注的标注分割结果。示例性地，标注分割结果中由人工给出了各个训练样本图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域。
步骤b、将训练样本图像输入至深度学习模型中；基于目标损失函数，确定深度学习模型输出的对训练样本图像的预测分割结果与标注分割结果是否匹配。
作为一个示例，上述目标损失函数可为交叉熵损失函数，深度学习模型可为卷积神经网络，比如全卷积神经网络，本公开实施例对此不进行具体限定。
步骤c、当预测分割结果与标注分割结果不匹配时，反复循环地迭代更新深度学习模型的网络参数，直至模型收敛，得到图像语义分割模型。
在步骤605中，电子设备基于遮挡掩码图和第一融合图像，生成第二融合图像。
本步骤即对应于图7中的最后一步。即对基于人脸关键点检测技术得到的第一融合图像和遮挡掩码图进行混合渲染，实现基于人脸关键点检测结果和人脸语义分割结果，完成人脸美化。其中，在混合渲染时仅会保留第一融合图像中被遮挡掩码图指示为可见人脸区域上的虚拟特效。即，基于遮挡掩码图和第一融合图像，生成第二融合图像，包括但不限于：保留第一融合图像中被遮挡掩码图指示为可见人脸区域上的虚拟特效；在第一融合图像中被遮挡掩码图指示为不可见人脸区域上以置于顶层的方式绘制遮挡物，得到第二融合图像。其中，置于顶层的绘制方式即是将遮挡人脸的遮挡物绘制在第一融合图像的最上层，而绘制范围限制在上述不可见人脸区域。
继续如图8至图11所示，其中，针对图8至图11中的每个图，从左到右依次为原始的人脸图像，人脸关键点检测结果，根据人脸关键点检测结果拟合出来的嘴唇区域，基于人脸关键点检测技术得到的第一融合图像，图像语义分割结果(白色部分对应可见人脸区域)，将遮挡掩码图与第一融合图像进行混合渲染后得到的第二融合图像。
根据上述结果可以看出，最终得到的融合图像没有虚拟特效显示在遮挡物上，所以本公开实施例可以解决因遮挡物对人脸区域进行遮挡而导致的特效添加效果不佳，无法达到更真实逼真的特效添加效果的问题，不但极大地提升用户体验，而且能够有效促进虚拟特效的生产与消费。
本公开实施例提供的方法至少具有以下有益效果：
在获取到待处理的目标人脸图像，除了对目标人脸图像进行人脸关键点检测，并基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像之外，本公开实施例还会获取目标人脸图像的遮挡掩码图，其中，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；进而基于遮挡掩码图和第一融合图像，生成第二融合图像。
基于以上描述可知，本公开实施例在进行图像处理时，除了基于人脸关键点检测技术之外，还结合了图像语义分割技术，由于反映图像语义分割结果的遮挡掩码图区分了目标人脸图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域，因此在得到第一融合图像后，基于该遮挡掩码图再对第一融合图像进行修正，能够完全避免在人脸区域被遮挡物遮挡的情况下进行虚拟特效添加时，虚拟特效可能会出现在遮挡物上的情况，虚拟特效能够完全贴合在用户想要美化的人脸部位。换一种表达方式，本公开实施例结合人脸关键点检测技术和图像语义分割技术可以解决因为遮挡物遮挡人脸区域而导致的特效添加效果差的问题，能够使得特效添加效果更佳逼真和自然，所以该种图像处理方式较为精准，效果较佳。
另外，利用图像语义分割模型对人脸图像进行图像语义分割，充分利用了图像语义分割模型对边缘的敏感性，因此能够得到更为准确的分割边缘，即确保了分割结果的准确性，这为后续的特效添加效果也提供了有效的保障。
在另一个实施例中，除了本公开实施例涉及的图像方式外，还可仅基于人脸关键点检测技术对人脸进行虚拟特效添加，不同的是，在用于检测人脸关键点的网络模型的训练过程中，添加对每个关键点是否被遮挡进行判断的步骤，使得基于人脸关键点检测技术不仅能够得出人脸关键点的位置信息，还能够得到每个人脸关键点是否被遮挡的信息。但是该方案还是存在以下两个问题：1、人脸关键点对于遮挡不敏感，反馈的遮挡信息不准确；2、即使遮挡信息准确，由于人脸关键点是离散的，因此还是可能会存在遮挡物上会显示部分虚拟特效的缺陷。
图12是根据一示例性实施例示出的一种图像处理装置框图。参照图12，该装置包括第一获取模块1201，检测模块1202，处理模块1203，第二获取模1204。
第一获取模块1201，被配置为获取待处理的目标人脸图像；
检测模块1202，被配置为对所述目标人脸图像进行人脸关键点检测；
处理模块1203，被配置为基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；
第二获取模块1204，被配置为获取所述目标人脸图像的遮挡掩码图，所述遮挡掩码图区分了所述目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；
处理模块1203，还被配置为基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像。
本公开实施例提供的装置，在获取到待处理的目标人脸图像，除了对目标人脸图像进行人脸关键点检测，并基于得到的人脸关键点检测结果，将选中的虚拟特效与目标人脸图像中适配的人脸部位进行融合，得到第一融合图像之外，本公开实施例还会获取目标人脸图像的遮挡掩码图，其中，遮挡掩码图区分了目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；进而基于遮挡掩码图和第一融合图像，生成第二融合图像。
基于以上描述可知，本公开实施例在进行图像处理时，除了基于人脸关键点检测技术之外，还结合了图像语义分割技术，由于反映图像语义分割结果的遮挡掩码图区分了目标人脸图像中未被遮挡的可见人脸区域和被遮挡的不可见人脸区域，因此在得到第一融合图像后，基于该遮挡掩码图再对第一融合图像进行修正，能够完全避免在人脸区域被遮挡物遮挡的情况下进行虚拟特效添加时，虚拟特效可能会出现在遮挡物上的情况，虚拟特效能够完全贴合在用户想要美化的人脸部位。换一种表达方式，本公开实施例结合人脸关键点检测技术和图像语义分割技术可以解决因为遮挡物遮挡人脸区域而导致的特效添加效果差的问题，能够使得特效添加效果更佳逼真和自然，所以该种图像处理方式较为精准，效果较佳。
在一种可能的实现方式中，所述第二获取模块，还被配置为基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域。
在一种可能的实现方式中，所述处理模块，还被配置为保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
在一种可能的实现方式中，所述处理模块，还被配置为确定与选中的虚拟特效适配的人脸部位；基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
在一种可能的实现方式中，所述第一获取模块，被配置为在获取到一张图像后，对获取到的图像进行人脸检测；当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
在一种可能的实现方式中，所述装置还包括：
训练模块，被配置为获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；将所述训练样本图像输入至深度学习模型中；基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图13示出了本公开一个示例性实施例提供的一种电子设备的结构框图。
通常，设备1300包括有：处理器1301和存储器1302。
处理器1301可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1301可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1301也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1301可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1301还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1302可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1302还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1302中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1301所执行以实现本公开中方法实施例提供的电子设备执行的图像处理方法。
在一些实施例中，设备1300还可选包括有：外围设备接口1303和至少一个外围设备。处理器1301、存储器1302和外围设备接口1303之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1303相连。具体地，外围设备包括：射频电路1304、触摸显示屏1305、摄像头1306、音频电路1307、定位组件1308和电源1309中的至少一种。
外围设备接口1303可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1301和存储器1302。在一些实施例中，处理器1301、存储器1302和外围设备接口1303被集成在同一芯片或电路板上；在一些其他实施例中，处理器1301、存储器1302和外围设备接口1303中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1304用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1304通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1304将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1304包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1304可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1304还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本公开对此不加以限定。
显示屏1305用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1305是触摸显示屏时，显示屏1305还具有采集在显示屏1305的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1301进行处理。此时，显示屏1305还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1305可以为一个，设置设备1300的前面板；在另一些实施例中，显示屏1305可以为至少两个，分别设置在设备1300的不同表面或呈折叠设计；在再一些实施例中，显示屏1305可以是柔性显示屏，设置在设备1300的弯曲表面上或折叠面上。甚至，显示屏1305还可以设置成非矩形的不规则图形，也即异形屏。显示屏1305可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1306用于采集图像或视频。可选地，摄像头组件1306包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1306还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1307可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1301进行处理，或者输入至射频电路1304以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在设备1300的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1301或射频电路1304的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1307还可以包括耳机插孔。
定位组件1308用于定位设备1300的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1308可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源1309用于为设备1300中的各个组件进行供电。电源1309可以是交流电、直流电、一次性电池或可充电电池。当电源1309包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，设备1300还包括有一个或多个传感器1310。该一个或多个传感器1310包括但不限于：加速度传感器1311、陀螺仪传感器1312、压力传感器1313、指纹传感器1314、光学传感器1315以及接近传感器1316。
加速度传感器1311可以检测以设备1300建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1311可以用于检测重力加速度在三个坐标轴上的分量。处理器1301可以根据加速度传感器1311采集的重力加速度信号，控制触摸显示屏1305以横向视图或纵向视图进行用户界面的显示。加速度传感器1311还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1312可以检测设备1300的机体方向及转动角度，陀螺仪传感器1312可以与加速度传感器1311协同采集用户对设备1300的3D动作。处理器1301根据陀螺仪传感器1312采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1313可以设置在设备1300的侧边框和/或触摸显示屏1305的下层。当压力传感器1313设置在设备1300的侧边框时，可以检测用户对设备1300的握持信号，由处理器1301根据压力传感器1313采集的握持信号进行左右手识别或快捷操作。当压力传感器1313设置在触摸显示屏1305的下层时，由处理器1301根据用户对触摸显示屏1305的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1314用于采集用户的指纹，由处理器1301根据指纹传感器1314采集到的指纹识别用户的身份，或者，由指纹传感器1314根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1301授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1314可以被设置设备1300的正面、背面或侧面。当设备1300上设置有物理按键或厂商Logo时，指纹传感器1314可以与物理按键或厂商Logo集成在一起。
光学传感器1315用于采集环境光强度。在一个实施例中，处理器1301可以根据光学传感器1315采集的环境光强度，控制触摸显示屏1305的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1305的显示亮度；当环境光强度较低时，调低触摸显示屏1305的显示亮度。在另一个实施例中，处理器1301还可以根据光学传感器1315采集的环境光强度，动态调整摄像头组件1306的拍摄参数。
接近传感器1316，也称距离传感器，通常设置在设备1300的前面板。接近传感器1316用于采集用户与设备1300的正面之间的距离。在一个实施例中，当接近传感器1316检测到用户与设备1300的正面之间的距离逐渐变小时，由处理器1301控制触摸显示屏1305从亮屏状态切换为息屏状态；当接近传感器1316检测到用户与设备1300的正面之间的距离逐渐变大时，由处理器1301控制触摸显示屏1305从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图13中示出的结构并不构成对设备1300的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述方法实施例所述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的目标人脸图像，对所述目标人脸图像进行人脸关键点检测；
基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；
获取所述目标人脸图像的遮挡掩码图，所述遮挡掩码图区分了所述目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；
基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像；
其中，所述获取所述目标人脸图像的遮挡掩码图，包括：
基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；
生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域；
所述基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像，包括：
保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；
在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像，包括：
确定与选中的虚拟特效适配的人脸部位；
基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
3.根据权利要求1所述的图像处理方法，其特征在于，所述获取待处理的目标人脸图像，包括：
在获取到一张图像后，对获取到的图像进行人脸检测；
当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
4.根据权利要求1所述的图像处理方法，其特征在于，所述图像语义分割模型的训练过程包括：
获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；
将所述训练样本图像输入至深度学习模型中；
基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；
当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
5.一种图像处理装置，其特征在于，包括：
第一获取模块，被配置为获取待处理的目标人脸图像；
检测模块，被配置为对所述目标人脸图像进行人脸关键点检测；
处理模块，被配置为基于得到的人脸关键点检测结果，将选中的虚拟特效与所述目标人脸图像中适配的人脸部位进行融合，得到第一融合图像；
第二获取模块，被配置为获取所述目标人脸图像的遮挡掩码图，所述遮挡掩码图区分了所述目标人脸图像中未被遮挡物遮挡的可见人脸区域和被所述遮挡物遮挡的不可见人脸区域；
所述处理模块，还被配置为基于所述遮挡掩码图和所述第一融合图像，生成第二融合图像；
其中，所述第二获取模块，还被配置为基于图像语义分割模型，对所述目标人脸图像进行语义分割处理，得到所述可见人脸区域和所述不可见人脸区域；生成所述目标人脸图像的遮挡掩码图，所述遮挡掩码图中取值为第一数值的像素位置指示了所述可见人脸区域，取值为第二数值的像素位置指示了所述不可见人脸区域；
所述处理模块，还被配置为保留所述第一融合图像中被所述遮挡掩码图指示为所述可见人脸区域上的虚拟特效；在所述第一融合图像中被所述遮挡掩码图指示为所述不可见人脸区域上以置于顶层的方式绘制所述遮挡物，得到所述第二融合图像。
6.根据权利要求5所述的图像处理装置，其特征在于，所述处理模块，还被配置为确定与选中的虚拟特效适配的人脸部位；基于所述人脸关键点检测结果和确定的人脸部位，在所述目标人脸图像中拟合出目标位置区域；将所述虚拟特效与所述目标人脸图像中的所述目标位置区域进行融合，得到所述第一融合图像。
7.根据权利要求5所述的图像处理装置，其特征在于，所述第一获取模块，被配置为在获取到一张图像后，对获取到的图像进行人脸检测；当所述获取到的图像中包括人脸时，根据人脸检测结果剪裁出人脸区域，得到所述目标人脸图像。
8.根据权利要求5所述的图像处理装置，其特征在于，所述装置还包括：
训练模块，被配置为获取训练样本图像和对所述训练样本图像的标注分割结果，所述训练样本图像中包括人脸区域被遮挡物遮挡的图像；将所述训练样本图像输入至深度学习模型中；基于目标损失函数，确定所述深度学习模型输出的对所述训练样本图像的预测分割结果与所述标注分割结果是否匹配；当所述预测分割结果与所述标注分割结果不匹配时，反复循环地迭代更新所述深度学习模型的网络参数，直至模型收敛，得到所述图像语义分割模型。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器;
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至4中任一项所述的图像处理方法。
10.一种存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至4中任一项所述的图像处理方法。
CN201911168483.5A 2019-11-25 2019-11-25 图像处理方法、装置、电子设备及存储介质 Active CN110929651B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911168483.5A CN110929651B (zh) 2019-11-25 2019-11-25 图像处理方法、装置、电子设备及存储介质
US17/105,186 US11367307B2 (en) 2019-11-25 2020-11-25 Method for processing images and electronic device
US17/829,743 US11678734B2 (en) 2019-11-25 2022-06-01 Method for processing images and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911168483.5A CN110929651B (zh) 2019-11-25 2019-11-25 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110929651A CN110929651A (zh) 2020-03-27
CN110929651B true CN110929651B (zh) 2022-12-06

Family

ID=69851068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911168483.5A Active CN110929651B (zh) 2019-11-25 2019-11-25 图像处理方法、装置、电子设备及存储介质

Country Status (2)

Country Link
US (2) US11367307B2 (zh)
CN (1) CN110929651B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929651B (zh) 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111860566A (zh) * 2020-04-24 2020-10-30 北京嘀嘀无限科技发展有限公司 遮挡物识别模型训练方法、识别方法、装置及存储介质
CN111476741B (zh) * 2020-04-28 2024-02-02 北京金山云网络技术有限公司 图像的去噪方法、装置、电子设备和计算机可读介质
CN113781291B (zh) * 2020-05-21 2024-01-23 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111753882A (zh) * 2020-06-01 2020-10-09 Oppo广东移动通信有限公司 图像识别网络的训练方法和装置、电子设备
CN113808003B (zh) * 2020-06-17 2024-02-09 北京达佳互联信息技术有限公司 图像处理模型的训练方法、图像处理方法及装置
CN111918089A (zh) * 2020-08-10 2020-11-10 广州繁星互娱信息科技有限公司 视频流处理方法、视频流显示方法、装置及设备
CN112132011A (zh) * 2020-09-22 2020-12-25 深圳市捷顺科技实业股份有限公司 一种面部识别方法、装置、设备及存储介质
CN112102340A (zh) * 2020-09-25 2020-12-18 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备和计算机可读存储介质
CN112241709A (zh) * 2020-10-21 2021-01-19 北京字跳网络技术有限公司 图像处理方法、胡子变换网络的训练方法、装置
CN112348841B (zh) * 2020-10-27 2022-01-25 北京达佳互联信息技术有限公司 虚拟对象的处理方法、装置、电子设备及存储介质
CN114594851A (zh) * 2020-11-30 2022-06-07 华为技术有限公司 图像处理方法、服务器和虚拟现实设备
KR20220098312A (ko) * 2020-12-31 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 이미지 내 관련 대상 검출 방법, 장치, 디바이스 및 기록 매체
CN112669204A (zh) * 2021-01-04 2021-04-16 北京金山云网络技术有限公司 图像处理方法、图像处理模型的训练方法和装置
CN112800970A (zh) * 2021-01-29 2021-05-14 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN112766214A (zh) * 2021-01-29 2021-05-07 北京字跳网络技术有限公司 一种人脸图像处理方法、装置、设备及存储介质
CN112967216B (zh) * 2021-03-08 2023-06-09 平安科技（深圳）有限公司 人脸图像关键点的检测方法、装置、设备以及存储介质
CN113111817B (zh) * 2021-04-21 2023-06-27 中山大学 语义分割的人脸完整度度量方法、系统、设备及存储介质
CN113284041B (zh) * 2021-05-14 2023-04-18 北京市商汤科技开发有限公司 一种图像处理方法、装置、设备及计算机存储介质
CN113379623B (zh) * 2021-05-31 2023-12-19 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113382275B (zh) * 2021-06-07 2023-03-07 广州博冠信息科技有限公司 直播数据的生成方法、装置、存储介质及电子设备
CN113470124B (zh) * 2021-06-30 2023-09-22 北京达佳互联信息技术有限公司 特效模型的训练方法及装置、特效生成方法及装置
WO2023278808A1 (en) * 2021-07-01 2023-01-05 Zoom Video Communications, Inc. Applying video effects within a video communication session
CN113538273B (zh) * 2021-07-13 2023-09-19 荣耀终端有限公司 图像处理方法及图像处理装置
CN115937379A (zh) * 2021-08-16 2023-04-07 北京字跳网络技术有限公司 一种特效生成方法、装置、电子设备及存储介质
CN113449696B (zh) * 2021-08-27 2021-12-07 北京市商汤科技开发有限公司 一种姿态估计方法、装置、计算机设备以及存储介质
CN113744414B (zh) * 2021-09-06 2022-06-28 北京百度网讯科技有限公司 图像处理方法、装置、设备和存储介质
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US11423853B1 (en) 2021-11-29 2022-08-23 Unity Technologies Sf Increasing resolution and luminance of a display
CN116366933A (zh) * 2021-12-23 2023-06-30 北京字跳网络技术有限公司 一种视频显示方法、装置及电子设备
CN114677386A (zh) * 2022-03-25 2022-06-28 北京字跳网络技术有限公司 特效图像处理方法、装置、电子设备及存储介质
CN114697568B (zh) * 2022-04-07 2024-02-20 脸萌有限公司 特效视频确定方法、装置、电子设备及存储介质
CN114693780A (zh) * 2022-04-11 2022-07-01 北京字跳网络技术有限公司 图像的处理方法、装置、设备、存储介质和程序产品
CN115358958A (zh) * 2022-08-26 2022-11-18 北京字跳网络技术有限公司 特效图生成方法、装置、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002286B1 (en) * 2015-04-28 2018-06-19 Carnegie Mellon University System and method for face recognition robust to multiple degradations
CN108932693A (zh) * 2018-06-15 2018-12-04 中国科学院自动化研究所 基于人脸几何信息的人脸编辑补全方法及装置
CN109360222A (zh) * 2018-10-25 2019-02-19 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质
CN109522863A (zh) * 2018-11-28 2019-03-26 北京达佳互联信息技术有限公司 耳部关键点检测方法、装置及存储介质
CN109816741A (zh) * 2017-11-22 2019-05-28 北京展讯高科通信技术有限公司 一种自适应虚拟唇彩的生成方法及系统
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110189340A (zh) * 2019-06-03 2019-08-30 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110197462A (zh) * 2019-04-16 2019-09-03 浙江理工大学 一种人脸图像实时美化与纹理合成方法
CN110458752A (zh) * 2019-07-18 2019-11-15 西北工业大学 一种基于局部遮挡条件下的图像换脸方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286941B2 (en) * 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
US20150228119A1 (en) * 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US11315173B2 (en) * 2016-09-15 2022-04-26 GlamST LLC Applying virtual makeup products
US11120495B2 (en) * 2016-09-15 2021-09-14 GlamST LLC Generating virtual makeup products
CN108664782B (zh) * 2017-03-28 2023-09-12 三星电子株式会社 面部验证方法和设备
CN109960974A (zh) * 2017-12-22 2019-07-02 北京市商汤科技开发有限公司 人脸关键点检测方法、装置、电子设备及存储介质
US10755477B2 (en) * 2018-10-23 2020-08-25 Hangzhou Qu Wei Technology Co., Ltd. Real-time face 3D reconstruction system and method on mobile device
CN110929651B (zh) 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10002286B1 (en) * 2015-04-28 2018-06-19 Carnegie Mellon University System and method for face recognition robust to multiple degradations
CN109816741A (zh) * 2017-11-22 2019-05-28 北京展讯高科通信技术有限公司 一种自适应虚拟唇彩的生成方法及系统
CN108932693A (zh) * 2018-06-15 2018-12-04 中国科学院自动化研究所 基于人脸几何信息的人脸编辑补全方法及装置
CN109360222A (zh) * 2018-10-25 2019-02-19 北京达佳互联信息技术有限公司 图像分割方法、装置及存储介质
CN109522863A (zh) * 2018-11-28 2019-03-26 北京达佳互联信息技术有限公司 耳部关键点检测方法、装置及存储介质
CN110197462A (zh) * 2019-04-16 2019-09-03 浙江理工大学 一种人脸图像实时美化与纹理合成方法
CN110070056A (zh) * 2019-04-25 2019-07-30 腾讯科技（深圳）有限公司 图像处理方法、装置、存储介质及设备
CN110189340A (zh) * 2019-06-03 2019-08-30 北京达佳互联信息技术有限公司 图像分割方法、装置、电子设备及存储介质
CN110458752A (zh) * 2019-07-18 2019-11-15 西北工业大学 一种基于局部遮挡条件下的图像换脸方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"A study for facial beauty prediction model";Junying Gan et al.;《2015 International Conference on Wavelet Analysis and Pattern Recognition (ICWAPR)》;20151012;第8-13页 *
"基于人脸特征提取的技术研究与应用";闫思阳;《中国优秀硕士学位论文全文数据库信息科技辑》;20180315(第03期);第I138-1868页 *
一种基于人脸检测的虚拟眼镜试戴技术;黄亨利等;《信息通信》;20170615(第06期);第63-66页 *

Also Published As

Publication number Publication date
US11678734B2 (en) 2023-06-20
US20210158021A1 (en) 2021-05-27
CN110929651A (zh) 2020-03-27
US11367307B2 (en) 2022-06-21
US20220301341A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
CN110189340B (zh) 图像分割方法、装置、电子设备及存储介质
CN109859102B (zh) 特效显示方法、装置、终端及存储介质
CN109325924B (zh) 图像处理方法、装置、终端及存储介质
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN109360222B (zh) 图像分割方法、装置及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN111541907A (zh) 物品显示方法、装置、设备及存储介质
CN110827195B (zh) 虚拟物品添加方法、装置、电子设备及存储介质
CN111723803B (zh) 图像处理方法、装置、设备及存储介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
CN111447389A (zh) 视频生成方法、装置、终端及存储介质
CN112581358A (zh) 图像处理模型的训练方法、图像处理方法及装置
CN110807769B (zh) 图像显示控制方法及装置
CN111680758A (zh) 图像训练样本生成方法和装置
CN110189348B (zh) 头像处理方法、装置、计算机设备及存储介质
CN110675473A (zh) 生成gif动态图的方法、装置、电子设备及介质
CN114140342A (zh) 图像处理方法、装置、电子设备及存储介质
CN110891181B (zh) 直播画面显示方法、装置、存储介质及终端
CN110675413B (zh) 三维人脸模型构建方法、装置、计算机设备及存储介质
CN112135191A (zh) 视频编辑方法、装置、终端及存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN110335224B (zh) 图像处理方法、装置、计算机设备及存储介质
CN109561215B (zh) 对美颜功能进行控制的方法、装置、终端及存储介质
CN112399080A (zh) 视频处理方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant