CN109299658A - 脸部检测方法、脸部图像渲染方法、装置及存储介质 - Google Patents
脸部检测方法、脸部图像渲染方法、装置及存储介质 Download PDFInfo
- Publication number
- CN109299658A CN109299658A CN201810954609.0A CN201810954609A CN109299658A CN 109299658 A CN109299658 A CN 109299658A CN 201810954609 A CN201810954609 A CN 201810954609A CN 109299658 A CN109299658 A CN 109299658A
- Authority
- CN
- China
- Prior art keywords
- characteristic point
- network
- image
- face
- occlusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种脸部特征点检测方法、装置、计算机可读存储介质和计算机设备和脸部图像渲染方法、装置、计算机设备和存储介质，该方法包括：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息；根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。本申请提供的方案能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种脸部检测方法、装置、计算机设备和存储介质和脸部图像渲染方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展，脸部识别与跟踪应用在各个领域，如安防领域、图片美容应用等。脸部特征点的检测是脸部识别与跟踪的重要步骤，在很多应用场景都可能出现脸部被遮挡的情况，如头发遮挡，手遮挡，或者脸部有部分在摄像头之外等。目前的脸部特征点检测技术当脸部被遮挡时，存在脸部特征点位置定位不准确和定位信息不全面的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种脸部检测方法、装置、计算机设备和存储介质和脸部图像渲染方法、装置、计算机设备和存储介质，在检测被遮挡物遮挡的脸部特征点时，能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。
一种脸部检测方法，包括：
获取待检测图像；
将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；
获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
一种脸部检测装置，该装置包括：
待检测图像获取模块，用于获取待检测图像；
待检测图像检测模块，用于将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
脸部特征点定位信息输出模块，用于获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；
特征点遮挡状态信息输出模块，用于获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；
脸部部位遮挡区域确定模块，用于根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现以下步骤：
获取待检测图像；
将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；
获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取待检测图像；
将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；
获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
一种脸部图像渲染方法，该方法包括：
获取待检测图像；
将待检测图像输入特征点检测模型；
获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
一种脸部图像渲染装置，该装置包括：
待检测图像获取模块，用于获取待检测图像；
待检测图像检测模块，用于将待检测图像输入特征点检测模型；
特征点检测模型输出模块，用于获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
遮挡区域和/或非遮挡区域确定模块，用于根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
遮挡区域和/或非遮挡区域渲染模块，用于在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现以下步骤：
获取待检测图像；
将待检测图像输入特征点检测模型；
获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：
获取待检测图像；
将待检测图像输入特征点检测模型；
获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
上述脸部检测方法、装置、计算机可读存储介质和计算机设备和脸部图像渲染方法、装置、计算机设备和存储介质，终端获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。通过特征点检测模型的输出的特征点定位信息和特征点遮挡状态信息，不仅可得知待检测图像的各个脸部特征点的具体位置，而且还能够得知各个脸部特征点对应的遮挡状态，因此在检测被遮挡物遮挡的脸部特征点时，不仅能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。进一步地，可利用各个脸部特征点对应的遮挡状态信息和脸部特征点定位信息确定脸部部位的遮挡区域和/或非遮挡区域，进一步可对遮挡区域和非遮挡区域分别进行图像渲染，对被遮挡物遮挡的脸部特征点不进行图像渲染，能够提高图像渲染的准确度，且提升了图像渲染的渲染效果。
附图说明
图1为一个实施例中脸部检测方法的应用环境图；
图2为另一个实施例中脸部检测方法的应用环境图；
图3为一个实施例中脸部检测方法的流程示意图；
图4A为一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图；
图4B为另一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图；
图5A为一个实施例中特征点检测模型的网络结构示意图；
图5B为一个实施例中特征点检测模型的网络结构示意图；
图5C为一个实施例中特征点检测模型的网络结构示意图；
图6为一个实施例中特征点检测模型的训练步骤的流程示意图；
图7为另一个实施例中脸部检测方法的流程示意图；
图8为又一个实施例中脸部检测方法的流程示意图；
图9为一个实施例中脸部检测方法的原理示意图；
图10为一个实施例中在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材的示意图；
图11为一个实施例中脸部图像渲染方法的流程示意图；
图11A为一个实施例中在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材的场景示意图；
图11B为又一个实施例中在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材的场景示意图；
图12为一个实施例中脸部检测装置的结构框图；
图13为另一个实施例中脸部检测装置的结构框图；
图14为一个实施例中脸部图像渲染装置的结构框图；
图15为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个实施例中脸部检测方法的应用环境图。参照图1，该脸部检测方法应用于脸部检测系统。该脸部检测系统包括终端110和服务器120。终端110和服务器120通过网络连接。终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。终端110用于采集待检测图像，其中终端110可以自带图像采集装置，如摄像头等，或者终端110可以与其他外部图像采集装置通过网络连接，或者通过USB线进行连接。服务器120用于进行终端110发送的待检测图像中的脸部检测。
具体地，终端110采集到待检测图像，并将待检测图像发送至服务器120，服务器120获取到待检测图像，将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。最后可将待检测图像的特征点位置和对应的特征点遮挡状态发送至终端110，终端110根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
图2为另一个实施例中脸部检测方法的应用环境图。参照图2，该脸部检测系统包括终端200，终端200为移动终端，移动终端可以是手机、平板电脑和笔记本等中的至少一种。终端200中安装有摄像头210，摄像头用于采集待检测图像220。终端200将摄像头210采集到待检测图像220展示在显示屏上。
具体地，终端200通过自带的摄像头210采集到待检测图像220，将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
如图3所示，在一个实施例中，提供了一种脸部检测方法。本实施例主要以该方法应用于上述图1中的服务器120或者图2中的终端200来举例说明。参照图3，该脸部检测方法具体包括如下步骤：
步骤302，获取待检测图像。
其中，待检测图像为需要检测特征点的图像帧，待检测图像可以为一帧图像或视频序列中的多帧图像。待检测图像可以是通过终端的摄像头实时获取的视频帧，也可以是预先存储的视频序列对应的视频帧等。待检测图像包括但不限于图片、照片、影片等。其中，待检测图像可以是人脸图像，也可以是风景图像或者可以是动物图像，或者是混合图像，该混合图像可以既包括动物图像，又包括人脸图像等。
在一个实施例中，若终端不自带摄像头，终端与外部设备摄像头连接，通过外部设备摄像头实时采集待检测图像，将实时采集到的待检测图像发送至终端，终端接收摄像头发送的待检测图像，终端可以自行对待检测图像进行脸部特征点检测，也可以将待检测图像发送至服务器进行脸部特征点检测。
在一个实施例中，通过终端自带的摄像头实时采集当前视场范围内的待检测图像，或者获取预先存储的视频帧序列对应的视频帧，将预先存储的视频帧作为待检测图像，或者是通过终端截屏获取待检测图像或者是通过可上传待检测图像的应用程序获取待检测图像。
步骤304，将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络。
其中，脸部特征点是脸部一些具有表征能力的关键点，脸部包括但不限于人脸、动物脸部等。脸部特征点可以是但不限于眼睛、鼻子、嘴巴、眉毛和脸部轮廓等。特征点检测模型是用来进行图像中的脸部特征点识别的模型，特征点检测模型可以是由多任务型的神经网络框架训练得到的，多任务包括但不限于特征点定位任务和特征点遮挡状态预测任务，特征点检测模型包括但不限于特征点定位网络和特征点遮挡状态判定网络。其中，特征点定位任务是通过特征点定位网络实现，特征点遮挡状态预测任务通过特征点遮挡状态判定网络实现，而特征点定位网络是用来定位特征点位置的模型网络，特征点遮挡状态判定网络是用来预测特征点遮挡状态的模型网络。特征点检测模型可以是多任务型的深度神经网络、多任务型的卷积神经网络等。
具体地，将获取到的待检测图像输入至已训练好的特征点检测模型中，首先特征点检测模型对待检测图像进行图像特征提取，再通过特征点检测模型中的特征点定位网络和特征点遮挡状态判定网络对提取出的图像特征进行计算，分别输出对应的特征点定位信息和特征点遮挡状态信息。
步骤306，获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息。
其中，特征点定位信息是定位脸部特征点位置的相关信息，可以是表示特征点位置的坐标信息，具体可根据特征点定位信息得知特征点的具体位置。其中，不仅可根据特征点定位信息可得知待检测图像中脸部特征点的具体位置，而且还可根据特征点定位信息预测下一帧待检测图像中脸部特征点的位置。
具体地，将待检测图像输入至已训练好的特征点检测模型后，特征点检测模型提取待检测图像对应的图像特征，将提取出的图像特征输入至特征点检测模型中的特征点定位网络中，特征点定位网络根据输入的图像特征输出对应的脸部特征点定位信息。其中，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息，这里的位置信息包括但不限于各个特征点的坐标位置等。
步骤308，获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
其中，特征点遮挡状态信息是表示特征点遮挡状态的相关信息，遮挡状态可以是被遮挡状态，也可以是未被遮挡状态，可使用标签1来表示被遮挡状态特征点，也可以使用标签0来表示未被遮挡状态特征点，具体可根据特征点遮挡状态信息得知特征点的遮挡状态。其中，不仅可根据特征点遮挡状态信息得知特征点是否被遮挡，而且还可根据特征点遮挡状态信息将被遮挡的特征点的渲染数据过滤掉，渲染数据包括但不限于美妆数据、饰品数据等。
具体地，将获取到的待检测图像输入至已训练好的特征点检测模型中，由于特征点检测模型包括特征点遮挡状态判定网络，因此通过特征点遮挡状态判定网络对待检测图像的图像特征进行计算，输出对应的特征点遮挡状态信息。特征点检测模型具体先对输入的待检测图像进行图像特征提取，将提取出的图像特征输入至特征点遮挡状态判定网络中，特征点遮挡状态判定网络输出对应的特征点遮挡状态信息。其中，特征点遮挡状态信息包括各个特征点的遮挡状态信息。这里的遮挡状态信息可以是遮挡状态的相关信息，也可以是非遮挡状态的相关信息。
在一个实施例中，由于特征点检测模型中的特征点定位网络和特征点遮挡状态判定网络在训练时已经训练成可同步输出对应的特征点定位信息和特征点遮挡状态信息，因此在将待检测图像输入至特征点检测模型时，特征点检测模型中的特征点定位网络和特征点遮挡状态判定网络可同时输出脸部特征点定位信息和特征点遮挡状态信息。
步骤310，根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
其中，遮挡区域是指待检测图像的脸部部位中被遮挡物遮挡的具体部分，非遮挡区域是指待检测图像的脸部部位中未被遮挡物遮挡的具体部分。由于脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，因此可根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
具体地，在获取到特征点检测模型输出的特征点定位信息和特征点遮挡状态信息后，根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。进一步地，通过待检测图像的特征点位置和对应的特征点遮挡状态确定脸部部位的遮挡区域和/或非遮挡区域。如，将特征点遮挡状态为未被遮挡物遮挡的特征点位置确定为非遮挡区域，将特征点遮挡状态为被遮挡物遮挡的特征点位置确定为遮挡区域。
在一个实施例中，如图4A所示，图4A示出一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图。图4A的待检测图像只有部分特征点区域被遮挡了，如右脸被遮挡。将图4A中的待检测图像输入至特征点检测模型，根据特征点检测模型输出的特征点定位信息和特征点遮挡状态信息可得知待检测图像中各个脸部特征点的具体位置，以及各个脸部特征点位置对应的遮挡状态，如不仅可从图4A所示的输出结果得知五官特征点位置，而且还可得知待检测图像中人脸的只有右眼被遮挡物遮挡，即右眼为遮挡区域，其余脸部部位为非遮挡区域。
在一个实施例中，如图4B所示，图4B示出一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图。图4B的待检测图像为半张人脸。将图4B中的待检测图像输入至特征点检测模型，根据特征点检测模型输出的特征点定位信息和特征点遮挡状态信息可得知待检测图像中各个脸部特征点的具体位置，以及各个脸部特征点位置对应的遮挡状态，如不仅可从图4B所示的输出结果得知未遮挡左脸的所有脸部特征点的位置之外，还可预测出被遮挡右脸的所有脸部特征点的位置，即不仅可得知待检测图像中脸部部位的非遮挡区域中各个脸部部位的脸部特征点对应的具体位置，以及遮挡区域中各个脸部部位的脸部特征点对应的具体位置。
上述脸部检测方法，终端获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。通过特征点检测模型的输出的特征点定位信息和特征点遮挡状态信息，不仅可得知待检测图像的各个脸部特征点的具体位置，而且还能够得知各个脸部特征点对应的遮挡状态，因此在检测被遮挡物遮挡的脸部特征点时，不仅能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
其中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络，公共网络为图像特征提取网络，配准公共网络为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络。
其中，公共网络是用来进行图像特征提取的网络，人脸判定网络是用来判定是否为人脸的网络，配准公共网络是为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络，特征点定位网络是用来定位特征点位置的网络，特征点遮挡状态判定网络是用来预测特征点遮挡状态的网络。其中，公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络的网络结构包括但不限于输入层、卷积层、全连接层等，其中输入层与卷积层连接，卷积层与全连接层连接，输入层、卷积层和全连接层的具体数量可根据实际需要进行设置。
具体地，将待检测图像输入公共网络，提取出图像特征，将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果，将共享参数处理结果输入特征点定位网络，输出特征点定位信息，将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息，将图像特征输入人脸判定网络，输出人脸置信度。这里的人脸置信度是用来表征待检测图像为人脸的概率，可从人脸判定网络输出的人脸置信度得知待检测图像为人脸的概率。
在一个实施例中，可自适应选择是否训练配准公共网络，当选择不训练配准公共网络时，即特征点检测模型中不存在配准公共网络，则将这些共享参数分别由特征点定位网络和特征点遮挡状态判定网络处理。
在一个实施例中，由于人脸判定网络是用来判定是否为人脸的网络，由于当其他脸部需进行脸部检测时，其他脸部如动物脸部等，人脸判定网络则无法进行判定，因此特征点检测模型还可以包括脸部判定网络，脸部判定网络用于判定是否为除了人脸之外的其他脸部的网络。其中，在实际操作过程中，特征点检测模型中可根据实际应用环境进行人脸判定网络和/或脸部判定网络的选择设置，这样特征点检测模型不仅可针对人脸进行脸部特征点检测，还可针对其他脸部进行脸部特征点检测，如动物脸部等。
进一步地，将公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络按照预设连接关系进行连接，其中预设连接关系可自定义，自定义可根据应用场景实际需要进行设置。预设连接关系可以是如图5A所示的连接关系，图5A示出一个实施例中特征点检测模型的网络结构示意图。公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络。具体可如图5C所示，图5C所示的特征点检测模型包括公共网络，配准公共网络，特征点遮挡状态判定网络、特征点定位网络和人脸判定网络。公共网络，配准公共网络，特征点遮挡状态判定网络、特征点定位网络和人脸判定网络的网络结构包括但不限于输入层、卷积层、全连接层等，其中输入层与卷积层连接，卷积层与全连接层连接，输入层、卷积层和全连接层的具体数量可根据实际需要进行设置。如图5C中公共网络中的各个长方体可代表输入层、卷积层、全连接层等。
在一个实施例中，若特征点检测模型中不存在配准公共网络，将共享参数分别由特征点定位网络和特征点遮挡状态判定网络处理。则特征点检测模型的网络结构如图5B所示，图5B示出一个实施例中特征点检测模型的网络结构示意图。公共网络为特征点检测模型的输入网络，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络分别与公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络。
在一个实施例中，如图6所示，特征点检测模型的训练步骤包括：
步骤602，获取第一训练数据，第一训练数据包括人脸图像，人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息。
步骤604，根据第一训练数据，对公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持人脸判定网络的模型参数不变，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络。
其中，特征点检测模型预先需通过训练数据训练出来方可进行检测，在将公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络按照预设连接关系组成特征点检测模型后，然后通过训练数据在训练过程中找到各自连接关系处的合适的模型参数。其中，模型参数可以是配准公共网络和人脸判断网络分别与公共网络的连接处的权重值，模型参数也可以是特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络的连接处的权重值。
其中，第一训练数据是用来训练公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络模型参数的数据，第一训练数据包括人脸图像，人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息。第一训练数据可以是图4A、图4B所示的人脸图像。其中，第一训练数据通过终端采集得到，第一训练数据为多个。
具体地，对于公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的训练是一起进行的，在公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的训练过程中，需要保持人脸判定网络的模型参数不变。在获取到第一训练数据，即获取到训练人脸图像后，根据人脸图像中的标定人脸特征点与各个人脸特征点对应的遮挡状态信息进行公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数的训练，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络。第一收敛条件、第二收敛条件可根据实际需要进行自定义。
在一个实施例中，在训练特征点定位网络时，以Ek为损失函数，Ek为损失函数可以为第一收敛条件，Ek损失函数可以为欧式损失函数，其中Ek如下述公式：
其中，Xi 1表示样本标签，Xi 2表示特征点定位网络的实际输出，N表示预设预测分类的数量。损失函数的损失值越小，说明特征点定位网络的输出结果准确性越高。
在一个实施例中，在训练特征点遮挡状态判定网络时，以L作为损失函数，L为损失函数可以为第二收敛条件，L损失函数可以为softmaxloss，其中L如下述公式：
其中，T表示预设预测分类的数量，sj表示属于第j个预设预测分类的概率值。损失函数的损失值越小，说明特征点遮挡状态判定网络的输出结果准确性越高。
步骤606，获取第二训练数据，第二训练数据包括人脸图像和非人脸图像。
步骤608，根据第二训练数据，对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络。
步骤610，将已训练的公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的特征点检测模型。
其中，第二训练数据是用来训练的人脸判定网络的训练数据，第二训练数据包括人脸图像和非人脸图像，人脸图像和非人脸图像都有对应的图像标签，图像标签是用来区分人脸和非人脸的。在实际操作的过程中，人脸图像和非人脸图像会存在一定的配置比例。其中，人脸图像为人类的脸部图像，非人脸图像可以是风景图像、动物图像等。
具体地，在获取到第二训练数据后，根据第二训练数据对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络。第三收敛条件可根据实际需要进行自定义。其中，可根据人脸判定网络的输出结果判定是否为人脸。
在一个实施例中，在训练人脸判定网络时，以L作为损失函数，L为损失函数可以为第三收敛条件，L损失函数可以为softmaxloss，其中L如下述公式：
其中，T表示预设预测分类的数量，sj表示属于第j个预设预测分类的概率值。损失函数的损失值越小，说明人脸判定网络的输出结果准确性越高。
其中，预设连接关系可以是图5A所示的链接关系，如图5A所示，具体地，公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络，得到已训练的特征检测模型。
在一个实施例中，将待检测图像输入特征点检测模型之前，还包括：根据脸部检测算法检测待检测图像的脸部区域；将待检测图像输入特征点检测模型包括：将脸部区域对应的图像输入特征点检测模型。
其中，脸部检测算法是用来精确找出脸部特征点所在的位置的算法，具体根据脸部检测算法检测待检测图像对应的脸部区域，再将该脸部区域对应的图像作为特征点检测模型的输入。具体地，在采集到待检测图像时，根据脸部检测算法检测待检测图像对应的脸部区域，该脸部区域可以为矩形、圆形或者椭圆等形状。其中，在根据脸部检测算法检测待检测图像对应的脸部区域时，可按照预设配置对生成的脸部区域进行调整，预设配置可以是脸部区域的大小，预设配置可以根据实际需求进行设置。进一步地，终端根据部检测算法检测待检测图像的脸部区域后，由于脸部区域内存在脸部图像，将脸部区域对应的图像输入特征点检测模型，最后通过特征点检测模型可输出特征点定位信息和特征点遮挡状态信息等。
在一个实施例中，如图7所示，特征点检测模型包括人脸判定网络，脸部检测方法还包括：
步骤702，获取人脸判定网络输出的第一人脸置信度，当第一人脸置信度超过第一预设阈值时，获取待检测图像对应的下一帧图像。
步骤704，获取待检测图像对应的特征点位置，根据特征点位置确定下一帧图像对应的待检测区域。
步骤706，将待检测区域对应的第二目标图像作为待检测图像，进入将待检测图像输入特征点检测模型的步骤，直至人脸置信度未超过第一预设阈值，结束脸部特征点检测。
其中，第一人脸置信度是用来表征待检测图像为人脸的概率，可从人脸判定网络输出的第一人脸置信度得知待检测图像为人脸的概率。由于待检测图像可能为人脸图像或者非人脸图像，在这些的情况下，将待检测图像输入至特征点检测模型中，特征点检测模型中的人脸判定网络对待检测图像进行判断，根据人脸判定网络输出的第一置信度可以判断待检测图像为人脸的概率为多少。当第一置信度超过第一预设阈值时，说明待检测图像为人脸图像，因此获取待检测图像对应的下一帧图像。其中，第一置信度的数值越高，说明待检测图像为人脸的概率越高。第一预设阈值可根据实际需要设置，也可根据每次输出的人脸置信度进行设置。如第一预设阈值为0.5，第一人脸置信度为0.4，由于第一人脸置信度0.4未超过第一预设阈值，说明待检测图像为非人脸图像，但是由于第一人脸置信度比较高，说明待检测图像可能为动物图像。如第一预设阈值为0.5，第一人脸置信度为0.05，第一人脸置信度0.05不仅未超过第一预设阈值，而且第一人脸置信度的数值非常小，说明待检测图像可能为风景图像。
其中，特征点检测模型不单只包括人脸判定网络，还包括公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入至特征点检测模型，可同时输出第一人脸置信度、特征点定位信息和特征点遮挡状态信息等信息。可根据第一人脸置信度判断待检测图像是否为人脸图像，可根据特征点定位信息和特征点遮挡状态信息获取待检测图像的特征点位置和对应的特征点遮挡状态。进一步地，由于待检测图像和下一帧检测图像比较相似或者相同，因此可根据待检测图像的特征点位置确定下一帧图像对应的待检测区域，该待检测区域内存在下一帧图像中脸部图像。
进一步地，将待检测图像的特征点位置确定下一帧图像对应的待检测区域对应的第二目标图像作为待检测图像，输入至特征点检测模型中，同时得到第二人脸置信度、特征点定位信息和特征点遮挡状态信息等信息，其中第二人脸置信度是用来表征待检测图像是否为人脸的准确度的数值，第二人脸置信度的数值越高，说明待检测图像为人脸的准确度越高。再根据第二置信度判断第二目标图像度为人脸的准确度，若是，则继续根据第二目标图像的特征点位置确定下一帧图像对应的待检测区域，直至特征点检测模型输出的人脸置信度未超过第一预设阈值时，则结束此次脸部特征点检测。若特征点检测模型输出的人脸置信度未超过第一预设阈值时，说明输入图像并不是人脸图像，因此可以结束人脸脸部检测，也可以叫结束人脸跟踪。
在一个实施例中，若待检测图像中有两种种类的脸部，一个种类脸部为人脸，一个种种类为动物脸，将该待检测图像输入至特征点检测模型中，特征点检测模型中的公共网络对该待检测图像进行图像特征提取，将提取出的图像特征输入至配准公共网络、人脸判定网络，再将配准公共网络的输出结果分别输入至特征点定位网络和特征点遮挡状态判定网络中，最后同时输出第一置信度、特征点定位信息和特征点遮挡状态信息。其中，这里的第一置信度包括第一子置信度，第二子置信度，第一子置信度超过第一预设阈值时，说明待检测图像中一个执行主体为人脸，第二子置信度未超过第一预设阈值时，说明待检测图像中另一个执行主体为非人脸。应当说明，当第二子置信度未超过第一预设阈值时，则不对其进行跟踪，而只对超过第一预设阈值对应的执行主体进行跟踪。也就是说，进行图像跟踪的对象可以是人脸，在实际操作过程中，进行图像跟踪的对象可以根据实际应用场景进行设置，可以是人脸，也可以是动物脸，或者即可以是人脸又可以是动物脸等。
在一个实施例中，如图8所示，根据特征点位置确定下一帧图像对应的待检测区域之前，还包括：
步骤802，获取待检测图像对应的特征点位置对应的第一目标图像。
步骤804，将第一目标图像输入至特征点检测模型，得到人脸判定网络输出的第二人脸置信度。
步骤806，当第二人脸置信度超过预设准确度时，判定待检测图像对应的特征点位置准确，进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
具体地，终端在根据特征点位置确定下一帧图像对应的待检测区域之前，需对待检测图像对应的特征点位置的准确度进行判断，于是，该终端将待检测图像对应的特征点位置对应的第一目标图像输入特征点检测模型，得到特征点检测模型中的人脸判定网络输出的第二人脸置信度，以根据第二人脸置信度的数值大小来判定待检测图像对应的特征点位置的准确度。其中，第二人脸置信度的数值越大，说明待检测图像对应的特征点位置定位越准确。
具体地，终端输出第二人脸置信度之后，由于第二人脸置信度可以表征待检测图像对应的特征点位置定位的准确度，当终端根据第二人脸置信度的数据判断出待检测图像对应的特征点位置定位较为准确时，该终端将待检测图像对应的特征点位置准确，则进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
具体地，在根据特征点位置进行图像渲染时，将特征点遮挡状态为不可见状态的目标特征点对应的渲染数据进行过滤，即，特征点遮挡状态为不可见状态的目标特征点不进行图像渲染。
在一个具体的实施例中，提供了一种脸部检测方法，图9为一个实施例中脸部检测方法的原理示意图，如图9所示，该方法具体包括以下步骤：
步骤1002，训练特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络。其中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络，公共网络为图像特征提取网络，配准公共网络为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络。
步骤1002a，获取第一训练数据，第一训练数据包括人脸图像，人脸图像包括标定的人脸特征点和各个人脸特征点对应的遮挡状态信息。
步骤1002b，根据第一训练数据，对公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持人脸判定网络的模型参数不变，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络。
步骤1002c，获取第二训练数据，第二训练数据包括人脸图像和非人脸图像。
步骤1002d，根据第二训练数据，对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络。
步骤1002e，将已训练的公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的特征点检测模型。
步骤1004，如图9所示，在得到已训练的特征点检测模型后，将已训练的特征点检测模型应用到实际的应用场景中，首先终端获取待检测图像，待检测图像可以为图9中的输入图片。
步骤1006，如图9所示，输入图片后，对输入图片进行脸部检测，具体可根据脸部检测算法检测待检测图像的脸部区域，则将脸部区域对应的图像作为待检测图像。
步骤1008，如图9所示，将待检测图像输入至特征点检测模型后，特征点检测模型中的公共网络对待检测图像进行图像特征提取，得到图像特征，即计算结果1。
步骤1010，如图9所示，将公共网络输出的图像特征，即计算结果1，分别输入至人脸判定网络和配准公共网络，分别通过人脸判定网络输出人脸置信度和配准公共网络输出计算结果2，其中计算结果2是处理特征点定位网络和特征点遮挡状态判定网络的一些共享参数对应的结果，再将计算结果2分别输入至特征点定位网络和特征点遮挡状态判定网络，分别得到特征点定位信息和特征点遮挡状态信息。
步骤1012，如图9所示，若人脸判定网络输出人脸置信度未超过预设阈值时，其中预设阈值可以为0.5，说明待检测图像为非人脸图像，则直接输出特征点检测模型输出的特征点定位信息和特征点遮挡状态信息。
步骤1014，根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。
步骤1016，如图9所示，若人脸判定网络输出人脸置信度超过了预设阈值时，则说明待检测图像为人脸图像，此时不仅可直接输出特征点检测模型输出的特征点定位信息和特征点遮挡状态信息，而且还可以进行人脸跟踪。
步骤1018，如图9所示，人脸跟踪具体可以是获取待检测图像对应的下一帧图像。
步骤1020，根据特征点检测模型输出的特征点定位信息获取待检测图像对应的特征点位置。
步骤1022，获取待检测图像对应的特征点位置对应的第一目标图像。
步骤1024，将第一目标图像输入至特征点检测模型，得到人脸判定网络输出的第二人脸置信度。
步骤1026，当第二人脸置信度超过预设准确度时，判定待检测图像对应的特征点位置准确，进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
步骤1028，根据特征点位置确定下一帧图像对应的待检测区域。
步骤1030，将待检测区域对应的第二目标图像作为待检测图像，进入将待检测图像输入特征点检测模型的步骤，直至人脸置信度未超过预设阈值时，结束脸部特征点检测，即结束人脸跟踪。
在一个实施例中，如图11所示，提供了一种脸部图像渲染方法。本实施例主要以该方法应用于上述图1中的服务器120或者图2中的终端200来举例说明。参照图11，该脸部图像渲染方法具体包括如下步骤：
步骤1102，获取待检测图像。
步骤1104，将待检测图像输入特征点检测模型。
步骤1106，获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息。
其中，待检测图像为需要检测特征点的图像帧，待检测图像可以为一帧图像或视频序列中的多帧图像。待检测图像可以是通过终端的摄像头实时获取的视频帧，也可以是预先存储的视频序列对应的视频帧等。待检测图像包括但不限于图片、照片、影片等。其中，待检测图像可以是人脸图像，也可以是风景图像或者可以是动物图像，或者是混合图像，该混合图像可以既包括动物图像，又包括人脸图像等。
其中，脸部特征点是脸部一些具有表征能力的关键点，脸部包括但不限于人脸、动物脸部等。脸部特征点可以是但不限于眼睛、鼻子、嘴巴、眉毛和脸部轮廓等。特征点检测模型是用来进行图像中的脸部特征点识别的模型，特征点检测模型可以是由多任务型的神经网络框架训练得到的，多任务包括但不限于特征点定位任务和特征点遮挡状态预测任务，特征点检测模型包括但不限于特征点定位网络和特征点遮挡状态判定网络。
其中，特征点定位任务是通过特征点定位网络实现，特征点遮挡状态预测任务通过特征点遮挡状态判定网络实现，而特征点定位网络是用来定位特征点位置的模型网络，特征点遮挡状态判定网络是用来预测特征点遮挡状态的模型网络。特征点检测模型可以是多任务型的深度神经网络、多任务型的卷积神经网络等。
具体地，将获取到的待检测输入图像至特征点检测模型中，特征点检测模型中的公共网络对待检测输入图像进行图像特征提取，提取出对应的图像特征。将图像特征输入特征点定位网络和特征点遮挡状态判定网络，分别输出对应的脸部特征点定位信息和特征点遮挡状态信息。
步骤1108，根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域。
其中，遮挡区域是指待检测图像的脸部部位中被遮挡物遮挡的具体部分，非遮挡区域是指待检测图像的脸部部位中未被遮挡物遮挡的具体部分。由于脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，因此可根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
具体地，在获取到特征点检测模型输出的特征点定位信息和特征点遮挡状态信息后，根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。进一步地，通过待检测图像的特征点位置和对应的特征点遮挡状态确定脸部部位的遮挡区域和/或非遮挡区域。如，将特征点遮挡状态为未被遮挡物遮挡的特征点位置确定为非遮挡区域，将特征点遮挡状态为被遮挡物遮挡的特征点位置确定为遮挡区域。
步骤1110，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
其中，渲染素材是用来对待检测图像的脸部部位进行图像渲染的数据，为了最后待检测图像呈现的效果更佳真实，效果更佳，通常会对待检测图像进行图像渲染。图像渲染可以是添加渲染素材，或者可以是过滤渲染素材等。渲染素材可以是美妆数据、装饰品等。这里的美妆数据是指与图像美容美化的数据，饰品数据是指与添加装饰物至图像中相对应位置的数据。
具体地，在根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域后，获取遮挡区域对应的第一渲染素材，将第一渲染素材添加中遮挡区域中，再获取非遮挡区域对应的第二渲染素材，将第二渲染素材添加至非遮挡区域。
如图10所示，图10示出一个实施例中在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材的示意图，图10a所示为待检测图像的原图，若特征点检测模型中未存在特征点遮挡状态判定网络时，在经过特征点检测模型检测时，只能得到待检测图像的各个特征点的具体位置，在进行图像渲染时，即使待检测图像中脸部部分区域的特征点被遮挡物遮挡时，由于特征点检测模型检测不出脸部特征点对应的遮挡状态，因此在进行图像渲染时，会将待检测图像的所有特征点位置都进行图像渲染，如图10b所示，图10b所示的人脸比图10a所示的人脸小了，且图10a所示的人脸上的斑点已被渲染素材遮挡住，即图10b所示的人脸没有了斑点。
本实施例中，将待检测图像输入至特征点检测模型中，特征点检测模型最后不仅会输出特征点定位信息，而且会输出对应的特征点遮挡状态信息。可根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。进一步地，根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域，再在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。在进行图像渲染时，即在对待检测图像的脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材时，可将遮挡区域对应的渲染素材过滤掉，即对遮挡区域的脸部部位不进行图像渲染，如图10c所示。图10c所示的遮挡区域为右眼，其余脸部部位为非遮挡区域，在对待检测图像的脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材时，可将右眼对应的渲染素材过滤掉，将其余脸部部位对应的渲染素材添加至对应的部位。本实施例与将所有的特征点位置都进行图像渲染的实施例相比，将遮挡区域的渲染素材过滤掉，即不对遮挡区域进行图像渲染，能够提高图像渲染的准确度，且能够提升图像渲染的渲染效果。
在一个实施例中，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息包括：获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
其中，特征点定位信息是定位脸部特征点位置的相关信息，可以是表示特征点位置的坐标信息，具体可根据特征点定位信息得知特征点的具体位置。其中，不仅可根据特征点定位信息可得知待检测图像中脸部特征点的具体位置，而且还可根据特征点定位信息预测下一帧待检测图像中脸部特征点的位置。
具体地，将待检测图像输入至已训练好的特征点检测模型后，特征点检测模型提取待检测图像对应的图像特征，将提取出的图像特征输入至特征点检测模型中的特征点定位网络中，特征点定位网络根据输入的图像特征输出对应的脸部特征点定位信息。其中，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息，这里的位置信息包括但不限于各个特征点的坐标位置等。
其中，特征点遮挡状态信息是表示特征点遮挡状态的相关信息，遮挡状态可以是被遮挡状态，也可以是未被遮挡状态，可使用标签1来表示被遮挡状态特征点，也可以使用标签0来表示未被遮挡状态特征点，具体可根据特征点遮挡状态信息得知特征点的遮挡状态。其中，不仅可根据特征点遮挡状态信息得知特征点是否被遮挡，而且还可根据特征点遮挡状态信息将被遮挡的特征点的渲染数据过滤掉，渲染数据包括但不限于美妆数据、饰品数据等。
具体地，将获取到的待检测图像输入至已训练好的特征点检测模型中，由于特征点检测模型包括特征点遮挡状态判定网络，因此通过特征点遮挡状态判定网络对待检测图像的图像特征进行计算，输出对应的特征点遮挡状态信息。特征点检测模型具体先对输入的待检测图像进行图像特征提取，将提取出的图像特征输入至特征点遮挡状态判定网络中，特征点遮挡状态判定网络输出对应的特征点遮挡状态信息。其中，特征点遮挡状态信息包括各个特征点的遮挡状态信息。这里的遮挡状态信息可以是遮挡状态的相关信息，也可以是非遮挡状态的相关信息。
在一个实施例中，根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域，包括：根据脸部特征点定位信息确定待检测图像中脸部部位的各个特征点位置；根据各个特征点位置和各个特征点对应的遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
其中，遮挡区域是指待检测图像的脸部部位中被遮挡物遮挡的具体部分，非遮挡区域是指待检测图像的脸部部位中未被遮挡物遮挡的具体部分。由于脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，因此可根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
具体地，在获取到特征点检测模型输出的特征点定位信息和特征点遮挡状态信息后，根据脸部特征点定位信息确定待检测图像中脸部部位的各个特征点位置，根据各个特征点位置和各个特征点对应的遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。如，将特征点遮挡状态为未被遮挡物遮挡的特征点位置确定为非遮挡区域，将特征点遮挡状态为被遮挡物遮挡的特征点位置确定为遮挡区域。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与各个脸部部位对应的渲染素材；将渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。
具体地，在根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域后，对遮挡区域和/或非遮挡区域进行图像渲染，如为遮挡区域和/或非遮挡区域添加渲染素材。具体先获取各个脸部部位对应的渲染素材，将渲染素材对应的部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。如图11A所示，图11A所示的遮挡区域为右眼，而其余脸部部位为非遮挡区域，先获取各个脸部部位对应的渲染素材，如左眼右眼的渲染素材为海盗眼罩，头部的渲染素材为海盗帽子，嘴部的渲染素材为海盗香烟等。再将获取到的渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。
如图11A所示，将遮挡区域右眼的渲染素材海盗眼罩过滤掉，即其余脸部部位的渲染素材添加至对应的部分，再将该部分对应于非遮挡区域的脸部部位进行渲染展示，如将左眼的渲染素材海盗眼罩添加到左眼进行渲染展示，将头部的渲染素材海盗帽子添加到头部进行渲染展示，将嘴部的渲染素材添加至嘴巴进行渲染展示，最后渲染展示效果如图11A所示。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与脸部部位的遮挡区域对应的第一渲染素材；将第一渲染素材在脸部部位的遮挡区域进行渲染展示。
在一个实施例中，该脸部图像渲染方法还包括：获取与脸部部位的非遮挡区域对应的第二渲染素材；将第二渲染素材在脸部部位的非遮挡区域进行渲染展示。
其中，在根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域后，除了将遮挡区域的渲染素材进行过滤掉后，还有就是在待检测图像中脸部部位的遮挡区域和非遮挡区域对应的渲染素材分别不同，遮挡区域对应的渲染素材更适用于遮挡区域，而非遮挡区域对应的渲染素材更适用于非遮挡区域。具体地，获取与脸部部位的遮挡区域对应的第一渲染素材和与脸部部位的非遮挡区域对应的第二渲染素材，再将第一渲染素材在脸部部位的遮挡区域进行渲染展示，将第二渲染素材在脸部部位的非遮挡区域进行渲染展示。如图11B所示，图11B所示的左眼和右眼被遮挡物手掌遮挡住，即左眼和右眼为遮挡区域，而其余脸部部位为非遮挡区域，图11B所示的人物因为害羞而捂住左眼和右眼，因此可在遮挡区域左眼和右眼添加对应的第一渲染素材为：“害羞素材”，在非遮挡区域添加对应的第二渲染素材，如将香烟添加至嘴巴，将帽子添加至头部等。最后，对遮挡区域和非遮挡区域进行渲染展示，渲染展示效果图如图11B所示。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出脸部特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
其中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络，公共网络为图像特征提取网络，配准公共网络为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络。
其中，公共网络是用来进行图像特征提取的网络，人脸判定网络是用来判定是否为人脸的网络，配准公共网络是为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络，特征点定位网络是用来定位特征点位置的网络，特征点遮挡状态判定网络是用来预测特征点遮挡状态的网络。其中，公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络的网络结构包括但不限于输入层、卷积层、全连接层等，其中输入层与卷积层连接，卷积层与全连接层连接，输入层、卷积层和全连接层的具体数量可根据实际需要进行设置。
具体地，将待检测图像输入公共网络，提取出图像特征，将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果，将共享参数处理结果输入特征点定位网络，输出特征点定位信息，将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息，将图像特征输入人脸判定网络，输出人脸置信度。这里的人脸置信度是用来表征待检测图像为人脸的概率，可从人脸判定网络输出的人脸置信度得知待检测图像为人脸的概率。特征点检测模型具体可如图5C所示。
应该理解的是，上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图12所示，提供了一种脸部检测装置1200，该装置包括：
待检测图像获取模块1202，用于获取待检测图像。
待检测图像检测模块1204，用于将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络。
脸部特征点定位信息输出模块1206，用于获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息。
特征点遮挡状态信息输出模块1208，用于获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
脸部部位遮挡区域确定模块1210，用于根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
在一个实施例中，如图13所示，脸部检测装置1200还包括：
训练数据获取模块1302，用于获取第一训练数据，第一训练数据包括人脸图像，人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息。
训练数据训练模块1304，用于根据第一训练数据，对公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持人脸判定网络的模型参数不变，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络。
训练数据获取模块1302，还用于获取第二训练数据，第二训练数据包括人脸图像和非人脸图像。
训练数据训练模块1304，还用于根据第二训练数据，对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络。
特征点检测模型生成模块1306，用于将已训练的公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的特征点检测模型。
在一个实施例中，脸部检测装置1200还包括：脸部区域检测模块，用于根据脸部检测算法检测待检测图像的脸部区域；待检测图像检测模块还用于将脸部区域对应的图像输入特征点检测模型。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，公共网络为特征点检测模型的输入网络，配准公共网络、人脸判定网络分别与公共网络级联，特征点定位网络和特征点遮挡状态判定网络分别与配准公共网络级联，人脸判定网络、特征点定位网络和特征点遮挡状态判定网络为特征点检测模型的输出网络，公共网络为图像特征提取网络，配准公共网络为特征点定位网络和特征点遮挡状态判定网络的共享参数处理网络。
在一个实施例中，特征点检测模型包括人脸判定网络，脸部检测装置1200还用于获取人脸判定网络输出的第一人脸置信度，当第一人脸置信度超过第一预设阈值时，获取待检测图像对应的下一帧图像；获取待检测图像对应的特征点位置，根据特征点位置确定下一帧图像对应的待检测区域；将待检测区域对应的第二目标图像作为待检测图像，进入将待检测图像输入特征点检测模型的步骤，直至人脸置信度未超过第一预设阈值，结束脸部特征点检测。
在一个实施例中，脸部检测装置1200还用于获取待检测图像对应的特征点位置对应的第一目标图像；将第一目标图像输入至特征点检测模型，得到人脸判定网络输出的第二人脸置信度；当第二人脸置信度超过预设准确度时，判定待检测图像对应的特征点位置准确，进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
在一个实施例中，如图14所示，提供了一种脸部图像渲染装置1400，该装置1400包括：
待检测图像获取模块1402，用于获取待检测图像。
待检测图像检测模块1404，用于将待检测图像输入特征点检测模型。
特征点检测模型输出模块1406，用于获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息。
遮挡区域和/或非遮挡区域确定模块1408，用于根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域。
遮挡区域和/或非遮挡区域渲染模块1410，用于在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
在一个实施例中，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，特征点检测模型输出模块1406还用于获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
在一个实施例中，遮挡区域和/或非遮挡区域确定模块1408还用于根据脸部特征点定位信息确定待检测图像中脸部部位的各个特征点位置；根据各个特征点位置和各个特征点对应的遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
在一个实施例中，遮挡区域和/或非遮挡区域渲染模块1410还用于获取与各个脸部部位对应的渲染素材；将渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。
在一个实施例中，遮挡区域和/或非遮挡区域渲染模块1410还用于获取与脸部部位的遮挡区域对应的第一渲染素材；将第一渲染素材在脸部部位的遮挡区域进行渲染展示。
在一个实施例中，脸部图像渲染装置1400还用于获取与脸部部位的非遮挡区域对应的第二渲染素材；将第二渲染素材在脸部部位的非遮挡区域进行渲染展示。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，待检测图像检测模块1404还用于将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出脸部特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
图15示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的终端110或者图2中的终端200。如图15所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现脸部检测方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行脸部检测方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，本申请提供的脸部特征点检测装置可以实现为一种计算机程序的形式，计算机程序可在如图15所示的计算机设备上运行。计算机设备的存储器中可存储组成该脸部检测装置的各个程序模块，比如，图12所示的待检测图像获取模块、待检测图像检测模块、脸部特征点定位信息输出模块、特征点遮挡状态信息输出模块和脸部部位遮挡区域确定模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的脸部检测方法中的步骤。
例如，图15所示的计算机设备可以通过如图12所示的脸部检测装置中的待检测图像获取模块执行获取待检测图像；待检测图像检测模块执行将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；脸部特征点定位信息输出模块执行获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；特征点遮挡状态信息输出模块执行获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；脸部部位遮挡区域确定模块执行根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息；根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
在一个实施例中，特征点检测模型的训练步骤包括：获取第一训练数据，第一训练数据包括人脸图像，人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息；根据第一训练数据，对公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持人脸判定网络的模型参数不变，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络；获取第二训练数据，第二训练数据包括人脸图像和非人脸图像；根据第二训练数据，对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络；将已训练的公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的特征点检测模型。
在一个实施例中，将待检测图像输入特征点检测模型之前，还包括：根据脸部检测算法检测待检测图像的脸部区域；将待检测图像输入特征点检测模型包括：将脸部区域对应的图像输入特征点检测模型。
在一个实施例中，特征点检测模型包括人脸判定网络，方法还包括：获取人脸判定网络输出的第一人脸置信度，当第一人脸置信度超过第一预设阈值时，获取待检测图像对应的下一帧图像；获取待检测图像对应的特征点位置，根据特征点位置确定下一帧图像对应的待检测区域；将待检测区域对应的第二目标图像作为待检测图像，进入将待检测图像输入特征点检测模型的步骤，直至人脸置信度未超过第一预设阈值，结束脸部特征点检测。
在一个实施例中，根据特征点位置确定下一帧图像对应的待检测区域之前，还包括：获取待检测图像对应的特征点位置对应的第一目标图像；将第一目标图像输入至特征点检测模型，得到人脸判定网络输出的第二人脸置信度；当第二人脸置信度超过预设准确度时，判定待检测图像对应的特征点位置准确，进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息；根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
在一个实施例中，特征点检测模型的训练步骤包括：获取第一训练数据，第一训练数据包括人脸图像，人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息；根据第一训练数据，对公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持人脸判定网络的模型参数不变，直到特征点定位网络的输出满足第一收敛条件，且特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络；获取第二训练数据，第二训练数据包括人脸图像和非人脸图像；根据第二训练数据，对人脸判定网络的模型参数进行训练，训练过程中保持公共网络、配准公共网络、特征点定位网络和特征点遮挡状态判定网络的模型参数不变，直到人脸判定网络的输出满足第三收敛条件，得到已训练的人脸判定网络；将已训练的公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的特征点检测模型。
在一个实施例中，将待检测图像输入特征点检测模型之前，还包括：根据脸部检测算法检测待检测图像的脸部区域；将待检测图像输入特征点检测模型包括：将脸部区域对应的图像输入特征点检测模型。
在一个实施例中，特征点检测模型包括人脸判定网络，所述计算机程序还使得所述处理器执行如下步骤：获取人脸判定网络输出的第一人脸置信度，当第一人脸置信度超过第一预设阈值时，获取待检测图像对应的下一帧图像；获取待检测图像对应的特征点位置，根据特征点位置确定下一帧图像对应的待检测区域；将待检测区域对应的第二目标图像作为待检测图像，进入将待检测图像输入特征点检测模型的步骤，直至人脸置信度未超过第一预设阈值，结束脸部特征点检测。
在一个实施例中，根据特征点位置确定下一帧图像对应的待检测区域之前，还包括：获取待检测图像对应的特征点位置对应的第一目标图像；将第一目标图像输入至特征点检测模型，得到人脸判定网络输出的第二人脸置信度；当第二人脸置信度超过预设准确度时，判定待检测图像对应的特征点位置准确，进入根据特征点位置确定下一帧图像对应的待检测区域的步骤。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型；获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
在一个实施例中，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息包括：获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
在一个实施例中，根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域，包括：根据脸部特征点定位信息确定待检测图像中脸部部位的各个特征点位置；根据各个特征点位置和各个特征点对应的遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与各个脸部部位对应的渲染素材；将渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与脸部部位的遮挡区域对应的第一渲染素材；将第一渲染素材在脸部部位的遮挡区域进行渲染展示。
在一个实施例中，所述计算机程序还使得所述处理器执行如下步骤：获取与脸部部位的非遮挡区域对应的第二渲染素材；将第二渲染素材在脸部部位的非遮挡区域进行渲染展示。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出脸部特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
在一个实施例中，提出了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型；获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
在一个实施例中，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息包括：获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息。
在一个实施例中，根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域，包括：根据脸部特征点定位信息确定待检测图像中脸部部位的各个特征点位置；根据各个特征点位置和各个特征点对应的遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与各个脸部部位对应的渲染素材；将渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；获取渲染素材对应于脸部部位中非遮挡区域的第二子部分，将第二子部分对应于非遮挡区域的脸部部位进行渲染展示。
在一个实施例中，在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：获取与脸部部位的遮挡区域对应的第一渲染素材；将第一渲染素材在脸部部位的遮挡区域进行渲染展示。
在一个实施例中，所述计算机程序还使得所述处理器执行如下步骤：获取与脸部部位的非遮挡区域对应的第二渲染素材；将第二渲染素材在脸部部位的非遮挡区域进行渲染展示。
在一个实施例中，特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，将待检测图像输入特征点检测模型，包括：将待检测图像输入公共网络，提取出图像特征；将图像特征输入配准公共网络，计算出特征点定位网络和特征点遮挡状态判定网络对应的共享参数处理结果；将共享参数处理结果输入特征点定位网络，输出脸部特征点定位信息；将共享参数处理结果输入特征点遮挡状态判定网络，输出特征点遮挡状态信息；将图像特征输入人脸判定网络，输出人脸置信度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (15)
1.一种脸部检测方法，包括：
获取待检测图像；
将所述待检测图像输入特征点检测模型，所述特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
获取所述特征点定位网络输出的脸部特征点定位信息，所述脸部特征点定位信息包括所述待检测图像的脸部部位的各个特征点的位置信息；
获取所述特征点遮挡状态判定网络输出的特征点遮挡状态信息，所述特征点遮挡状态信息包括所述各个特征点的遮挡状态信息；
根据所述脸部特征点定位信息和所述特征点遮挡状态信息确定所述脸部部位的遮挡区域和/或非遮挡区域。
2.根据权利要求1所述的方法，其特征在于，所述特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，所述将所述待检测图像输入特征点检测模型，包括：
将所述待检测图像输入所述公共网络，提取出图像特征；
将所述图像特征输入所述配准公共网络，计算出所述特征点定位网络和所述特征点遮挡状态判定网络对应的共享参数处理结果；
将所述共享参数处理结果输入所述特征点定位网络，输出特征点定位信息；
将所述共享参数处理结果输入所述特征点遮挡状态判定网络，输出特征点遮挡状态信息；将所述图像特征输入所述人脸判定网络，输出人脸置信度。
3.根据权利要求2所述的方法，其特征在于，所述特征点检测模型的训练步骤包括：
获取第一训练数据，所述第一训练数据包括人脸图像，所述人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息；
根据所述第一训练数据，对所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持所述人脸判定网络的模型参数不变，直到所述特征点定位网络的输出满足第一收敛条件，且所述特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络；
获取第二训练数据，所述第二训练数据包括人脸图像和非人脸图像；
根据所述第二训练数据，对所述人脸判定网络的模型参数进行训练，训练过程中保持所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络的模型参数不变，直到所述人脸判定网络的输出满足第三收敛条件，得到已训练的所述人脸判定网络；
将所述已训练的所述公共网络、所述配准公共网络、所述人脸判定网络、所述特征点定位网络和所述特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的所述特征点检测模型。
4.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入特征点检测模型之前，还包括：
根据脸部检测算法检测所述待检测图像的脸部区域；
所述将所述待检测图像输入特征点检测模型包括：
将所述脸部区域对应的图像输入特征点检测模型。
5.根据权利要求1所述的方法，其特征在于，所述特征点检测模型包括人脸判定网络，所述方法还包括：
获取所述人脸判定网络输出的第一人脸置信度，当所述第一人脸置信度超过第一预设阈值时，获取所述待检测图像对应的下一帧图像；
获取所述待检测图像对应的特征点位置，根据所述特征点位置确定所述下一帧图像对应的待检测区域；
将所述待检测区域对应的第二目标图像作为待检测图像，进入所述将所述待检测图像输入特征点检测模型的步骤，直至所述人脸置信度未超过第一预设阈值，结束脸部特征点检测。
6.根据权利要求5所述的方法，其特征在于，所述根据所述特征点位置确定所述下一帧图像对应的待检测区域之前，还包括：
获取所述待检测图像对应的特征点位置对应的第一目标图像；
将所述第一目标图像输入至所述特征点检测模型，得到所述人脸判定网络输出的第二人脸置信度；
当所述第二人脸置信度超过预设准确度时，判定所述待检测图像对应的特征点位置准确，进入所述根据所述特征点位置确定所述下一帧图像对应的待检测区域的步骤。
7.一种脸部图像渲染方法，包括：
获取待检测图像；
将所述待检测图像输入特征点检测模型；
获取所述特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
根据所述脸部特征点定位信息和特征点遮挡状态信息确定所述待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
在所述待检测图像中为所述脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
8.根据权利要求7所述的方法，其特征在于，所述特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络，所述获取所述特征点检测模型输出的特征点定位信息和特征点遮挡状态信息包括：
获取所述特征点定位网络输出的脸部特征点定位信息，所述脸部特征点定位信息包括所述待检测图像的脸部部位的各个特征点的位置信息；
获取所述特征点遮挡状态判定网络输出的特征点遮挡状态信息，所述特征点遮挡状态信息包括所述各个特征点的遮挡状态信息。
9.根据权利要求7所述的方法，其特征在于，所述根据所述脸部特征点定位信息和特征点遮挡状态信息确定所述待检测图像中的脸部部位的遮挡区域和/或非遮挡区域，包括：
根据所述脸部特征点定位信息确定所述待检测图像中脸部部位的各个特征点位置；
根据所述各个特征点位置和各个特征点对应的遮挡状态信息确定所述脸部部位的遮挡区域和/或非遮挡区域。
10.根据权利要求7所述的方法，其特征在于，所述在所述待检测图像中为所述脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：
获取与各个脸部部位对应的渲染素材；
将所述渲染素材对应于脸部部位中遮挡区域的第一子部分过滤；
获取所述渲染素材对应于脸部部位中非遮挡区域的第二子部分，将所述第二子部分对应于所述非遮挡区域的脸部部位进行渲染展示。
11.根据权利要求7所述的方法，其特征在于，所述在所述待检测图像中为所述脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材，包括：
获取与所述脸部部位的遮挡区域对应的第一渲染素材；
将所述第一渲染素材在所述脸部部位的遮挡区域进行渲染展示。
12.根据权利要求11所述的方法，其特征在于，所述方法还包括：
获取与所述脸部部位的非遮挡区域对应的第二渲染素材；
将所述第二渲染素材在所述脸部部位的非遮挡区域进行渲染展示。
13.一种脸部检测装置，其特征在于，所述装置包括：
待检测图像获取模块，用于获取待检测图像；
待检测图像检测模块，用于将所述待检测图像输入特征点检测模型，所述特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；
脸部特征点定位信息输出模块，用于获取所述特征点定位网络输出的脸部特征点定位信息，所述脸部特征点定位信息包括所述待检测图像的脸部部位的各个特征点的位置信息；
特征点遮挡状态信息输出模块，用于获取所述特征点遮挡状态判定网络输出的特征点遮挡状态信息，所述特征点遮挡状态信息包括所述各个特征点的遮挡状态信息；
脸部部位遮挡区域确定模块，用于根据所述脸部特征点定位信息和所述特征点遮挡状态信息确定所述脸部部位的遮挡区域和/或非遮挡区域。
14.一种脸部图像渲染装置，其特征在于，所述装置包括：待检测图像获取模块，用于获取待检测图像；
待检测图像检测模块，用于将所述待检测图像输入特征点检测模型；
特征点检测模型输出模块，用于获取所述特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；
遮挡区域和/或非遮挡区域确定模块，用于根据所述脸部特征点定位信息和特征点遮挡状态信息确定所述待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；
遮挡区域和/或非遮挡区域渲染模块，用于在所述待检测图像中为所述脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。
15.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至12中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954609.0A CN109299658B (zh) | 2018-08-21 | 2018-08-21 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810954609.0A CN109299658B (zh) | 2018-08-21 | 2018-08-21 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109299658A true CN109299658A (zh) | 2019-02-01 |
| CN109299658B CN109299658B (zh) | 2022-07-08 |
Family
ID=65165328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810954609.0A Active CN109299658B (zh) | 2018-08-21 | 2018-08-21 | 脸部检测方法、脸部图像渲染方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109299658B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188780A (zh) * | 2019-06-03 | 2019-08-30 | 电子科技大学中山学院 | 用于定位多目标特征点的深度学习模型的构建方法及装置 |
| CN110263695A (zh) * | 2019-06-14 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
| CN112036241A (zh) * | 2020-07-27 | 2020-12-04 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| WO2021017286A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机非易失性可读存储介质 |
| CN112418195A (zh) * | 2021-01-22 | 2021-02-26 | 电子科技大学中山学院 | 一种人脸关键点检测方法、装置、电子设备及存储介质 |
| CN112560584A (zh) * | 2020-11-27 | 2021-03-26 | 北京芯翌智能信息技术有限公司 | 一种人脸检测方法及装置、存储介质、终端 |
| WO2023273414A1 (zh) * | 2021-06-30 | 2023-01-05 | 上海商汤智能科技有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN116883670A (zh) * | 2023-08-11 | 2023-10-13 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| US20150110349A1 (en) * | 2013-10-22 | 2015-04-23 | Samsung Electronics Co., Ltd. | Face tracking apparatuses and methods |
| CN106295567A (zh) * | 2016-08-10 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种关键点的定位方法及终端 |
| US20170140211A1 (en) * | 2014-03-28 | 2017-05-18 | Nec Corporation | Face comparison device, method, and recording medium |
| US20170140210A1 (en) * | 2015-11-16 | 2017-05-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN107657664A (zh) * | 2017-08-17 | 2018-02-02 | 上海交通大学 | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 |
| CN107679497A (zh) * | 2017-10-11 | 2018-02-09 | 齐鲁工业大学 | 视频面部贴图特效处理方法及生成系统 |
| CN107909065A (zh) * | 2017-12-29 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 用于检测人脸遮挡的方法及装置 |
| CN107958439A (zh) * | 2017-11-09 | 2018-04-24 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
| CN108288248A (zh) * | 2018-01-02 | 2018-07-17 | 腾讯数码（天津）有限公司 | 一种眼部图像融合方法及其设备、存储介质、终端 |
| CN108319953A (zh) * | 2017-07-27 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
-
2018
- 2018-08-21 CN CN201810954609.0A patent/CN109299658B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102682420A (zh) * | 2012-03-31 | 2012-09-19 | 北京百舜华年文化传播有限公司 | 一种真实人物图像转换为卡通风格图像的方法及装置 |
| US20150110349A1 (en) * | 2013-10-22 | 2015-04-23 | Samsung Electronics Co., Ltd. | Face tracking apparatuses and methods |
| US20170140211A1 (en) * | 2014-03-28 | 2017-05-18 | Nec Corporation | Face comparison device, method, and recording medium |
| US20170140210A1 (en) * | 2015-11-16 | 2017-05-18 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| CN106295567A (zh) * | 2016-08-10 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种关键点的定位方法及终端 |
| CN108319953A (zh) * | 2017-07-27 | 2018-07-24 | 腾讯科技（深圳）有限公司 | 目标对象的遮挡检测方法及装置、电子设备及存储介质 |
| CN107657664A (zh) * | 2017-08-17 | 2018-02-02 | 上海交通大学 | 人脸表情合成后的图像优化方法、装置、存储介质和计算机设备 |
| CN107590482A (zh) * | 2017-09-29 | 2018-01-16 | 百度在线网络技术（北京）有限公司 | 信息生成方法和装置 |
| CN107679497A (zh) * | 2017-10-11 | 2018-02-09 | 齐鲁工业大学 | 视频面部贴图特效处理方法及生成系统 |
| CN107958439A (zh) * | 2017-11-09 | 2018-04-24 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN107909065A (zh) * | 2017-12-29 | 2018-04-13 | 百度在线网络技术（北京）有限公司 | 用于检测人脸遮挡的方法及装置 |
| CN108288248A (zh) * | 2018-01-02 | 2018-07-17 | 腾讯数码（天津）有限公司 | 一种眼部图像融合方法及其设备、存储介质、终端 |
| CN108062791A (zh) * | 2018-01-12 | 2018-05-22 | 北京奇虎科技有限公司 | 一种重建人脸三维模型的方法和装置 |
Non-Patent Citations (3)
| Title |
|---|
| LIU Q ET AL: "Adaptive cascade regression model for robust face alignment", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
| 于佳骏: "数据驱动的人像卡通与表情动画生成技术", 《中国优秀博硕士学位论文全文数据库(硕士)》 * |
| 赵艳丹等: "基于人脸特征和线积分卷积的肖像素描生成", 《计算机辅助设计与图形学学报》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188780A (zh) * | 2019-06-03 | 2019-08-30 | 电子科技大学中山学院 | 用于定位多目标特征点的深度学习模型的构建方法及装置 |
| CN110263695A (zh) * | 2019-06-14 | 2019-09-20 | 北京达佳互联信息技术有限公司 | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
| CN110263695B (zh) * | 2019-06-14 | 2021-07-16 | 北京达佳互联信息技术有限公司 | 人脸部位的位置获取方法、装置、电子设备及存储介质 |
| WO2021017286A1 (zh) * | 2019-08-01 | 2021-02-04 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机非易失性可读存储介质 |
| CN112036241A (zh) * | 2020-07-27 | 2020-12-04 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| CN112560584A (zh) * | 2020-11-27 | 2021-03-26 | 北京芯翌智能信息技术有限公司 | 一种人脸检测方法及装置、存储介质、终端 |
| CN112418195A (zh) * | 2021-01-22 | 2021-02-26 | 电子科技大学中山学院 | 一种人脸关键点检测方法、装置、电子设备及存储介质 |
| WO2023273414A1 (zh) * | 2021-06-30 | 2023-01-05 | 上海商汤智能科技有限公司 | 图像处理方法、装置、设备以及存储介质 |
| CN116883670A (zh) * | 2023-08-11 | 2023-10-13 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
| CN116883670B (zh) * | 2023-08-11 | 2024-05-14 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109299658B (zh) | 2022-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109299658A (zh) | 脸部检测方法、脸部图像渲染方法、装置及存储介质 | |
| CN110662484B (zh) | 用于全身测量结果提取的系统和方法 | |
| CN106951867B (zh) | 基于卷积神经网络的人脸识别方法、装置、系统及设备 | |
| CN112215180B (zh) | 一种活体检测方法及装置 | |
| CN110136103A (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| CN110210276A (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
| CN110490212A (zh) | 钼靶影像处理设备、方法和装置 | |
| CN109657583A (zh) | 脸部关键点检测方法、装置、计算机设备和存储介质 | |
| CN109508638A (zh) | 人脸情绪识别方法、装置、计算机设备及存储介质 | |
| CN109657533A (zh) | 行人重识别方法及相关产品 | |
| CN110309876A (zh) | 目标检测方法、装置、计算机可读存储介质和计算机设备 | |
| CN109886241A (zh) | 基于长短期记忆网络的驾驶员疲劳检测 | |
| CN108647625A (zh) | 一种表情识别方法及装置 | |
| CN105518744A (zh) | 行人再识别方法及设备 | |
| CN106326857A (zh) | 基于人脸图像的性别识别方法及装置 | |
| CN110059546A (zh) | 基于频谱分析的活体识别方法、装置、终端及可读介质 | |
| CN109886153A (zh) | 一种基于深度卷积神经网络的实时人脸检测方法 | |
| CN108447061A (zh) | 商品信息处理方法、装置、计算机设备和存储介质 | |
| CN109670517A (zh) | 目标检测方法、装置、电子设备和目标检测模型 | |
| CN110175974A (zh) | 图像显著性检测方法、装置、计算机设备和存储介质 | |
| CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| Luo et al. | ClawGAN: Claw connection-based generative adversarial networks for facial image translation in thermal to RGB visible light | |
| CN108875500A (zh) | 行人再识别方法、装置、系统及存储介质 | |
| CN108875501A (zh) | 人体属性识别方法、装置、系统及存储介质 | |
| CN117037244A (zh) | 人脸安全检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |