CN109635674A - 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 - Google Patents

一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 Download PDF

Info

Publication number
CN109635674A
CN109635674A CN201811400669.4A CN201811400669A CN109635674A CN 109635674 A CN109635674 A CN 109635674A CN 201811400669 A CN201811400669 A CN 201811400669A CN 109635674 A CN109635674 A CN 109635674A
Authority
CN
China
Prior art keywords
convolutional neural
neural networks
posture
network
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811400669.4A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201811400669.4A priority Critical patent/CN109635674A/zh
Publication of CN109635674A publication Critical patent/CN109635674A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其主要内容包括：姿态适应的树突状卷积神经网络、模块化辅助任务卷积神经网络、对姿态适应的树突状卷积神经网络的训练和面部特征点树状结构，其过程为，先将RGB人脸图像输入到PCD‑CNN，在多层卷积网络和多层反卷积网络中进行模拟，以提取面部特征点；然后，将PCD‑CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络；最后，对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度。本发明减少了网络的参数量和滤波器的数量，提高了网络的学习效率，并且采用了模块化辅助任务卷积神经网络，提高了人脸对齐的精度。

Description

一种基于姿态适应的树突状卷积神经网络的人脸对齐方法
技术领域
本发明涉及人脸识别领域，尤其是涉及了一种基于姿态适应的树突状卷积神经网络的人脸对齐方法。
背景技术
人脸对齐任务是人脸识别过程的一个步骤，即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。在人脸识别方面，通过人脸对齐技术可调整人的面部特征的角度，使其在特征对比阶段有更高的精度；在表情识别领域，通过人脸对齐技术可精确捕捉到人的面部表情，以对其情绪进行判定；在人脸动画自动合成方面，通过人脸对齐技术可对人的表情进行提取，并用于该人物动画表情的合成。然而，目前的人脸识别系统运算复杂程度较高，运算效率低，并且识别的精确性也不够高，尤其对极端姿势的识别效果不佳。
本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，先将RGB人脸图像输入到PCD-CNN，在多层卷积网络和多层去卷积网络中进行模拟，以提取面部特征点；然后，将PCD-CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络；最后，对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度。本发明减少了网络的参数量和滤波器的数量，提高了网络的学习效率，并且采用了模块化辅助任务卷积神经网络，提高了人脸对齐的精度。
发明内容
针对目前的人脸识别系统运算复杂程度较高，运算效率低，并且识别的精确性也不够高等问题，本发明中提出的一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，先将RGB人脸图像输入到PCD-CNN，在多层卷积网络和多层去卷积网络中进行模拟，模拟过程能输出人脸面部姿势，从中提取面部特征点；然后，将PCD-CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络，模块化辅助任务卷积神经网络是通用的卷积神经网络，用于运行人脸对齐的辅助任务：最后，执行人脸对齐的辅助任务，即对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度，尤其对极端面部姿势的人脸对齐效果。
为解决上述问题，本发明提供一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其主要内容包括：
(一)姿态适应的树突状卷积神经网络；
(二)模块化辅助任务卷积神经网络；
(三)对姿态适应的树突状卷积神经网络的训练；
(四)面部特征点树状结构。
其中，所述的姿态适应的树突状卷积神经网络，具体包括：由多层卷积网络和多层去卷积网络组成，其作用主要是对人脸图像的特征点进行估计；人脸图像特征点估计主要通过使用卷积层和去卷积层组成的树结构中的独立CNN进行，CNN为卷积神经网络；不同特征点的成对关系通过函数fi,j进行模拟，fi,j通过卷积层实现；姿态适应的树突状卷积神经网络完全基于2D图像，通过对3D头部姿态的调节来捕捉3D信息，其中，姿态适应的树突状卷积神经网络表示为PCD-CNN。
进一步地，所述的多层卷积网络，多层卷积网络基于Squeezenet-11体系结构，作用于姿态和关键点，分别为PoseNet和KeypointNet；多层卷积在PoseNet的池化层pool8的激活映射上执行，然后将其响应结果与KeypointNet的池化层pool8的响应结果逐个相乘；每个卷积层之后是线性整流函数非线性化和批量归一化过程，可减少特征点的定位误差。
进一步地，所述的多层去卷积网络，为了保持与SqueezeNet相同的属性，首先使用参数化的跨步卷积对特征映射进行上采样，然后使用1×1卷积来压缩输出特征映射，此网络可表示为Squeezenet-DeconvNet，由此每个特征点都由独立的Squeezenet-DeconvNet网络进行建模，减少了去卷积网络的参数量；在Squeezenet-DeconvNet中，只有32或16个去卷积滤波器，此设计控制了网络体量，能够适应单一GPU的情况，并提高了网络的学习效率。
进一步地，所述的对3D头部姿态的调节，主要采用贝叶斯方法进行，PCD-CNN基于2D图像运行，而2D图像中人的姿态通常为3D，采用3D姿态适应可从姿态中获取特征点的2D坐标，此过程可用贝叶斯概率公式表示：
P(C,P,I)＝P(C|P,I)P(P|I)P(I) (1)
其中，I表示输入的RGB人脸图像，P表示3D头部姿态，C表示2D特征点；P()表示概率，P(|)为条件概率，P(,,)为联合概率；P(I)表示得到2D图像的概率，P(P|I)为在已知2D人脸图像的条件下得到3D头部姿态的概率，通过基于图像的卷积神经网络得到；P(C,P|I)为已知2D人脸图像条件下得到3D头部姿态和特征点的概率，P(C|P,I)为已知2D人脸图像和3D头部姿态的条件下的概率；P(P|I)通过基于图像的卷积网络进行模拟，P(C|P,I)通过PCD-CNN进行模拟；与传统的多任务方法对联合概率分布相比，本方法通过对个体因素概率分布的模拟，对图像的处理更具有实时性和精确性。
其中，所述的模块化辅助任务卷积神经网络，具体包括：是通用卷积神经网络，用于运行人脸对齐的辅助任务，以提高人脸对齐的精度；人脸对齐的辅助任务包括：细粒度定位和遮脸探测；细粒度定位：为了获得细粒度定位结果，找到输入数据即预测概率的学习函数，并通过第二个卷积网络传递输入数据，该函数由具有1×1和3×3滤波器的残差单元进行模拟；遮脸探测：将模块化辅助任务卷积神经网络在COFW数据集上训练，训练方法与训练PCD-CNN的方法相同，使网络具有在面部被遮挡的情况下找到特征点的能力，其中，COFW数据集为面部遮挡图像数据集。
其中，所述的对姿态适应的树突状卷积神经网络的训练，具体包括：主要应用采样策略进行有效训练，采样策略包括掩饰最大柔性函数损失法和硬样本采集法，可提升PCD-CNN的性能，降低其进行人脸对齐任务的误差。
进一步地，所述的掩饰最大柔性函数损失法，在训练过程中，将特征点定位过程进行公式化，使其成为一个分类过程；将输入图像的尺寸大小用N+1个通道表示，其中N为特征点的数量，前N个通道表示每个关键点的位置，最后一个通道表示背景，每个像素分配一个类标签，PCD-CNN并不假定所有的关键点都是可见的，其中不可见点标记为背景，使以下函数损失最小化：
其中，L0表示函数损失，k为分类指数，k∈{1,2…N}，N为特征点的数量，(i,j)表示坐标点，p,g分别为预测向量和真实可见性向量，h为图像高度，w为图像宽度，m为掩饰点；gk(i,j)为点(i,j)的真值，pk(i,j)表示特征点分类是在点(i,j)的得分，pl(i,j)为网络正向运行时在点(i,j)的得分。
进一步地，所述的硬样本采集法，在通过10个时期的随机抽样训练后绘制训练数据的误差直方图，将分布模式表示为C，并将产生大于C的误差的所有训练样本分类为硬样本；接下来，用简单的样本重新训练PCD-CNN，以相应的比例取样。
其中，所述的面部特征点树状结构，具体包括：PCD-CNN定位的特征点相连接，以实现在特征点之间进行有效的信息共享，其中鼻尖假定是根节点的面部标志；树状结构的节点是去卷积网络的输出，而节点i和j之间的边缘由卷积函数fi,j模拟，在模拟过程中，卷积内核控制为14×14，以确保关联更紧密且关系稳定的特征点连接在一起，提升人脸对齐的精度。
附图说明
图1是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的系统框架图。
图2是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的流程图。
图3是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的面部特征点树状结构图。
图4是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的多层去卷积网络图。
图5是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的实验效果图。
图6是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的实验结果曲线图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的系统框架图。主要内容包括：姿态适应的树突状卷积神经网络、模块化辅助任务卷积神经网络、对姿态适应的树突状卷积神经网络的训练和面部特征点树状结构。
姿态适应的树突状卷积神经网络，具体包括：由多层卷积网络和多层去卷积网络组成，其作用主要是对人脸图像的特征点进行估计；人脸图像特征点估计主要通过使用卷积层和去卷积层组成的树结构中的独立CNN进行，CNN为卷积神经网络；不同特征点的成对关系通过函数fi,j进行模拟，fi,j通过卷积层实现；姿态适应的树突状卷积神经网络完全基于2D图像，通过对3D头部姿态的调节来捕捉3D信息，其中，姿态适应的树突状卷积神经网络表示为PCD-CNN。
其中，多层卷积网络，基于Squeezenet-11体系结构，作用于姿态和关键点，分别为PoseNet和KeypointNet；多层卷积在PoseNet的池化层pool8的激活映射上执行，然后将其响应结果与KeypointNet的池化层pool8的响应结果逐个相乘；每个卷积层之后是线性整流函数非线性化和批量归一化过程，可减少特征点的定位误差。
其中，对3D头部姿态的调节，主要采用贝叶斯方法进行，PCD-CNN基于2D图像运行，而2D图像中人的姿态通常为3D，采用3D姿态适应可从姿态中获取特征点的2D坐标，此过程可用贝叶斯概率公式表示：
P(C,P,I)＝P(C|P,I)P(P|I)P(I) (1)
其中，I表示输入的RGB人脸图像，P表示3D头部姿态，C表示2D特征点；P()表示概率，P(|)为条件概率，P(,,)为联合概率；P(I)表示得到2D图像的概率，P(P|I)为在已知2D人脸图像的条件下得到3D头部姿态的概率，通过基于图像的卷积神经网络得到；P(C,P|I)为已知2D人脸图像条件下得到3D头部姿态和特征点的概率，P(C|P,I)为已知2D人脸图像和3D头部姿态的条件下的概率；P(P|I)通过基于图像的卷积网络进行模拟，P(C|P,I)通过PCD-CNN进行模拟；与传统的多任务方法对联合概率分布相比，本方法通过对个体因素概率分布的模拟，对图像的处理更具有实时性和精确性。
模块化辅助任务卷积神经网络，具体包括：是通用卷积神经网络，用于运行人脸对齐的辅助任务，以提高人脸对齐的精度；人脸对齐的辅助任务包括：细粒度定位和遮脸探测；细粒度定位：为了获得细粒度定位结果，找到输入数据即预测概率的学习函数，并通过第二个卷积网络传递输入数据，该函数由具有1×1和3×3滤波器的残差单元进行模拟；遮脸探测：将模块化辅助任务卷积神经网络在COFW数据集上训练，训练方法与训练PCD-CNN的方法相同，使网络具有在面部被遮挡的情况下找到特征点的能力，其中，COFW数据集为面部遮挡图像数据集。
对姿态适应的树突状卷积神经网络的训练，具体包括：主要应用采样策略进行有效训练，采样策略包括掩饰最大柔性函数损失法和硬样本采集法，可提升PCD-CNN的性能，降低其进行人脸对齐任务的误差。
其中，掩饰最大柔性函数损失法，在训练过程中，将特征点定位过程进行公式化，使其成为一个分类过程；将输入图像的尺寸大小用N+1个通道表示，其中N为特征点的数量，前N个通道表示每个关键点的位置，最后一个通道表示背景，每个像素分配一个类标签，PCD-CNN并不假定所有的关键点都是可见的，其中不可见点标记为背景，使以下函数损失最小化：
其中，L0表示函数损失，k为分类指数，k∈{1,2…N}，N为特征点的数量，(i,j)表示坐标点，p,g分别为预测向量和真实可见性向量，h为图像高度，w为图像宽度，m为掩饰点；gk(i,j)为点(i,j)的真值，pk(i,j)表示特征点分类是在点(i,j)的得分，pl(i,j)为网络正向运行时在点(i,j)的得分。
其中，硬样本采集法，在通过10个时期的随机抽样训练后绘制训练数据的误差直方图，将分布模式表示为C，并将产生大于C的误差的所有训练样本分类为硬样本；接下来，用简单的样本重新训练PCD-CNN，以相应的比例取样。
图2是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的流程图。先将RGB人脸图像输入到PCD-CNN，在多层卷积网络和多层去卷积网络中进行模拟，以提取面部特征点；然后，将PCD-CNN的模拟结果即特征点响应热图输入到模块化辅助任务卷积神经网络；最后，对特征点响应热图进行细粒度定位和遮脸探测，以提高人脸对齐的精度。
图3是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的面部特征点树状结构图。PCD-CNN定位的特征点相连接，以实现在特征点之间进行有效的信息共享，其中鼻尖假定是根节点的面部标志；树状结构的节点是去卷积网络的输出，而节点i和j之间的边缘由卷积函数fi,j模拟，在模拟过程中，卷积内核控制为14×14，以确保关联更紧密且关系稳定的特征点连接在一起，提升人脸对齐的精度。
图4是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的实验效果图。本方法基于四个不同的数据库进行实验，四个数据库分别为AFLW、AFW、300W和COFW；首先，PCD-CNN使用AFLW数据库进行训练，该数据库通过随机裁剪，翻转和旋转来扩增，训练持续10个时期，学习率为0.01；然后，保持PCD-CNN的权重不变，用模块化辅助任务卷积神经网络进行另外10个时期的训练；此外，在对COFW和300W数据集进行网络训练时，PoseNet保持冻结状态；所有实验均使用Caffe框架和Nvidia TITANX GPU以及p6000GPU进行；实验结果显示本方法能够精确定位人脸特征点，尤其是对极端姿势下的面部特征的定位准确度相比传统方法有明显提升，并且减少了网络的参数量和滤波器的数量，提高了网络的学习效率。
其中，用COFW训练PCD-CNN，主要采用掩饰最大柔性函数损失法和硬样本采集法进行；模块化辅助任务卷积神经网络主要用于遮挡检测；根据COFW数据库的公布细节，大约23％的标志性点是不可见的，因此，为了解决可见点和不可见点之间的类不平衡问题，使用了以下损失函数：
其中，p,g分别为预测向量和真实可见性向量，和分别为预测向量和真实可见性向量中各元素的值，i为横坐标的值。
图5是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的多层去卷积网络图。为了保持与SqueezeNet相同的属性，首先使用参数化的跨步卷积对特征映射进行上采样，然后使用1×1卷积来压缩输出特征映射，此网络可表示为Squeezenet-DeconvNet，由此每个特征点都由独立的Squeezenet-DeconvNet网络进行建模，减少了去卷积网络的参数量；在Squeezenet-DeconvNet中，只有32或16个去卷积滤波器，此设计控制了网络体量，能够适应单一GPU的情况，并提高了网络的学习效率。
图6是本发明一种基于姿态适应的树突状卷积神经网络的人脸对齐方法的实验结果曲线图。图(a)、(b)、(c)和(d)分别为精度-恢复率图、图像比例-姿势误差图、基于HELEN数据库的图像比例-平均误差图和基于LFPW的图像比率-平均误差图，由图显示，与传统方法相比基于PCD-CNN的人脸对齐方法在进行模拟时各项误差较低，综合精度最高。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，主要包括姿态适应的树突状卷积神经网络(一)；模块化辅助任务卷积神经网络(二)；对姿态适应的树突状卷积神经网络的训练(三)；面部特征点树状结构(四)。
2.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述姿态适应的树突状卷积神经网络(一)，具体包括：由多层卷积网络和多层去卷积网络组成，其作用主要是对人脸图像的特征点进行估计；人脸图像特征点估计主要通过使用卷积层和去卷积层组成的树结构中的独立CNN进行，CNN为卷积神经网络；不同特征点的成对关系通过函数fi,j进行模拟，fi,j通过卷积层实现；姿态适应的树突状卷积神经网络完全基于2D图像，通过对3D头部姿态的调节来捕捉3D信息，其中，姿态适应的树突状卷积神经网络表示为PCD-CNN。
3.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述多层卷积网络，多层卷积网络基于Squeezenet-11体系结构，作用于姿态和关键点，分别为PoseNet和KeypointNet；多层卷积在PoseNet的池化层pool8的激活映射上执行，然后将其响应结果与KeypointNet的池化层pool8的响应结果逐个相乘；每个卷积层之后是线性整流函数非线性化和批量归一化过程，可减少特征点的定位误差。
4.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述多层去卷积网络，为了保持与SqueezeNet相同的属性，首先使用参数化的跨步卷积对特征映射进行上采样，然后使用1×1卷积来压缩输出特征映射，此网络可表示为Squeezenet-DeconvNet，由此每个特征点都由独立的Squeezenet-DeconvNet网络进行建模，减少了去卷积网络的参数量；在Squeezenet-DeconvNet中，只有32或16个去卷积滤波器，此设计控制了网络体量，能够适应单一GPU的情况，并提高了网络的学习效率。
5.基于权利要求2所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述3D头部姿态的调节，主要采用贝叶斯方法进行，PCD-CNN基于2D图像运行，而2D图像中人的姿态通常为3D，采用3D姿态适应可从姿态中获取特征点的2D坐标，此过程可用贝叶斯概率公式表示：
P(C,P,I)＝P(C|P,I)P(P|I)P(I) (1)
其中，I表示输入的RGB人脸图像，P表示3D头部姿态，C表示2D特征点；P()表示概率，P(|)为条件概率，P(,,)为联合概率；P(I)表示得到2D图像的概率，P(P|I)为在已知2D人脸图像的条件下得到3D头部姿态的概率，通过基于图像的卷积神经网络得到；P(C,P|I)为已知2D人脸图像条件下得到3D头部姿态和特征点的概率，P(C|P,I)为已知2D人脸图像和3D头部姿态的条件下的概率；P(P|I)通过基于图像的卷积网络进行模拟，P(C|P,I)通过PCD-CNN进行模拟；与传统的多任务方法对联合概率分布相比，本方法通过对个体因素概率分布的模拟，对图像的处理更具有实时性和精确性。
6.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述模块化辅助任务卷积神经网络(二)，具体包括：是通用卷积神经网络，用于运行人脸对齐的辅助任务，以提高人脸对齐的精度；人脸对齐的辅助任务包括：细粒度定位和遮脸探测；细粒度定位：为了获得细粒度定位结果，找到输入数据即预测概率的学习函数，并通过第二个卷积网络传递输入数据，该函数由具有1×1和3×3滤波器的残差单元进行模拟；遮脸探测：将模块化辅助任务卷积神经网络在COFW数据集上训练，训练方法与训练PCD-CNN的方法相同，使网络具有在面部被遮挡的情况下找到特征点的能力，其中，COFW数据集为面部遮挡图像数据集。
7.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述对姿态适应的树突状卷积神经网络的训练(三)，具体包括：主要应用采样策略进行有效训练，采样策略包括掩饰最大柔性函数损失法和硬样本采集法，可提升PCD-CNN的性能，降低其进行人脸对齐任务的误差。
8.基于权利要求7所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述对姿态适应的树突状卷积神经网络的训练，在训练过程中，将特征点定位过程进行公式化，使其成为一个分类过程；将输入图像的尺寸大小用N+1个通道表示，其中N为特征点的数量，前N个通道表示每个关键点的位置，最后一个通道表示背景，每个像素分配一个类标签，PCD-CNN并不假定所有的关键点都是可见的，其中不可见点标记为背景，使以下函数损失最小化：
其中，L0表示函数损失，k为分类指数，k∈{1,2…N}，N为特征点的数量，(i,j)表示坐标点，p、g分别为预测向量和真实可见性向量，h为图像高度，w为图像宽度，m为掩饰点；gk(i,j)为点(i,j)的真值，pk(i,j)表示特征点分类是在点(i,j)的得分，pl(i,j)为网络正向运行时在点(i,j)的得分。
9.基于权利要求7所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述硬样本采集法，在通过10个时期的随机抽样训练后绘制训练数据的误差直方图，将分布模式表示为C，并将产生大于C的误差的所有训练样本分类为硬样本；接下来，用简单的样本重新训练PCD-CNN，以相应的比例取样。
10.基于权利要求1所述的姿态适应的树突状卷积神经网络的人脸对齐方法，其特征在于，所述面部特征点树状结构(四)，具体包括：PCD-CNN定位的特征点相连接，以实现在特征点之间进行有效的信息共享，其中鼻尖假定是根节点的面部标志；树状结构的节点是去卷积网络的输出，而节点i和j之间的边缘由卷积函数fi,j模拟，在模拟过程中，卷积内核控制为14×14，以确保关联更紧密且关系稳定的特征点连接在一起，提升人脸对齐的精度。
CN201811400669.4A 2018-11-22 2018-11-22 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法 Withdrawn CN109635674A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811400669.4A CN109635674A (zh) 2018-11-22 2018-11-22 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811400669.4A CN109635674A (zh) 2018-11-22 2018-11-22 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法

Publications (1)

Publication Number Publication Date
CN109635674A true CN109635674A (zh) 2019-04-16

Family

ID=66068808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811400669.4A Withdrawn CN109635674A (zh) 2018-11-22 2018-11-22 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法

Country Status (1)

Country Link
CN (1) CN109635674A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059707A (zh) * 2019-04-25 2019-07-26 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110516643A (zh) * 2019-08-30 2019-11-29 电子科技大学 一种基于联合热力图的人脸3d关键点检测方法及系统
US20210396836A1 (en) * 2020-06-18 2021-12-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method and apparatus for performing grid-based localization of a mobile body

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法
CN107704848A (zh) * 2017-10-27 2018-02-16 深圳市唯特视科技有限公司 一种基于多约束条件卷积神经网络的密集人脸对齐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909909A (zh) * 2017-03-08 2017-06-30 王华锋 一种基于共享卷积特征的人脸检测与对齐方法
CN107038429A (zh) * 2017-05-03 2017-08-11 四川云图睿视科技有限公司 一种基于深度学习的多任务级联人脸对齐方法
CN107704848A (zh) * 2017-10-27 2018-02-16 深圳市唯特视科技有限公司 一种基于多约束条件卷积神经网络的密集人脸对齐方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
AMIT KUMAR等: "Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment", 《ARXIV:1802.06713V2 [CS.CV]》 *
AMIT KUMAR等: "Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment", 《ARXIV:1802.06713V3 [CS.CV]》 *
AMIT KUMAR等: "Disentangling 3D Pose in A Dendritic CNN for Unconstrained 2D Face Alignment", 《RXIV:1802.06713V1 [CS.CV]》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110059707A (zh) * 2019-04-25 2019-07-26 北京小米移动软件有限公司 图像特征点的优化方法、装置和设备
CN110516643A (zh) * 2019-08-30 2019-11-29 电子科技大学 一种基于联合热力图的人脸3d关键点检测方法及系统
US20210396836A1 (en) * 2020-06-18 2021-12-23 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method and apparatus for performing grid-based localization of a mobile body
US11550020B2 (en) * 2020-06-18 2023-01-10 Commissariat A L'energie Atomique Et Aux Energies Alternatives Method and apparatus for performing grid-based locailization of a mobile body

Similar Documents

Publication Publication Date Title
CN105184249B (zh) 用于人脸图像处理的方法和装置
CN104850825B (zh) 一种基于卷积神经网络的人脸图像颜值计算方法
CN107169455B (zh) 基于深度局部特征的人脸属性识别方法
CN107610209A (zh) 人脸表情合成方法、装置、存储介质和计算机设备
WO2016011834A1 (zh) 一种图像处理方法及系统
CN108052884A (zh) 一种基于改进残差神经网络的手势识别方法
CN109635674A (zh) 一种基于姿态适应的树突状卷积神经网络的人脸对齐方法
CN108829900A (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
JP6207210B2 (ja) 情報処理装置およびその方法
Zhan et al. Facial expression recognition based on Gabor wavelet transformation and elastic templates matching
CN110263768A (zh) 一种基于深度残差网络的人脸识别方法
KR20140004230A (ko) 화상처리장치, 정보생성장치, 화상처리방법, 정보생성방법, 제어 프로그램 및 기록매체
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN109410119A (zh) 面具图像变形方法及其系统
CN109711268A (zh) 一种人脸图像筛选方法及设备
Polatsek et al. Novelty-based spatiotemporal saliency detection for prediction of gaze in egocentric video
CN107154046A (zh) 一种视频背景处理和隐私保护的方法
JP2011081445A (ja) 表情認識装置、人物間感情推定装置、表情認識方法、人物間感情推定方法、及びプログラム
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN110458121A (zh) 一种人脸图像生成的方法及装置
Shihab et al. VISTA: Vision transformer enhanced by U-Net and image colorfulness frame filtration for automatic retail checkout
Ye et al. Facial expression features extraction based on gabor wavelet transformation
CN107305622A (zh) 一种人脸五官识别方法、装置及系统
Karungaru et al. Automatic human faces morphing using genetic algorithms based control points selection
CN116097319A (zh) 利用空间感知的条件gan的高分辨率可控面部老化

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190416

WW01 Invention patent application withdrawn after publication