CN107871098B - 人脸特征点的获取方法和装置 - Google Patents
人脸特征点的获取方法和装置 Download PDFInfo
- Publication number
- CN107871098B CN107871098B CN201610847668.9A CN201610847668A CN107871098B CN 107871098 B CN107871098 B CN 107871098B CN 201610847668 A CN201610847668 A CN 201610847668A CN 107871098 B CN107871098 B CN 107871098B
- Authority
- CN
- China
- Prior art keywords
- layer
- convolutional
- training sample
- face
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000012549 training Methods 0.000 claims abstract description 148
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 110
- 238000011176 pooling Methods 0.000 claims abstract description 62
- 238000010606 normalization Methods 0.000 claims abstract description 57
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 42
- 238000001514 detection method Methods 0.000 claims description 59
- 230000009466 transformation Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000036544 posture Effects 0.000 description 9
- 210000003128 head Anatomy 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000004807 localization Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000004205 output neuron Anatomy 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种人脸特征点的获取方法和装置。其中，该方法包括：获取经过归一化处理的人脸图像；将人脸图像输入到卷积神经网络进行处理，其中，卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；卷积层用于根据卷积核进行卷积处理，池化层用于对卷积层的数据进行简化；卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取卷积神经网络处理后输出的人脸图像中的人脸的多个特征点。本发明解决了现有技术的基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题。
Description
技术领域
本发明涉及图像领域，具体而言，涉及一种人脸特征点的获取方法和装置。
背景技术
人脸特征点获取是根据输入的人脸图像，自动定位出人脸关键特征点。根据应用要求的不同，关键特征点的数目也不同：最少的是5个特征点，包括眼睛、鼻尖和嘴角，可用于人脸识别；在人脸美妆中，还会考虑眉毛和人脸各个部分的轮廓点，包括下巴的轮廓点，即68点定位。在人脸分析任务中，获取人脸特征点必不可少，例如，人脸认证和识别、表情识别、头部姿势估计、人脸3D建模和人脸美妆等。
人脸特征点获取方法可大致分为三类：基于优化的方法、基于回归的方法和基于卷积神经网络的方法。
(1)基于优化的方法
基于优化的人脸特征点获取方法是最早使用的方法，它先从一些图像中学习形状模型，选定一个形状模型来重构整张人脸，再通过最小化重构出的人脸与待定位人脸的纹理特征之间的差异来估计关键特征点的位置。
基于优化的方法学习到的形状模型有限，对于那些有大的偏转姿态、光照和遮挡的复杂图像，尤其是从未见过的图像，定位效果不好。除此之外，梯度下降等优化策略使得这种方法先天地对初始化十分敏感。
(2)基于回归的方法
基于回归的方法是目前用于特征点获取的一个主流方法，这种方法将定位问题看作学习回归器的过程。根据输入的人脸图像，采用随机、平均或者依某种概率分布的方式选出一个初始形状，输入到回归器(例如，随机森林)中，回归器利用当前形状的形状索引特征(例如，SIFT和HOG等特征)对形状进行调整。比较有效的是级联回归器，即多个回归函数，后一个的输入依赖于前一个的输出，每一个回归器的目标都是逼近特征点的真实位置。
基于回归的方法主要有两个缺点：人脸特征点获取的效果依赖于初始形状，如果初始形状离目标形状很远，通过级联的后续迭代也无法纠正差异，回归出的形状会陷入局部极小值；回归过程中用到的形状索引特征是人工设计或者从浅层模型中学习到的特征，对于有特殊偏转姿态的人脸图像很难定位准确。
(3)基于卷积神经网络的方法
深度学习的兴起和卷积神经网络在机器视觉领域的广泛使用，使得卷积神经网络在人脸特征点定位中发挥作用。这种方法是将人脸图像输入到有监督的卷积神经网络中，不用设定初始形状，在训练时给出特征点的真实位置，即可自动地学习有益于定位的特征，是目前最受欢迎的方法之一。
然而，发明人发现，现有技术中基于卷积神经网络的人脸特征点的获取方法在获取人脸特征点的同时加入了多个任务(例如判断眼镜、性别、微笑和三维姿态等)，卷积神经网络的层数多，参数也多，有的方法融合多个网络，还有的方法将人脸划分多个子区域、对每个区域单独地训练出一个网络之后加以融合，使得计算量大大增加，占用了很多的计算资源，训练时间也大大增加。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种人脸特征点的获取方法和装置，以至少解决现有技术的基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题。
根据本发明实施例的一个方面，提供了一种人脸特征点的获取方法，包括：获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。
进一步地，所述卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层。
进一步地，所述5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，所述3个池化层分别为第一池化层、第二池化层、第三池化层，所述2个局部响应归一化层分别为第一局部响应归一化层、第二局部响应归一化层，所述卷积神经网络依次由所述第一卷积层、所述第一池化层、所述第一局部响应归一化层、所述第二卷积层、所述第二池化层、所述第二局部响应归一化层、所述第三卷积层、所述第四卷积层、所述第五卷积层、所述第三池化层、所述全连接层级联构成。
进一步地，所述第一卷积层的卷积核是11×11，步长是4；所述第二卷积层的卷积核是5×5，步长是1；所述第三卷积层、所述第四卷积层和所述第五卷积层的卷积核都是3×3，步长都是1。
进一步地，所述3个池化层的池化尺寸都是3×3，步长是2。
进一步地，所述2个局部响应归一化层的局部尺寸大小均为5。
进一步地，所述人脸图像为灰度图像。
进一步地，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种，在将所述人脸图像输入到卷积神经网络进行处理之前，所述方法还包括：通过人脸检测框截取人脸图像，生成所述第一训练样本；将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。
进一步地，所述预设距离为所述人脸检测框的边长的预设倍数。
进一步地，所述预设倍数为0.03。
根据本发明实施例的另一方面，还提供了一种人脸特征点的获取装置，包括：第一获取单元，用于获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；处理单元，用于将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；第二获取单元，用于获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点。
进一步地，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种，所述装置还包括：第一截取单元，用于在所述处理单元将所述人脸图像输入到卷积神经网络进行处理之前，通过人脸检测框截取人脸图像，生成所述第一训练样本；第二截取单元，用于将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；第三截取单元，用于以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；镜像变换单元，用于将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。
在本发明实施例中，根据预期得到的人脸的特征点的数量配置卷积神经网络，使用预定训练集对卷积神经网络进行训练，得到训练后的卷积神经网络，将人脸图像进行归一化处理，将归一化处理后的人脸图像输入到训练后的卷积神经网络，训练后的卷积神经网络输出人脸图像中的人脸的多个特征点，在这个过程中，只有获取人脸特征点一个任务，没有加入任何其他任务，单网络获取人脸特征点，不需要与其他网络融合，卷积层的特征图数目较少，网络参数少，不仅节约计算资源，时间复杂度也小，节约了时间成本，达到了减小基于卷积神经网络的人脸特征点的获取方法的计算量、缩短训练时间的技术效果，进而解决了现有技术的基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种人脸特征点的获取方法的流程图；
图2是根据本发明实施例的6*6的图像用3*3的卷积核做卷积的示意图；
图3是根据本发明实施例的5*5的图像经过最大池化变成了2*2的图像的示意图；
图4是根据本发明实施例的对6*6的图像进行局部响应归一化的示意图；
图5是根据本发明实施例的将检测框平移后得到的人脸图像的示意图；
图6是根据本发明实施例的中心旋转得到的人脸图像的示意图；
图7是根据本发明实施例的做镜像变换后得到的人脸图像的示意图；
图8是根据本发明实施例的另一种人脸特征点的获取方法的流程图；
图9是根据本发明实施例的卷积神经网络的网络结构的示意图；
图10是根据本发明实施例的训练后的卷积神经网络对于常见图像子集中的一张图像的特征点定位结果的示意图；
图11是根据本发明实施例的图10中的那张图像的特征点的真实位置的示意图；
图12是根据本发明实施例的训练后的卷积神经网络对于挑战图像子集中的一张图像的特征点定位结果的示意图；
图13是根据本发明实施例的图12中的那张图像的特征点的真实位置的示意图；
图14是根据本发明实施例的训练后的卷积神经网络对人脸特征点定位中最困难的几种图像的定位的示意图；
图15是根据本发明实施例的人脸特征点的获取装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例，提供了一种人脸特征点的获取方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种人脸特征点的获取方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，获取经过归一化处理的人脸图像，其中，归一化处理用于将人脸图像处理为预定规格。
步骤S104，将人脸图像输入到卷积神经网络进行处理，其中，卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；卷积层用于根据卷积核进行卷积处理，池化层用于对卷积层的数据进行简化；卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的。
步骤S106，获取卷积神经网络处理后输出的人脸图像中的人脸的多个特征点。
在本发明实施例中，根据预期得到的人脸的特征点的数量配置卷积神经网络，使用预定训练集对卷积神经网络进行训练，得到训练后的卷积神经网络，将人脸图像进行归一化处理，将归一化处理后的人脸图像输入到训练后的卷积神经网络，训练后的卷积神经网络输出人脸图像中的人脸的多个特征点，在这个过程中，只有获取人脸特征点一个任务，没有加入任何其他任务，单网络获取人脸特征点，不需要与其他网络融合，卷积层的特征图数目较少，网络参数少，不仅节约计算资源，时间复杂度也小，节约了时间成本，因此，解决了现有技术中基于卷积神经网络的人脸特征点的获取方法计算量大、训练时间较长的技术问题，达到了减小基于卷积神经网络的人脸特征点的获取方法的计算量、缩短训练时间的技术效果。
可选地，本发明实施例提供的卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层。在本发明实施例提供的卷积神经网络中，5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，3个池化层分别为第一池化层、第二池化层、第三池化层，2个局部响应归一化层分别为第一局部响应归一化层、第二局部响应归一化层，卷积神经网络依次由第一卷积层、第一池化层、第一局部响应归一化层、第二卷积层、第二池化层、第二局部响应归一化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、全连接层级联构成。
与常规的神经网络中的全连接(输入神经元和输出神经元全部连接)相比，卷积神经网络仅仅在图像的局部区域(卷积核的大小)创建输入神经元到输出神经元之间的连接。卷积核在图像上滑动的距离称为步长(stride，默认为1)，为了不改变图像在卷积后的大小，可以在卷积核周围用0填充(Padding)。6*6的图像用3*3的卷积核做卷积的过程如图2所示。
池化层(Pooling)通常紧随卷积层使用，用来简化卷积层的输出，一般使用最大池化(Max-pooling)。如果图像大小为5*5，池化尺寸为3*3，步长Stride＝2，那么最大池化就是取图像中每个3*3大小区域像素的最大值，作为输出图像对应位置的一个像素，如图3所示，5*5的图像经过最大池化变成了2*2的图像。
局部响应归一化层(Norm)是对局部输入区域进行归一化，不改变图像大小。在本发明实施例中，输入到训练后的卷积神经网络中的人脸图像是灰度图像。灰度图像只有一个通道，局部响应归一化只在这个通道进行，local_size表示归一化时求和区间的边长。缩放因子α默认为1，指数项β默认为5。做局部响应归一化时，每个输入值都除以下式：
n为局部尺寸大小local_size，当前值要处于局部区域的中心位置，必要时补零，图4示出了对6*6的图像进行local_size＝5的局部响应归一化的过程，其中，图4中,
可选地，第一卷积层的卷积核是11×11，步长是4；第二卷积层的卷积核是5×5，步长是1；第三卷积层、第四卷积层和第五卷积层的卷积核都是3×3，步长都是1。可选地，3个池化层的池化尺寸都是3×3，步长是2。可选地，2个局部响应归一化层的局部尺寸大小均为5。
可选地，人脸图像为灰度图像。发明人发现，当输入卷积神经网络的图像为彩色图像时，会大大增加计算量，然而获取特征点的效果却不会提升。因此，在本发明实施例中，向卷积神经网络中输入灰度图像，以降低计算量。
由于需要卷积神经网络进行处理的人脸图像是多种多样的，既有侧脸、仰头的人脸图像、偏头的人脸图像、具有特殊表情和丰富纹理的人脸图像，还有强光照下的人脸图像、微弱光照下的人脸图像、具有遮挡的人脸图像，这就给人脸特征点的获取带来了较大的难度。如果卷积神经网络的训练集单一，那么就会影响卷积神经网络的训练效果，使得训练后的卷积神经网络获取人脸图像的特征点的准确度差。
为了解决以上问题，本发明实施例中预定训练集的样本形式多种多样，上述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种。
可选地，第一训练样本、第二训练样本、第三训练样本、第四训练样本的获取过程如下：
通过人脸检测框截取人脸图像，生成第一训练样本。
将人脸检测框向预设方向平移预设距离并截取人脸图像，生成第二训练样本。平移：平移的作用是消除检测框的位置对定位的影响。可选地，预设距离为人脸检测框的边长的预设倍数。可选地，预设倍数为0.03。例如，在数据集中图像上平移检测框，相对于框的大小，分别向左、向右、向上、向下平移0.03倍的距离，图5从左到右依次示出了原图像(第一训练样本)和检测框向上、向右、向左和向下平移后截取出的人脸图像(第二训练样本)。
以第一训练样本和/或第二训练样本的人脸检测框的中心为旋转中心，将人脸检测框旋转预设角度并截取人脸图像，得到第三训练样本。中心旋转的作用是增强网络对具有大偏转姿态图像定位的稳定性。现有技术中的旋转方法是，对数据集中样本旋转多个角度后，重新人脸检测。为了节省检测所用时间，本发明实施例直接以人脸检测框的中心为旋转中心，将检测框旋转一定角度，例如将检测框旋转[-30:5:30]角度，这样可以保证截取到图像包含轮廓点，中心旋转得到的人脸图像(第三训练样本)如图6所示。
将第一训练样本、第二训练样本和第三训练样本中的一种或者几种进行镜像变换，生成第四训练样本。镜像变换的作用是扩充样本。对旋转、平移后的人脸图像和原图做镜像变换，图7从左到右依次示出了原图像(第一训练样本)、对原图像做镜像变换后的图像(第四训练样本)，以及对原图像做旋转得到的旋转图像(第三训练样本)、对旋转图像做镜像变换后的图像(第四训练样本)。
以上方法得到的图像加上对应的特征点的真实坐标，构成了预定训练集。
本发明实施例提供的预定训练集中训练样本丰富多样，消除了检测框的位置对人脸特征点获取的影响，增强了卷积神经网络对具有大偏转姿态图像定位的稳定性，提高了卷积神经网络对具有大偏转姿态的人脸图像的特征点获取的准确度，解决了现有技术中卷积神经网络的训练样本单一造成的训练后的卷积神经网络对人脸的特征点定位不准确的技术问题。
本发明实施例提供的基于卷积神经网络的人脸特征点的获取方法能够对人脸68个特征点进行定位。该网络包括5个卷积层、3个最大池化层、2个局部响应归一化层和1个全连接层，是一个无任何其他任务的单网络，灰度图像作为网络的输入，卷积层的特征图数目较少，整个网络参数较少。相比于用于特征点定位的级联回归和其他卷积神经网络方法，不仅节约计算资源，时间复杂度也小，获取人脸特征点的精度高。
图8是根据本发明实施例的另一种人脸特征点的获取方法的流程图，如图8所示，先进行人脸检测，并根据人脸检测框截取人脸图像，生成训练和测试样本；将人脸图像输入到卷积神经网络中，输出为图像对应特征点位置的标签，训练网络；将待测试的人脸图像输入到训练后的卷积神经网络中，训练后的卷积神经网络对特征点定位。
一、生成训练和测试样本
(a)数据集
在本发明实施例中，卷积神经网络的训练和测试可以在标准人脸特征点定位库300-W(300Faces In-the-Wild Challenge)数据集上进行，该库共有3837张包含人脸的有效图像，由AFW、LFPW、HELEN和IBUG构成，每张图像都包含一个或者多个人脸。将AFW、LFPW中811张和HELEN中2000张共计3148张图像作为训练样本，LFPW中224张、HELEN中330张和IBUG共计689张图像作为测试样本。
(b)根据检测框截取人脸图像
对全部样本进行人脸检测，得到人脸检测框，检测框用左、右、上、下的四个边界位置来表示，四个边界位置关于检测框归一化后为[0，1，0，1]。为了使轮廓点包含在人脸检测框内，将左边界向左移动0.06个单位，右边界向右移动0.06个单位，保持上边界不动，下边界向下移动0.12个单位。按照新的检测框截取人脸图像。调整后的检测框和截取出的图像如图8所示。
(c)生成训练样本和测试样本
将截取出的人脸图像缩放至227*227大小，得到“原图”，其中689张人脸图像直接用于测试。
为了增强卷积神经网络对具有大偏转姿态图像定位的稳定性、消除检测框的位置对定位的影响和扩充数据集，对用于训练的3148个样本，进行了中心旋转、平移、镜像的操作。
本发明实施例直接以人脸检测框的中心为旋转中心，将检测框旋转[-30:5:30]角度，这样可以保证截取到图像包含轮廓点，中心旋转得到的人脸图像(第三训练样本)如图6所示。
在数据集中图像上平移检测框，相对于框的大小，分别向左、向右、向上、向下平移0.03倍的距离，图5从左到右依次示出了原图像(第一训练样本)和检测框向上、向右、向左和向下平移后截取出的人脸图像(第二训练样本)。
对旋转、平移后的人脸图像和原图做镜像变换，图7从左到右依次示出了原图像(第一训练样本)、对原图像做镜像变换后的图像(第四训练样本)，以及对原图像做旋转得到的旋转图像(第三训练样本)、对旋转图像做镜像变换后的图像(第四训练样本)。
以上方法得到的图像加上对应的特征点的真实坐标，构成了预定训练集。
二、训练卷积神经网络
AlexNet网络是卷积神经网络在图像分类上的经典模型，其输入是彩色图像，卷积层的特征图数目很多，前面两个全连接层的输出神经元有4096个，加入了Dropout层来保证网络的泛化性能，最后一层全连接的输出神经元有1000个。本发明实施例对AlexNet网络进行了改进。
本发明实施例提供的卷积神经网络能够获取人脸的68个特征点。68点定位的目标是得到一个136维(对应于68个点的横、纵坐标)的向量。卷积层的特征图数目过多不但浪费计算资源，而且不能带来好的效果，因此减少了卷积层的特征图数目。全连接层的层数过多对于定位是没有必要的，去掉了原有的全连接层和Dropout层，在网络的最后，添加一个输出是136个神经元的全连接。在实验过程中发现，输入彩色图像与输入灰度图像相比，不但没有提升定位效果，反而增加了计算量，于是将输入变为灰度图像，得到本发明实施例提供的卷积神经网络，该网络结构如图9所示。下面对图9中出现的词语进行解释。
“Maps”表示“图像数目@图像大小”，例如，“Maps 96@55”表示使用的特征图像(卷积核)的数量为96，特征图像为55×55大小。
“Input”表示输入图像，大小为227*227个像素，“Input 1@227”表示输入图像是一张227*227的图像。“Label”是68个特征点位置的标签。
“Convi”表示第i个卷积层，数字表示“卷积核的尺寸/步长”和Padding的尺寸，步长默认为1，Padding默认为0。
图9中一共有5个卷积层，分别为第一卷积层“Conv1”、第二卷积层“Conv2”、第三卷积层“Conv3”、第四卷积层“Conv4”和第五卷积层“Conv5”。
如图9所示，第一卷积层“Conv1”的卷积核是11×11，步长是4；第二卷积层“Conv2”的卷积核是5×5，步长是1；第三卷积层“Conv3”、第四卷积层“Conv4”和第五卷积层“Conv5”的卷积核都是3×3，步长都是1。
“Max-pi”表示第i个最大池化层，数字表示“Pooling的尺寸/步长”。图9中一共有3个最大池化层，分别为第一池化层“Max-p1”、第二池化层“Max-p2”、第三池化层“Max-p3”。这3个最大池化层的池化尺寸都是3×3，步长是2。
“Norm”表示局部响应归一化，数字表示local_size(归一化时求和区间的边长，也是局部尺寸大小)。图9中一共有2个局部响应归一化层，分别为第一局部响应归一化层、第二局部响应归一化层，这两个局部响应归一化层的局部尺寸大小都是5。第一局部响应归一化层位于第一池化层“Max-p1”之后，第二局部响应归一化层位于第二池化层“Max-p2”之后。
图9中的“Fc6”表示全连接层，全连接层位于第五卷积层“Conv5”之后。
(c)训练本发明实施例的卷积神经网络
本发明实施例的卷积神经网络，以网络输出和标签之间的欧氏距离为损失，根据随机梯度下降(SGD)方法训练网络。将有227*227个像素的训练样本批量(例如，按batchsize＝8)输入到本发明实施例提供的卷积神经网络中，momentum＝0.9，weightdecay＝0.0005，lr＝0.001，按多步下降的方式减少学习率。
三、测试训练后的卷积神经网络的定位效果
下面对本发明实施例提供的训练后的卷积神经网络获取人脸特征点的效果进行测试。
在测试全集(Fullset)中，554张图像构成常见图像子集(Common Subset)，135张图像构成挑战图像子集(Challenging Subset)。为了观察训练后的卷积神经网络在测试集上的定位效果，在常见图像子集和挑战图像子集中各选择了一些有代表性的图像，包含正脸、侧脸、遮挡、仰头、张嘴、特殊表情和光照不好以及不清晰的图像。
(a)常见图像子集
对于常见图像子集中的一张图像，训练后的卷积神经网络的特征点定位结果和特征点的真实位置分别如图10和图11所示。
(b)挑战图像子集
对于挑战图像子集中的一张图像，训练后的卷积神经网络的特征点定位结果和特征点的真实位置分别如图12和图13所示。
对比图10和图11，对比图12和图13，可以看出，在本发明实施例中，训练后的卷积神经网络获取到的特征点与真实特征点的位置非常接近，说明训练后的卷积神经网络的特征点定位的精确度很高。
(c)特殊图像的定位效果
图14示出了本发明实施例训练后的卷积神经网络对人脸特征点定位中最困难的几种图像进行特征点定位之后的结果。从图14中可以看出，无论是侧脸影响到的眼睛、鼻子和轮廓，特殊表情和丰富纹理影响的眉毛、嘴巴，光照和仰头影响的所有点，以及被遮挡部分，本发明实施例训练后的卷积神经网络都能很准确地定位出来。
(d)平均定位误差
定位误差指的是被两眼距离归一化后的点误差，训练后的卷积神经网络对第j个样本的第i个特征点归一化后的定位误差采用如下方式计算：
L为归一化因子，表示双眼瞳孔中心的欧氏距离，
表示第j个样本的第i个特征点的真实位置坐标值，(xi,yi)表示训练后的卷积神经网络对第j个样本的第i个特征点定位后的坐标值，e(j，i)表示训练后的卷积神经网络第j个样本的第i个特征点定位后的定位误差。
单个样本的平均定位误差是所有特征点定位误差的均值。以第j个样本为例，用Dj表示第j个样本的特征点集合，|Dj|表示集合Dj的元素数目，训练后的卷积神经网络对第j个样本进行定位的平均定位误差表示为：
其中，Ej是训练后的卷积神经网络对第j个样本进行定位的平均定位误差。
多个样本的平均定位误差是所有单个样本的平均定位误差的均值，N个样本的平均定位误差表示为：
其中，E是训练后的卷积神经网络对N个样本进行定位的平均定位误差。
(e)本发明实施例提供的人脸特征点的获取方法与现有技术的方法的定位精度对比
按照平均定位误差的计算方式，本发明实施例提供的人脸特征点的获取方法在常见图像子集上平均定位误差为5.93％，在挑战图像子集上平均定位误差为11.54％，在整个测试集Fullset上平均定位误差为7.03％。
在Fullset上，本发明实施例提供的人脸特征点的获取方法的定位效果超过了CFAN方法(平均定位误差为7.69％)、ESR方法(平均定位误差为7.58％)、SDM方法(平均定位误差为7.50％)和LBF fast方法(平均定位误差为7.37％)。
在挑战图像子集上，本发明实施例提供的人脸特征点的获取方法的定位效果超过了CFAN方法(平均定位误差为16.78％)、ESR方法(平均定位误差为17.00％)、SDM(平均定位误差为15.40％)和LBF(平均定位误差为11.98％)。
本发明实施例对训练样本采用中心旋转，以检测框的中心为旋转中心，旋转检测框、直接截取人脸，增强了网络对具有大偏转姿态图像定位的稳定性；平移检测框、直接截取人脸，消除了检测框的位置对定位的影响。中心旋转和平移检测框的方法都不需要重新人脸检测，就能保证截取出来的图像包含全脸，节省了检测的时间。由于训练样本具有多样性，增强了网络对具有大偏转姿态图像定位的稳定性，使得对人脸特征点的定位精度大大提高，不仅对于普通的人脸图像的特征点定位精度很高，对于侧脸、仰头的人脸图像、偏头的人脸图像、具有特殊表情和丰富纹理的人脸图像，强光照下的人脸图像、微弱光照下的人脸图像、具有遮挡的人脸图像的特征点定位精度也很高，解决了现有技术中卷积神经网络的训练样本单一，导致训练后的卷积神经网络对人脸的特征点定位准确度差的技术问题，达到了卷积神经网络的训练样本多样化，提升训练后的卷积神经网络对人脸的特征点定位准确度的技术效果。
根据本发明实施例，还提供了一种人脸特征点的获取装置。该人脸特征点的获取装置可以执行上述人脸特征点的获取方法，上述人脸特征点的获取方法也可以通过该人脸特征点的获取装置实施。
图15是根据本发明实施例的人脸特征点的获取装置的示意图。如图15所示，该装置包括第一获取单元10、处理单元20、第二获取单元30。
第一获取单元10，用于获取经过归一化处理的人脸图像，其中，归一化处理用于将人脸图像处理为预定规格。
处理单元20，用于将人脸图像输入到卷积神经网络进行处理，其中，卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；卷积层用于根据卷积核进行卷积处理，池化层用于对卷积层的数据进行简化；卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的。
第二获取单元30，用于获取卷积神经网络处理后输出的人脸图像中的人脸的多个特征点。
可选地，预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本中的至少一种，装置还包括：第一截取单元、第二截取单元、第三截取单元、镜像变换单元。第一截取单元，用于在处理单元20将人脸图像输入到卷积神经网络进行处理之前，通过人脸检测框截取人脸图像，生成第一训练样本。第二截取单元，用于将人脸检测框向预设方向平移预设距离并截取人脸图像，生成第二训练样本。第三截取单元，用于以第一训练样本和/或第二训练样本的人脸检测框的中心为旋转中心，将人脸检测框旋转预设角度并截取人脸图像，得到第三训练样本。镜像变换单元，用于将第一训练样本、第二训练样本和第三训练样本中的一种或者几种进行镜像变换，生成第四训练样本。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本发明所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种人脸特征点的获取方法，其特征在于，包括：
获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；
将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；
获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点；
其中，所述卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层；
其中，所述5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，所述第一卷积层的卷积核是11×11，步长是4；所述第二卷积层的卷积核是5×5，步长是1；所述第三卷积层、所述第四卷积层和所述第五卷积层的卷积核都是3×3，步长都是1；
其中，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本，在将所述人脸图像输入到卷积神经网络进行处理之前，所述方法还包括：
通过人脸检测框截取人脸图像，生成所述第一训练样本；
将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；
以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；
将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。
2.根据权利要求1所述的方法，其特征在于，所述3个池化层分别为第一池化层、第二池化层、第三池化层，所述2个局部响应归一化层分别为第一局部响应归一化层、第二局部响应归一化层，所述卷积神经网络依次由所述第一卷积层、所述第一池化层、所述第一局部响应归一化层、所述第二卷积层、所述第二池化层、所述第二局部响应归一化层、所述第三卷积层、所述第四卷积层、所述第五卷积层、所述第三池化层、所述全连接层级联构成。
3.根据权利要求2所述的方法，其特征在于，所述3个池化层的池化尺寸都是3×3，步长是2。
4.根据权利要求2所述的方法，其特征在于，所述2个局部响应归一化层的局部尺寸大小均为5。
5.根据权利要求1所述的方法，其特征在于，所述人脸图像为灰度图像。
6.根据权利要求1所述的方法，其特征在于，所述预设距离为所述人脸检测框的边长的预设倍数。
7.根据权利要求6所述的方法，其特征在于，所述预设倍数为0.03。
8.一种人脸特征点的获取装置，其特征在于，包括：
第一获取单元，用于获取经过归一化处理的人脸图像，其中，所述归一化处理用于将所述人脸图像处理为预定规格；
处理单元，用于将所述人脸图像输入到卷积神经网络进行处理，其中，所述卷积神经网络包括：至少一个卷积层、至少一个池化层、至少一个局部响应归一化层、至少一个全连接层；所述卷积层用于根据卷积核进行卷积处理，所述池化层用于对卷积层的数据进行简化；所述卷积神经网络的配置与预期得到的人脸的特征点的数量相关，并且是使用预定训练集经过训练得到的；
第二获取单元，用于获取所述卷积神经网络处理后输出的所述人脸图像中的人脸的多个特征点；
其中，所述卷积神经网络包括：5个卷积层，3个池化层，2个局部响应归一化层，1个全连接层；
其中，所述5个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层，所述第一卷积层的卷积核是11×11，步长是4；所述第二卷积层的卷积核是5×5，步长是1；所述第三卷积层、所述第四卷积层和所述第五卷积层的卷积核都是3×3，步长都是1；
其中，所述预定训练集包括第一训练样本、第二训练样本、第三训练样本、第四训练样本，在将所述人脸图像输入到卷积神经网络进行处理之前，所述装置还包括：
第一截取单元，用于通过人脸检测框截取人脸图像，生成所述第一训练样本；
第二截取单元，用于将所述人脸检测框向预设方向平移预设距离并截取人脸图像，生成所述第二训练样本；
第三截取单元，用于以所述第一训练样本和/或所述第二训练样本的人脸检测框的中心为旋转中心，将所述人脸检测框旋转预设角度并截取人脸图像，得到所述第三训练样本；
镜像变换单元，用于将所述第一训练样本、所述第二训练样本和所述第三训练样本中的一种或者几种进行镜像变换，生成所述第四训练样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610847668.9A CN107871098B (zh) | 2016-09-23 | 2016-09-23 | 人脸特征点的获取方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610847668.9A CN107871098B (zh) | 2016-09-23 | 2016-09-23 | 人脸特征点的获取方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107871098A CN107871098A (zh) | 2018-04-03 |
| CN107871098B true CN107871098B (zh) | 2021-04-13 |
Family
ID=61751510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610847668.9A Active CN107871098B (zh) | 2016-09-23 | 2016-09-23 | 人脸特征点的获取方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107871098B (zh) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108764248B (zh) * | 2018-04-18 | 2021-11-02 | 广州视源电子科技股份有限公司 | 图像特征点的提取方法和装置 |
| CN109034079B (zh) * | 2018-08-01 | 2022-03-11 | 中国科学院合肥物质科学研究院 | 一种用于人脸非标准姿态下的面部表情识别方法 |
| CN109657615B (zh) * | 2018-12-19 | 2021-11-02 | 腾讯科技（深圳）有限公司 | 一种目标检测的训练方法、装置及终端设备 |
| CN109753931A (zh) * | 2019-01-04 | 2019-05-14 | 广州广电卓识智能科技有限公司 | 卷积神经网络训练方法、系统及人脸特征点检测方法 |
| CN110008848A (zh) * | 2019-03-13 | 2019-07-12 | 华南理工大学 | 一种基于双目立体视觉的道路可行驶区域识别方法 |
| CN110097051B (zh) * | 2019-04-04 | 2024-07-19 | 平安科技（深圳）有限公司 | 图像分类方法、装置及计算机可读存储介质 |
| CN110046602A (zh) * | 2019-04-24 | 2019-07-23 | 李守斌 | 基于分类的深度学习人脸检测方法 |
| CN110210456A (zh) * | 2019-06-19 | 2019-09-06 | 贵州理工学院 | 一种基于3d卷积神经网络的头部姿态估计方法 |
| CN110473166A (zh) * | 2019-07-09 | 2019-11-19 | 哈尔滨工程大学 | 一种基于改进Alexnet模型的尿液有形成分识别方法 |
| CN111061899B (zh) * | 2019-12-18 | 2022-04-26 | 深圳云天励飞技术股份有限公司 | 一种档案代表图片生成方法、装置和电子设备 |
| CN111368678B (zh) * | 2020-02-26 | 2023-08-25 | Oppo广东移动通信有限公司 | 图像处理方法及相关装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824049A (zh) * | 2014-02-17 | 2014-05-28 | 北京旷视科技有限公司 | 一种基于级联神经网络的人脸关键点检测方法 |
| EP3158498A4 (en) * | 2014-11-15 | 2017-08-16 | Beijing Kuangshi Technology Co. Ltd. | Face detection using machine learning |
| CN105512624B (zh) * | 2015-12-01 | 2019-06-21 | 天津中科智能识别产业技术研究院有限公司 | 一种人脸图像的笑脸识别方法及其装置 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
| CN105678232B (zh) * | 2015-12-30 | 2019-01-22 | 中通服公众信息产业股份有限公司 | 一种基于深度学习的人脸图片特征提取与对比方法 |
| CN105608447B (zh) * | 2016-02-17 | 2018-12-07 | 陕西师范大学 | 对人体面部微笑表情深度卷积神经网络的检测方法 |
| CN105912990B (zh) * | 2016-04-05 | 2019-10-08 | 深圳先进技术研究院 | 人脸检测的方法及装置 |
-
2016
- 2016-09-23 CN CN201610847668.9A patent/CN107871098B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107871098A (zh) | 2018-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107871098B (zh) | 人脸特征点的获取方法和装置 | |
| CN110348330B (zh) | 基于vae-acgan的人脸姿态虚拟视图生成方法 | |
| Cao et al. | 3D aided duet GANs for multi-view face image synthesis | |
| Krull et al. | Learning analysis-by-synthesis for 6D pose estimation in RGB-D images | |
| US20190206546A1 (en) | Modeling and learning character traits and medical condition based on 3d facial features | |
| CN106022221B (zh) | 一种图像处理方法及处理系统 | |
| Papazov et al. | Real-time 3D head pose and facial landmark estimation from depth images using triangular surface patch features | |
| WO2020103700A1 (zh) | 一种基于微表情的图像识别方法、装置以及相关设备 | |
| CN108182397B (zh) | 一种多姿态多尺度的人脸验证方法 | |
| US10121273B2 (en) | Real-time reconstruction of the human body and automated avatar synthesis | |
| CN111354079A (zh) | 三维人脸重建网络训练及虚拟人脸形象生成方法和装置 | |
| JP2020526809A (ja) | 仮想顔化粧の除去、高速顔検出およびランドマーク追跡 | |
| CN109684969B (zh) | 凝视位置估计方法、计算机设备及存储介质 | |
| CN107871099A (zh) | 人脸定位方法和装置 | |
| KR20220136510A (ko) | 홍채 식별을 위한 딥 뉴럴 네트워크 | |
| Kong et al. | Head pose estimation from a 2D face image using 3D face morphing with depth parameters | |
| CN111062328B (zh) | 一种图像处理方法、装置及智能机器人 | |
| US20140147022A1 (en) | Facial Landmark Localization By Exemplar-Based Graph Matching | |
| CN109409994A (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| CN106778474A (zh) | 3d人体识别方法及设备 | |
| CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Aydogdu et al. | Comparison of three different CNN architectures for age classification | |
| JP2022527818A (ja) | ユーザの眼に関連する幾何学的変数を推定する方法及びシステム | |
| CN115862120B (zh) | 可分离变分自编码器解耦的面部动作单元识别方法及设备 | |
| Chang et al. | Salgaze: Personalizing gaze estimation using visual saliency |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: 071800 Beijing Tianjin talent home (Xincheng community), West District, Xiongxian Economic Development Zone, Baoding City, Hebei Province Patentee after: BEIJING EYECOOL TECHNOLOGY Co.,Ltd. Address before: 100085 20 / F, building 4, yard 1, shangdishi street, Haidian District, Beijing 2013 Patentee before: BEIJING EYECOOL TECHNOLOGY Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for obtaining facial feature points Effective date of registration: 20230510 Granted publication date: 20210413 Pledgee: Bank of China Limited Hebei xiong'an branch Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd. Registration number: Y2023980040255 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Granted publication date: 20210413 Pledgee: Bank of China Limited Hebei xiong'an branch Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd. Registration number: Y2023980040255 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method and device for obtaining facial feature points Granted publication date: 20210413 Pledgee: Bank of China Limited Hebei xiong'an branch Pledgor: BEIJING EYECOOL TECHNOLOGY Co.,Ltd. Registration number: Y2024110000186 |