CN114529731A - 人脸特征点定位及属性分析方法、装置、存储介质及设备 - Google Patents
人脸特征点定位及属性分析方法、装置、存储介质及设备 Download PDFInfo
- Publication number
- CN114529731A CN114529731A CN202011194982.4A CN202011194982A CN114529731A CN 114529731 A CN114529731 A CN 114529731A CN 202011194982 A CN202011194982 A CN 202011194982A CN 114529731 A CN114529731 A CN 114529731A
- Authority
- CN
- China
- Prior art keywords
- face
- image
- feature
- feature map
- preprocessing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 52
- 238000007781 pre-processing Methods 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 82
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 47
- 238000001514 detection method Methods 0.000 claims abstract description 44
- 238000010586 diagram Methods 0.000 claims abstract description 34
- 230000004913 activation Effects 0.000 claims description 79
- 238000011176 pooling Methods 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 24
- 230000001815 facial effect Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 14
- 230000004807 localization Effects 0.000 claims description 4
- 238000001727 in vivo Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 27
- 238000004422 calculation algorithm Methods 0.000 abstract description 21
- 230000006870 function Effects 0.000 description 13
- 238000004590 computer program Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸特征点定位及属性分析方法、装置、存储介质及设备，属于生物识别领域。其包括：获取人脸图像并截取得到人脸区域图像；将人脸区域图像输入卷积神经网络，得到人脸特征点检测结果及属性分析结果；其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点检测结果及属性分析结果。本发明使用一个CNN网络将人脸特征点定位和人脸属性分析同时进行处理，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间。
Description
技术领域
本发明涉及生物识别领域，特别是指一种人脸特征点定位及属性分析方法、装置、存储介质及设备。
背景技术
目前在人脸闸机、门禁等应用场景上，为了确保信息及财产安全往往需要进行人脸身份验证和人脸活体检测双重验证。所以，一个算法系统中至少需要包含人脸检测、人脸特征点定位、人脸姿态等属性分析、人脸活体检测和人脸比对等步骤。其中，人脸特征点定位、属性分析和活体检测等步骤更是在使用的过程中被频繁调用。
在闸机、门禁等人脸识别应用上往往需要基本无用户配合、快速通关，但是现有技术中通常是对特征点定位、活体检测以及属性分析这几部分使用单独的算法进行单独处理，这些独立的算法时间复杂度都比较高，如果频繁调用，总体时间消耗更长，降低用户体验。
发明内容
为解决现有技术的人脸特征点定位及属性分析互相独立、耗时长的技术问题，本发明提供一种人脸特征点定位及属性分析方法、装置、存储介质及设备，使用一个CNN网络将人脸特征点定位和人脸属性分析同时进行处理，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间。
本发明提供技术方案如下：
第一方面，本发明提供一种人脸特征点定位及属性分析方法，所述方法包括：
获取人脸图像并截取得到人脸区域图像；
将所述人脸区域图像输入卷积神经网络，人脸特征点检测结果及属性分析结果；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；
所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点检测结果及属性分析结果。
进一步的，所述若干分支包括第一分支、第二分支和第三分支，所述人脸特征点检测结果包括人脸特征点坐标，所述属性分析结果包括人脸三维姿态角、人脸清晰度分值以及人脸活体检测分值；
所述将所述人脸区域图像输入卷积神经网络，得到人脸特征点检测结果及属性分析结果，包括：
所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角；
所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值。
进一步的，所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图，包括：
将所述人脸区域图像边缘使用0扩充若干个像素并进行第一卷积操作、第一tanh激活操作、第一取绝对值操作以及第一最大值池化操作，得到第一特征图；
将所述第一特征图边缘使用0扩充若干个像素并进行第二卷积操作、第二tanh激活操作、第二取绝对值操作以及第二最大值池化操作，得到第二特征图；
将所述第二特征图进行第三卷积操作、第三tanh激活操作、第三取绝对值操作以及第三最大值池化操作，得到所述前处理特征图。
进一步的，所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标，包括：
将所述前处理特征图进行第四卷积操作、第四tanh激活操作、第四取绝对值操作以及第一内积操作，得到第一特征向量；
将所述第一特征向量进行第五tanh激活操作、第五取绝对值操作以及第二内积操作，得到第二特征向量，所述第二特征向量为人脸特征点坐标的补偿值
根据如下公式计算得到人脸特征点坐标(xi,yi)；
其中，width和height分别为人脸区域图像的宽和高。
进一步的，所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角，包括：
将所述前处理特征图进行第五卷积操作、第一BN操作、第一ReLU激活操作以及第三内积操作，得到第三特征向量；
将所述第三特征向量进行第四内积操作，得到3维的第四特征向量，所述第四特征向量中的三个维度值即为所述人脸三维姿态角。
进一步的，所述方法还包括：
判断所述人脸三维姿态角中的任意一个角度是否大于设定的角度阈值，若是，则将所述人脸三维姿态角作为最终的人脸姿态角，否则，执行下一步；
根据所述人脸特征点坐标计算得到参考人脸三维姿态角，将所述人脸三维姿态角和参考人脸三维姿态角的平均值作为最终的人脸姿态角。
进一步的，所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值，包括：
将所述前处理特征图进行第六卷积操作、第二BN操作、第二ReLU激活操作以及第五内积操作，得到第五特征向量；
将所述第五特征向量进行第六内积操作，得到2维的第六特征向量，所述第六特征向量中的两个纬度值即为所述人脸清晰度分值以及人脸活体检测分值。
第二方面，本发明提供一种人脸特征点定位及属性分析装置，所述装置包括：
图像获取模块，用于获取人脸图像并截取得到人脸区域图像；
处理模块，用于将所述人脸区域图像输入卷积神经网络，得到人脸特征点检测结果及属性分析结果；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；
所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点检测结果及属性分析结果。
进一步的，所述若干分支包括第一分支、第二分支和第三分支，所述人脸特征点检测结果包括人脸特征点坐标，所述属性分析结果包括人脸三维姿态角、人脸清晰度分值以及人脸活体检测分值；
所述处理模块包括：
所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角；
所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值。
进一步的，所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图，包括：
第一操作单元，用于将所述人脸区域图像边缘使用0扩充若干个像素并进行第一卷积操作、第一tanh激活操作、第一取绝对值操作以及第一最大值池化操作，得到第一特征图；
第二操作单元，用于将所述第一特征图边缘使用0扩充若干个像素并进行第二卷积操作、第二tanh激活操作、第二取绝对值操作以及第二最大值池化操作，得到第二特征图；
第三操作单元，用于将所述第二特征图进行第三卷积操作、第三tanh激活操作、第三取绝对值操作以及第三最大值池化操作，得到所述前处理特征图。
进一步的，所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标，包括：
第四操作单元，用于将所述前处理特征图进行第四卷积操作、第四tanh激活操作、第四取绝对值操作以及第一内积操作，得到第一特征向量；
第五操作单元，用于将所述第一特征向量进行第五tanh激活操作、第五取绝对值操作以及第二内积操作，得到第二特征向量，所述第二特征向量为人脸特征点坐标的补偿值
人脸特征点坐标计算单元，用于根据如下公式计算得到人脸特征点坐标(xi,yi)；
其中，width和height分别为人脸区域图像的宽和高。
进一步的，所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角，包括：
第六操作单元，用于将所述前处理特征图进行第五卷积操作、第一BN操作、第一ReLU激活操作以及第三内积操作，得到第三特征向量；
第七操作单元，用于将所述第三特征向量进行第四内积操作，得到3维的第四特征向量，所述第四特征向量中的三个维度值即为所述人脸三维姿态角。
进一步的，所述装置还包括：
判断单元，用于判断所述人脸三维姿态角中的任意一个角度是否大于设定的角度阈值，若是，则将所述人脸三维姿态角作为最终的人脸姿态角，否则，执行人脸三维姿态角计算单元；
人脸三维姿态角计算单元，用于根据所述人脸特征点坐标计算得到参考人脸三维姿态角，将所述人脸三维姿态角和参考人脸三维姿态角的平均值作为最终的人脸姿态角。
进一步的，所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值，包括：
第八操作单元，用于将所述前处理特征图进行第六卷积操作、第二BN操作、第二ReLU激活操作以及第五内积操作，得到第五特征向量；
第九操作单元，用于将所述第五特征向量进行第六内积操作，得到2维的第六特征向量，所述第六特征向量中的两个纬度值即为所述人脸清晰度分值以及人脸活体检测分值。
第三方面，本发明提供一种用于人脸特征点定位及属性分析的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括第一方面所述的人脸特征点定位及属性分析方法的步骤。
第四方面，本发明提供一种用于人脸特征点定位及属性分析的设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现第一方面所述的人脸特征点定位及属性分析方法的步骤。
本发明具有以下有益效果：
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析(人脸三维姿态、人脸清晰度以及人脸活体检测等)的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的若干个分支分别并行实现人脸特征点定位以及人脸属性分析，减少了算法的时间复杂度，较大程度的提高了用户体验，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间，尤其适用于用户体验对算法的时间消耗要求较高的闸机、门禁等应用场景。
附图说明
图1为本发明的人脸特征点定位及属性分析方法的流程图；
图2为人脸三维姿态角的示意图；
图3为本发明的卷积神经网络的图像前处理部分的流程图；
图4为本发明中的卷积神经网络的第一分支的流程图；
图5为本发明中的卷积神经网络的第二分支的流程图；
图6为本发明中的卷积神经网络的第三分支的流程图；
图7为本发明的卷积神经网络的图像前处理部分的结构示意图；
图8为本发明中的卷积神经网络的第一分支的结构示意图；
图9为本发明中的卷积神经网络的第二分支和第三分支的结构示意图；
图10为本发明的人脸特征点定位及属性分析装置的示意图；
图11为本发明中的卷积神经网络的图像前处理部分的模块图；
图12为本发明中的卷积神经网络的第一分支的模块图；
图13为本发明中的卷积神经网络的第二分支的模块图；
图14为本发明中的卷积神经网络的第三分支的模块图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
本发明实施例提供了一种人脸特征点定位及属性分析方法，如图1所示，该方法包括：
S100：获取人脸图像并截取得到人脸区域图像。
本步骤不限制获取人脸图像的方法，示例性的，可以通过人脸镜头采集人脸图像，采集时，可以采集单幅图像，也可以是采集视频，并从视频中获取单帧或多帧图像。
获取人脸图像后可以通过如下操作进行人脸区域截取：获得人脸区域左上角点的坐标(x,y)以及人脸区域的宽width和高height，以(x,y)为起点向左和向下获取width和height个像素点，构成人脸区域图像。然后，将人脸区域图像插值归一化后作为卷积神经网络(Convolutional Neural Networks,CNN)的输入，例如可以归一化到40*40大小。
S200：将人脸区域图像输入卷积神经网络(CNN)，得到人脸特征点检测结果及属性分析结果。
其中，卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支。
人脸区域图像经过图像前处理部分得到前处理特征图，前处理特征图分别经过若干分支得到人脸特征点检测结果及属性分析结果。
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析(人脸三维姿态、人脸清晰度以及人脸活体检测等)的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的若干个分支分别并行实现人脸特征点定位以及人脸属性分析，减少了算法的时间复杂度，较大程度的提高了用户体验，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间，尤其适用于用户体验对算法的时间消耗要求较高的闸机、门禁等应用场景。
作为本发明实施方式的一个示例，前述的若干分支包括第一分支、第二分支和第三分支，人脸特征点检测结果包括人脸特征点坐标，属性分析结果包括人脸三维姿态角、人脸清晰度分值以及人脸活体检测分值。
相应的，前述的S200包括：
前述的人脸区域图像经过图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图。
前处理特征图经过第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到人脸特征点坐标，实现人脸特征点定位。
前处理特征图经过第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到人脸三维姿态角，实现对人脸三维姿态属性的分析。
前处理特征图经过第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到人脸清晰度分值以及人脸活体检测分值，实现对人脸清晰度以及人脸活体检测属性的分析。
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的三个分支分别并行实现人脸特征点定位、人脸三维姿态分析、人脸清晰度以及人脸活体检测分析。
本发明的CNN的图像前处理部分的操作过程如图3所示，包括：
S211：将人脸区域图像边缘使用0扩充若干个像素并进行第一卷积操作、第一tanh激活操作、第一取绝对值操作以及第一最大值池化操作，得到第一特征图。
具体的，以人脸区域图像大小为40*40，通道数为3举例说明如下：
将S100中获取的宽和高均为40的3通道人脸区域图像作为CNN的图像前处理部分的输入图像，首先将人脸区域图像四周边缘的2个像素使用0进行扩充，然后使用大小5*5的卷积核以步长为1进行第一卷积操作，获得大小为40*40的16通道特征图。然后使用Tanh激活函数进行第一Tanh激活操作，Tanh激活函数的形式如下：
对激活后的神经元进行第一取绝对值操作后作为下一层的输入，接着对取绝对值后的神经元进行无重叠的第一最大值池化操作，其中池化核的大小为2*2，步长为2，获得了大小为20*20的16通道的第一特征图。
S212：将第一特征图边缘使用0扩充若干个像素并进行第二卷积操作、第二tanh激活操作、第二取绝对值操作以及第二最大值池化操作，得到第二特征图。
对S211获得的16通道，大小为20*20的第一特征图四周边缘的1个像素点使用0进行扩充，然后使用大小为3*3的卷积核以步长为1进行第二卷积操作，得到大小为20*20的48通道的特征图，然后使用Tanh激活函数进行第二Tanh激活操作并且进行第二取绝对值操作，接着以步长为1进行3*3的第二最值大池化操作，得到大小为10*10的48通道的第二特征图。
S213：将第二特征图进行第三卷积操作、第三tanh激活操作、第三取绝对值操作以及第三最大值池化操作，得到前处理特征图。
对S212获得的48通道，大小为10*10的第二特征图使用大小为3*3的卷积核以步长为1进行第三卷积操作，得到大小为8*8的64通道的特征图，然后使用Tanh激活函数进行第三Tanh激活操作并且进行第三取绝对值操作，接着以步长为2进行3*3的第三最大值池化操作，得到大小为3*3的64通道的前处理特征图。
图像前处理部分的一系列过程为前处理特征图提取过程，将一张大小为40*40的彩色人脸图像经过CNN的图像前处理部分后得到了大小为3*3的64通道的前处理特征图。
接着，需要对该前处理特征图进行三个分支的处理，分别获得了人脸特征点的定位结果、人脸姿态和人脸活体检测结果、人脸清晰度，具体的操作过程图下。
第一分支的操作过程如图4所示，包括：
S221：将前处理特征图进行第四卷积操作、第四tanh激活操作、第四取绝对值操作以及第一内积操作，得到第一特征向量。
首先，对S213得到的64通道的3*3的前处理特征图使用大小为2*2的卷积核以步长为1进行第四卷积操作，得到64通道大小为3*3的特征图，然后对该特征图进行四Tanh激活操作和第四取绝对值操作，对取绝对值后的结果使用第一内积操作得到维度为256的第一特征向量。
S222：将第一特征向量进行第五tanh激活操作、第五取绝对值操作以及第二内积操作，得到第二特征向量，第二特征向量为人脸特征点坐标的补偿值
本步骤对S221得到的第一特征向量进行第五Tanh激活操作和第五取绝对值操作，为了获得83个特征点定位结果，需要将特征向量映射到166维的向量上，所以对上述获得的256维特征向量采用第二内积操作获得166维的第二特征向量，该166维的第二特征向量即为83个点的横纵坐标的补偿值
S223：根据如下公式计算得到人脸特征点坐标(xi,yi)；
其中，width和height分别为人脸区域图像的宽和高。
第二分支的操作过程如图5所示，包括：
S231：将前处理特征图进行第五卷积操作、第一BN操作、第一ReLU激活操作以及第三内积操作，得到第三特征向量。
首先，对S213得到的64通道的3*3的前处理特征图使用大小为2*2的卷积核以步长为1进行第五卷积操作，得到64通道大小为3*3的特征图。然后使用第一BN操作进行特征归一化和第一ReLU激活操作进行特征激活。接着，使用第三内积操作映射得到大小为128维的第三特征向量。
S232：将第三特征向量进行第四内积操作，得到3维的第四特征向量，第四特征向量中的三个维度值即为人脸三维姿态角。
对128维的第三特征向量使用第四内积操作得到3维的第四特征向量，作为人脸三维姿态角的输出结果。人脸三维姿态角(pitch,yaw,roll)为人脸的3个真实的偏转角度，3个偏转角度如图2所示。
本发明将S232中得到的人脸三维姿态角记为(pitch1,yaw1,roll1)，为了获得更加稳定的人脸三维姿态角，本发明的方法还包括：
判断人脸三维姿态角(pitch1,yaw1,roll1)中的任意一个角度是否大于设定的角度阈值，若是，则将人脸三维姿态角(pitch1,yaw1,roll1)作为最终的人脸姿态角，否则，执行下一步。
该角度阈值根据需要进行设置，例如可以是20度。
根据人脸特征点坐标计算得到参考人脸三维姿态角(pitch2,yaw2,roll2)，将人脸三维姿态角和参考人脸三维姿态角的平均值作为最终的人脸姿态角。
传统的人脸三维姿态判断方法是基于人脸特征点定位的结果使用PNP方法，计算几何映射下的人脸姿态，PNP方法将人脸三维姿态估计问题当作N个特征点的透视变化问题(Perspective-n-Point,PNP)。PNP方法计算的结果依赖于人脸特征点的定位结果和人脸姿态模型，对大角度姿态鲁棒性较差。
本发明通过第二分支回归得到人脸三维姿态角，并结合PNP方法计算得到的参考人脸三维姿态角，两者综合考虑得到最终的人脸姿态角，对姿态偏转较大的人脸的角度判断较准确、鲁棒性好。
第三分支的操作过程如图6所示，包括：
S241：将前处理特征图进行第六卷积操作、第二BN操作、第二ReLU激活操作以及第五内积操作，得到第五特征向量。
首先，对S213得到的64通道的3*3的前处理特征图使用大小为2*2的卷积核以步长为1进行第六卷积操作，得到64通道大小为3*3的特征图。然后使用第二BN操作进行特征归一化和第二ReLU激活操作进行特征激活。接着，使用第五内积操作映射得到大小为128维的第四特征向量
S242：将第五特征向量进行第六内积操作，得到2维的第六特征向量，第六特征向量中的两个维度值即为人脸清晰度分值以及人脸活体检测分值。
对128维的第五特征向量使用第六内积操作得到2维的第六特征向量作为人脸清晰度和活体检测判断的输出结果。其中第一个维度表示人脸活体检测分值，第二个维度表示人脸清晰度分值。
本发明的CNN的结构如图7-9所示，其结构精简，可以同时进行三个分支的分类和回归任务，算法复杂度低，有利于方案的部署，可以使用性能低平台，减少成本，准确度高。
实施例2：
本发明实施例提供了一种人脸特征点定位及属性分析装置，如图10所示，该装置包括：
图像获取模块100，用于获取人脸图像并截取得到人脸区域图像。
处理模块200，用于将人脸区域图像输入卷积神经网络，得到人脸特征点检测结果及属性分析结果；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；
所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点检测结果及属性分析结果。
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的若干个分支分别并行实现人脸特征点定位以及人脸属性分析，减少了算法的时间复杂度，较大程度的提高了用户体验，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间，尤其适用于用户体验对算法的时间消耗要求较高的闸机、门禁等应用场景。
作为本发明实施方式的一个示例，前述的若干分支包括第一分支、第二分支和第三分支，人脸特征点检测结果包括人脸特征点坐标，属性分析结果包括人脸三维姿态角、人脸清晰度分值以及人脸活体检测分值。
相应的，处理模块200包括：
人脸区域图像经过图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图。
前处理特征图经过第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到人脸特征点坐标。
前处理特征图经过第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到人脸三维姿态角。
前处理特征图经过第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到人脸清晰度分值以及人脸活体检测分值。
前述的图像前处理部分如图11所示，包括：
第一操作单元211，用于将人脸区域图像边缘使用0扩充若干个像素并进行第一卷积操作、第一tanh激活操作、第一取绝对值操作以及第一最大值池化操作，得到第一特征图。
第二操作单元212，用于将第一特征图边缘使用0扩充若干个像素并进行第二卷积操作、第二tanh激活操作、第二取绝对值操作以及第二最大值池化操作，得到第二特征图。
第三操作单元213，用于将第二特征图进行第三卷积操作、第三tanh激活操作、第三取绝对值操作以及第三最大值池化操作，得到前处理特征图。
第一分支如图12所示，包括：
第四操作单元221，用于将前处理特征图进行第四卷积操作、第四tanh激活操作、第四取绝对值操作以及第一内积操作，得到第一特征向量。
第五操作单元222，用于将第一特征向量进行第五tanh激活操作、第五取绝对值操作以及第二内积操作，得到第二特征向量，第二特征向量为人脸特征点坐标的补偿值
人脸特征点坐标计算单元223，用于根据如下公式计算得到人脸特征点坐标(xi,yi)。
其中，width和height分别为人脸区域图像的宽和高。
第二分支如图13所示，包括：
第六操作单元231，用于将前处理特征图进行第五卷积操作、第一BN操作、第一ReLU激活操作以及第三内积操作，得到第三特征向量。
第七操作单元232，用于将第三特征向量进行第四内积操作，得到3维的第四特征向量，第四特征向量中的三个维度值即为人脸三维姿态角。
第三分支如图14所示，包括：
第八操作单元241，用于将前处理特征图进行第六卷积操作、第二BN操作、第二ReLU激活操作以及第五内积操作，得到第五特征向量。
第九操作单元242，用于将第五特征向量进行第六内积操作，得到2维的第六特征向量，第六特征向量中的两个纬度值即为人脸清晰度分值以及人脸活体检测分值。
该装置还包括：
判断单元，用于判断人脸三维姿态角中的任意一个角度是否大于设定的角度阈值，若是，则将人脸三维姿态角作为最终的人脸姿态角，否则，执行人脸三维姿态角计算单元。
人脸三维姿态角计算单元，用于根据人脸特征点坐标计算得到参考人脸三维姿态角，将人脸三维姿态角和参考人脸三维姿态角的平均值作为最终的人脸姿态角。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例1相同，为简要描述，该装置实施例部分未提及之处，可参考前述方法实施例1中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的装置和单元的具体工作过程，均可以参考上述方法实施例1中的对应过程，在此不再赘述。
实施例3：
本说明书提供的上述实施例1所述的方法可以通过计算机程序实现业务逻辑并记录在存储介质上，所述的存储介质可以计算机读取并执行，实现本说明书实施例1所描述方案的效果。因此，本发明还提供用于人脸特征点定位及属性分析的计算机可读存储介质，包括用于存储处理器可执行指令的存储器，指令被处理器执行时实现包括实施例1的人脸特征点定位及属性分析方法的步骤。
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的若干个分支分别并行实现人脸特征点定位以及人脸属性分析，减少了算法的时间复杂度，较大程度的提高了用户体验，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间，尤其适用于用户体验对算法的时间消耗要求较高的闸机、门禁等应用场景。
所述存储介质可以包括用于存储信息的物理装置，通常是将信息数字化后再以利用电、磁或者光学等方式的媒体加以存储。所述存储介质有可以包括：利用电能方式存储信息的装置如，各式存储器，如RAM、ROM等；利用磁能方式存储信息的装置如，硬盘、软盘、磁带、磁芯存储器、磁泡存储器、U盘；利用光学方式存储信息的装置如，CD或DVD。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。
上述所述的存储介质根据方法实施例1的描述还可以包括其他的实施方式。具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
实施例4：
本发明还提供一种用于人脸特征点定位及属性分析的设备，所述的设备可以为单独的计算机，也可以包括使用了本说明书的一个或多个所述方法或一个或多个实施例装置的实际操作装置等。所述用于人脸特征点定位及属性分析的设备可以包括至少一个处理器以及存储计算机可执行指令的存储器，处理器执行所述指令时实现上述任意一个或者多个实施例1中所述人脸特征点定位及属性分析方法的步骤。
本发明使用一个CNN网络，将人脸特征点定位和人脸属性分析的过程同时进行处理，在处理时，先通过CNN的前处理部分得到前处理特征图，作为后续的处理基础，然后通过并列的若干个分支分别并行实现人脸特征点定位以及人脸属性分析，减少了算法的时间复杂度，较大程度的提高了用户体验，不但可以获得较高的准确率还可以较大程度上减少算法消耗的时间，尤其适用于用户体验对算法的时间消耗要求较高的闸机、门禁等应用场景。
上述所述的设备根据方法或者装置实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例1的描述，在此不作一一赘述。
需要说明的是，本说明书上述所述的装置或者系统根据相关方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照方法实施例的描述，在此不作一一赘述。本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于硬件+程序类、存储介质+程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块或子单元的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书一个或多个实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本说明书的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述并不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种人脸特征点定位及属性分析方法，其特征在于，所述方法包括：
获取人脸图像并截取得到人脸区域图像；
将所述人脸区域图像输入卷积神经网络，得到人脸特征点定位结果及属性分析结果；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；
所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点定位结果及属性分析结果。
2.根据权利要求1所述的人脸特征点定位及属性分析方法，其特征在于，所述若干分支包括第一分支、第二分支和第三分支，所述人脸特征点定位结果包括人脸特征点坐标，所述属性分析结果包括人脸三维姿态角、人脸清晰度分值以及人脸活体检测分值；
所述将所述人脸区域图像输入卷积神经网络，得到人脸特征点定位结果及属性分析结果，包括：
所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图；
所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标；
所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角；
所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值。
3.根据权利要求2所述的人脸特征点定位及属性分析方法，其特征在于，所述人脸区域图像经过所述图像前处理部分的一系列卷积操作、激活操作、取绝对值操作以及池化操作后得到前处理特征图，包括：
将所述人脸区域图像边缘使用0扩充若干个像素并进行第一卷积操作、第一tanh激活操作、第一取绝对值操作以及第一最大值池化操作，得到第一特征图；
将所述第一特征图边缘使用0扩充若干个像素并进行第二卷积操作、第二tanh激活操作、第二取绝对值操作以及第二最大值池化操作，得到第二特征图；
将所述第二特征图进行第三卷积操作、第三tanh激活操作、第三取绝对值操作以及第三最大值池化操作，得到所述前处理特征图。
4.根据权利要求3所述的人脸特征点定位及属性分析方法，其特征在于，所述前处理特征图经过所述第一分支的一系列卷积操作、激活操作、取绝对值操作以及内积操作，并结合人脸区域图像的宽和高计算得到所述人脸特征点坐标，包括：
将所述前处理特征图进行第四卷积操作、第四tanh激活操作、第四取绝对值操作以及第一内积操作，得到第一特征向量；
将所述第一特征向量进行第五tanh激活操作、第五取绝对值操作以及第二内积操作，得到第二特征向量，所述第二特征向量为人脸特征点坐标的补偿值
根据如下公式计算得到人脸特征点坐标(xi,yi)；
其中，width和height分别为人脸区域图像的宽和高。
5.根据权利要求4所述的人脸特征点定位及属性分析方法，其特征在于，所述前处理特征图经过所述第二分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸三维姿态角，包括：
将所述前处理特征图进行第五卷积操作、第一BN操作、第一ReLU激活操作以及第三内积操作，得到第三特征向量；
将所述第三特征向量进行第四内积操作，得到3维的第四特征向量，所述第四特征向量中的三个维度值即为所述人脸三维姿态角。
6.根据权利要求5所述的人脸特征点定位及属性分析方法，其特征在于，所述方法还包括：
判断所述人脸三维姿态角中的任意一个角度是否大于设定的角度阈值，若是，则将所述人脸三维姿态角作为最终的人脸姿态角，否则，执行下一步；
根据所述人脸特征点坐标计算得到参考人脸三维姿态角，将所述人脸三维姿态角和参考人脸三维姿态角的平均值作为最终的人脸姿态角。
7.根据权利要求6所述的人脸特征点定位及属性分析方法，其特征在于，所述前处理特征图经过所述第三分支的一系列卷积操作、BN操作、激活操作以及内积操作后得到所述人脸清晰度分值以及人脸活体检测分值，包括：
将所述前处理特征图进行第六卷积操作、第二BN操作、第二ReLU激活操作以及第五内积操作，得到第五特征向量；
将所述第五特征向量进行第六内积操作，得到2维的第六特征向量，所述第六特征向量中的两个纬度值即为所述人脸清晰度分值以及人脸活体检测分值。
8.一种人脸特征点定位及属性分析装置，其特征在于，所述装置包括：
图像获取模块，用于获取人脸图像并截取得到人脸区域图像；
处理模块，用于将所述人脸区域图像输入卷积神经网络，得到人脸特征点定位结果及属性分析结果；
其中，所述卷积神经网络包括图像前处理部分以及位于所述图像前处理部分后的并列的若干分支；
所述人脸区域图像经过所述图像前处理部分得到前处理特征图，所述前处理特征图分别经过若干分支得到人脸特征点定位结果及属性分析结果。
9.一种用于人脸特征点定位及属性分析的计算机可读存储介质，其特征在于，包括用于存储处理器可执行指令的存储器，所述指令被所述处理器执行时实现包括权利要求1-7任一所述人脸特征点定位及属性分析方法的步骤。
10.一种用于人脸特征点定位及属性分析的设备，其特征在于，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现权利要求1-7中任意一项所述人脸特征点定位及属性分析方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194982.4A CN114529731B (zh) | 2020-10-30 | 2020-10-30 | 人脸特征点定位及属性分析方法、装置、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011194982.4A CN114529731B (zh) | 2020-10-30 | 2020-10-30 | 人脸特征点定位及属性分析方法、装置、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114529731A true CN114529731A (zh) | 2022-05-24 |
| CN114529731B CN114529731B (zh) | 2024-07-12 |
Family
ID=81618456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011194982.4A Active CN114529731B (zh) | 2020-10-30 | 2020-10-30 | 人脸特征点定位及属性分析方法、装置、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114529731B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
| CN109886244A (zh) * | 2019-03-01 | 2019-06-14 | 北京视甄智能科技有限公司 | 一种人脸识别活体检测方法及装置 |
| CN110334587A (zh) * | 2019-05-23 | 2019-10-15 | 北京市威富安防科技有限公司 | 人脸关键点定位模型的训练方法、装置及关键点定位方法 |
| WO2019228089A1 (zh) * | 2018-05-30 | 2019-12-05 | 腾讯科技（深圳）有限公司 | 人体属性识别方法、装置、设备及介质 |
| CN110674800A (zh) * | 2019-12-04 | 2020-01-10 | 图谱未来(南京)人工智能研究院有限公司 | 一种人脸活体检测方法、装置、电子设备及存储介质 |
| WO2020088588A1 (zh) * | 2018-11-01 | 2020-05-07 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
| CN111274977A (zh) * | 2020-01-22 | 2020-06-12 | 中能国际建筑投资集团有限公司 | 多任务卷积神经网络模型及使用方法、装置和存储介质 |
| CN111325108A (zh) * | 2020-01-22 | 2020-06-23 | 中能国际建筑投资集团有限公司 | 一种多任务网络模型及使用方法、装置、和存储介质 |
| CN111767900A (zh) * | 2020-07-28 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、计算机设备及存储介质 |
-
2020
- 2020-10-30 CN CN202011194982.4A patent/CN114529731B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106529402A (zh) * | 2016-09-27 | 2017-03-22 | 中国科学院自动化研究所 | 基于多任务学习的卷积神经网络的人脸属性分析方法 |
| WO2019228089A1 (zh) * | 2018-05-30 | 2019-12-05 | 腾讯科技（深圳）有限公司 | 人体属性识别方法、装置、设备及介质 |
| WO2020088588A1 (zh) * | 2018-11-01 | 2020-05-07 | 长沙小钴科技有限公司 | 一种基于深度学习的静态三维人脸活体检测方法 |
| CN109508679A (zh) * | 2018-11-19 | 2019-03-22 | 广东工业大学 | 实现眼球三维视线跟踪的方法、装置、设备及存储介质 |
| CN109886244A (zh) * | 2019-03-01 | 2019-06-14 | 北京视甄智能科技有限公司 | 一种人脸识别活体检测方法及装置 |
| CN110334587A (zh) * | 2019-05-23 | 2019-10-15 | 北京市威富安防科技有限公司 | 人脸关键点定位模型的训练方法、装置及关键点定位方法 |
| CN110674800A (zh) * | 2019-12-04 | 2020-01-10 | 图谱未来(南京)人工智能研究院有限公司 | 一种人脸活体检测方法、装置、电子设备及存储介质 |
| CN111274977A (zh) * | 2020-01-22 | 2020-06-12 | 中能国际建筑投资集团有限公司 | 多任务卷积神经网络模型及使用方法、装置和存储介质 |
| CN111325108A (zh) * | 2020-01-22 | 2020-06-23 | 中能国际建筑投资集团有限公司 | 一种多任务网络模型及使用方法、装置、和存储介质 |
| CN111767900A (zh) * | 2020-07-28 | 2020-10-13 | 腾讯科技（深圳）有限公司 | 人脸活体检测方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114529731B (zh) | 2024-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110807451B (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
| Ahn et al. | Real-time head orientation from a monocular camera using deep neural network | |
| KR102290392B1 (ko) | 얼굴 등록 방법 및 장치, 얼굴 인식 방법 및 장치 | |
| Gomes et al. | Efficient 3D object recognition using foveated point clouds | |
| TWI484444B (zh) | 用於面部特徵向量之建構之非暫時性電腦可讀媒體、電子器件、及電腦系統 | |
| WO2020199478A1 (zh) | 图像生成模型训练方法、图像生成方法、装置、设备及存储介质 | |
| CN111710036B (zh) | 三维人脸模型的构建方法、装置、设备及存储介质 | |
| WO2019099095A1 (en) | Pose estimation and model retrieval for objects in images | |
| JP5895703B2 (ja) | 画像処理装置及び画像処理方法、並びにコンピューター・プログラム | |
| Arcoverde Neto et al. | Enhanced real-time head pose estimation system for mobile device | |
| CN112381061B (zh) | 一种面部表情识别方法及系统 | |
| CN104050449A (zh) | 一种人脸识别方法及装置 | |
| Yang et al. | Facial expression recognition based on dual-feature fusion and improved random forest classifier | |
| US20220130175A1 (en) | Method and apparatus for detecting liveness based on phase difference | |
| CN111754391A (zh) | 人脸转正方法、设备及计算机可读存储介质 | |
| CN111104837A (zh) | 移动设备和相关视频编辑方法 | |
| CN112699857A (zh) | 基于人脸姿态的活体验证方法、装置及电子设备 | |
| CN111353069A (zh) | 一种人物场景视频生成方法、系统、装置及存储介质 | |
| US9349038B2 (en) | Method and apparatus for estimating position of head, computer readable storage medium thereof | |
| Hsieh et al. | A facial expression classification system based on active shape model and support vector machine | |
| Abid et al. | Dynamic hand gesture recognition from Bag-of-Features and local part model | |
| Jimenez et al. | Face pose estimation with automatic 3D model creation in challenging scenarios | |
| CN114529731B (zh) | 人脸特征点定位及属性分析方法、装置、存储介质及设备 | |
| Lee et al. | An effective method for detecting facial features and face in human–robot interaction | |
| CN115035566B (zh) | 表情识别方法、装置、计算机设备和计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |