CN107368778A - 人脸表情的捕捉方法、装置及存储装置 - Google Patents

人脸表情的捕捉方法、装置及存储装置 Download PDF

Info

Publication number
CN107368778A
CN107368778A CN201710407288.8A CN201710407288A CN107368778A CN 107368778 A CN107368778 A CN 107368778A CN 201710407288 A CN201710407288 A CN 201710407288A CN 107368778 A CN107368778 A CN 107368778A
Authority
CN
China
Prior art keywords
human face
rgbd
image
region
face region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710407288.8A
Other languages
English (en)
Inventor
黄源浩
肖振中
许宏淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Orbbec Co Ltd
Original Assignee
Shenzhen Orbbec Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Orbbec Co Ltd filed Critical Shenzhen Orbbec Co Ltd
Priority to CN201710407288.8A priority Critical patent/CN107368778A/zh
Publication of CN107368778A publication Critical patent/CN107368778A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression

Abstract

本发明提供了一种人脸表情的捕捉方法、装置及存储装置。该方法包括：获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应；对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从人脸区域的RGBD图像中获取人脸特征点；标记人脸特征点在人脸区域的RGBD图像上的位置；在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。该装置包括处理器和RGBD相机。该存储装置存储有程序数据，程序数据能够被执行以实现上述方法。本发明能将该人脸特征点及其运动轨迹信息全面地从像素信息和深度信息上反映出来，使得捕捉的表情信息更加全面、准确。

Description

人脸表情的捕捉方法、装置及存储装置
技术领域
本发明涉及RGBD图像处理技术领域，特别是涉及一种人脸表情的捕捉方法、装置及存储装置。
背景技术
RGBD图像由RGBD相机拍摄场景而获得，是指深度信息与彩色信息融合的图像，每个图像元素均具有相关联的颜色值和相关联的深度值，该深度值表示从图像传感器到场景中的物体表面的距离。
表情是情绪和情感的外部表现，按基本情绪模型可将表情分为六类：生气、厌恶、恐惧、高兴、悲伤、惊讶。人脸表情识别一直以来都具非常重要的研究意义，在人机交互、公共安全、智能影视等多个领域有着巨大的市场价值。
对现有技术的研究和实践过程中，本发明的发明人发现仅从RGB图像中获取的人脸表情信息并不能全面、准确地反应出人脸的真实表情。
发明内容
本发明提供一种人脸表情的捕捉方法、装置及存储装置，能够解决现有技术存在不能全面、准确反应出人脸的真实表情的问题。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种人脸表情的捕捉方法，该方法包括：获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种人脸表情的捕捉装置，该装置包括处理器和RGBD相机，所述RGBD相机与所述处理器连接；所述RGBD相机用于获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；所述处理器用于对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。。
为解决上述技术问题，本发明采用的又一个技术方案是：提供一种存储装置，该存储装置存储有程序数据，所述程序数据能够被执行以实现上述方法。
本发明的有益效果是：区别于现有技术的情况，本发明通过RGBD图像序列提取人脸特征点并记录该人脸特征点的运动轨迹，由于RGBD图像具有像素信息和深度信息，因而该人脸特征点及其运动轨迹信息也能全面地从像素信息和深度信息上反映出来，使得捕捉的表情信息更加全面、准确。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的一种人脸表情的捕捉方法实施例的流程示意图；
图2是本发明提供的一种人脸表情的捕捉方法另一实施例的流程示意图；
图3是图2中步骤S25的流程示意图；
图4是本发明提供的一种人脸表情的捕捉方法又一实施例的流程示意图；
图5是本发明提供的一种人脸表情的捕捉装置实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，图1是本发明提供的一种人脸表情的捕捉方法实施例的流程示意图。
图1所示的人脸表情的捕捉方法包括以下步骤：
S11、获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。
其中，RGBD图像序列是指特定时间内连续帧的RGBD图像，可以由RGBD拍摄设备获取。
S12、对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像。
步骤S12中的RGBD图像可以是步骤S11中RGBD图像序列中的任一RGBD图像，例如RGBD图像序列中的第一个RGBD图像。人脸区域可以只从其中一个RGBD图像中提取即可。
S13、从人脸区域的RGBD图像中获取人脸特征点。
人脸特征点可以通过采集人脸元素来获取，人脸元素包括眉毛、眼睛、鼻子、嘴巴、脸颊以及下巴等等中的一个或者多个。
S14、标记人脸特征点在人脸区域的RGBD图像上的位置。
步骤S14对人脸特征点的标记以便于后续步骤S15对该人脸特征点进行跟踪。
S15、在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。
步骤S15中，在RGBD图像序列中跟踪标记好的人脸特征点，从而获取该人脸特征点的运动轨迹信息，并记录，从而根据人脸特征点的运动轨迹，例如，嘴角、眼角等特征点的运动轨迹来捕获人脸的表情并捕捉人脸表情的变化。
具体而言，步骤S15中的人脸特征点的跟踪方法可以采用基于KLT(Kanade-Lucas-Tomasi)算法的人脸特征点跟踪方法、Gabor小波的人脸特征点跟踪方法和AAM的人脸特征点跟踪方法等方法。
例如，Lucas-Kanade特征点跟踪算法，给定相邻两帧图像I1和I2，对I1中的特征点p＝(x,y)T，假设光流为d＝(u,v)T，则在I2中对应的特征点为p+d，Lucas-Kanade算法的目的是搜索位移量使得与对应点相关的邻域的匹配误差最小，即在p的局部邻域N(p)上定义如下的代价函数:
其中，w(r)为权函数。
对其油画得到所求解：d＝G-1h，其中，
根据上述方法跟踪获取了人脸特征点的运动轨迹信息，并记录和保存该运动轨迹信息，该运动轨迹信息可以映射到3D人脸模型上，从而可以进行视频通话、直播以及3D动画制作等。
区别于现有技术，本发明通过RGBD图像序列提取人脸特征点并记录该人脸特征点的运动轨迹来捕捉人脸表情极其变化，由于RGBD图像具有像素信息和深度信息，因而该人脸特征点及其运动轨迹信息也能全面地从像素信息和深度信息上反映出来，使得获取的表情信息更加全面、准确。
请参阅图2，图2是本发明提供的一种人脸表情的捕捉方法另一实施例的流程示意图。
S21、获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。
S22、获取RGBD图像中的RGB图像。
本实施例中，步骤S22的RGBD图像为步骤S21中RGBD图像序列的第一个RGBD图像。由于RGBD图像中包括了深度图像和RGB图像，因此，该RGB图像可以从RGBD图像中直接获取。
S23、对RGB图像进行人脸检测以提取人脸区域的RGB图像。
步骤S23中，提取人脸区域的RGB图像即检测出2D图像中的人脸区域。检测2D图像的人脸区域的方法有多种，例如，可以结合肤色特征通过AdaBoost算法进行人脸检测。举例而言，该方法包括:
一、用AdaBoost算法做初始定位：
(1)准备样本：在一二20*20的图片中提取一些简单的Harry特征，计算其白色区域和黑色区域的像素和之差，这些特征值在人脸和非人脸图片的相同位置上的大小是不一样的。
(2)训练分类器：使用数千张切割好的人脸图片和上万张背景图片作为训练样本。训练图片一般归一化到20*20的大小，通过AdaBoost算法挑选数千个有效的Harr特征来组成人脸检测器。
(3)检测：使用将分类器按比例一次缩放，然后图像中移动搜索窗口，检测每一个位置来确定可能的人脸。
得到初步的检测结果后，记录其平均人脸面积Sa作为后续比较。
二、通过判断肤色点获取初步的人脸区域：
由三基色RGB空间经过变换，可以得到各种彩色空间的色度表示。例如在YUV空间和YIQ空间上进行人脸肤色分布特性的分析。
在YUV空间中，U和V是平面上的两个相互正交的矢量。每一种颜色对应一个色度信号矢量，它的保护度由模值Ch表示，色调由相位角θ表示：
θ＝tan-1(V/U)。
根据对人脸图像样本的θ值分析结构可知人脸肤色的色调范围，以此为特征进行图像分割可以滤掉与人脸肤色在色调上有较大区别的背景。
此外，还可以在YIQ空间上利用彩色的饱和度信息来增强分割效果。将YUV色空间的UV平面逆时针方向旋转33°，得到了YIQ空间的IQ平面。根据实验确定I值范围。采用YUV空间的相位角θ和YIQ空间的I分量作为特征，能够联合确定人脸肤色的色度信息分布范围。即彩色图像的像素p由RGB空间变换到YUV空间和YIQ空间，如果同时满足θ和I值的范围，则p是肤色点，继而确定一个初步的候选人脸区域。
步骤二的粗定位可把图像中的大多数人脸检测到，且速度较快，但是检测到人脸的同时，也会将非人脸的背景区域误检。因此，步骤三的精检测通过对初始的候选区域进行一系列几何特征的限制，剔除出不符合人脸条件的噪声，筛选出人脸。
三、对初始的候选区域用数学形态学的闭运算进行平滑处理，去除当中存在的空洞，得到多个连通的区域。
其次，对候选的各个连通域进行人脸几何特征判断：
(1)将各个连通域的面积Si与AdaBoost算法检测到的人脸面积进行比较，将差距很大(例如Si＜0.3Sa且Si＞2Sa)的连通域判定为非人脸并将其剔除，这样就可以将很多明显的背景及其噪声排除。
(2)运用人脸的几何性质对其进行判别。例如，先对各个连通域求得最外层矩形边界，再计算矩形的长宽比，对于人脸来说，长宽比一般为1左右，因此，将长宽比大于2的区域判定为非人脸区域，可将手臂、腿等非人脸区域从候选区域中排除。
(3)通过连通区域最外层矩形边界的区域面积占有率去除干扰区域。即计算矩形边界中连通域的像素点个数占整个矩形像素数的比例，若该比例小于一定的阈值就把该连通区域判定为非人脸区域，将其从候选区域中排除。
(4)通过连通区域与最外层矩形的周长占有率去除干扰区域。即计算连通区域的轮廓曲线周长和矩形边界周长的比例，若该比例小于一定的阈值就把该连通区域判定为非人脸区域，将其从候选区域中排除。
最后，将AdaBoost算法初始定位，结合颜色特征和几何特征的精检测作为人脸检测的结构，从而提取出人脸区域的像素信息。
S24、从RGBD图像的深度图像中提取出与人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。
步骤S24中，由于RGB图像和深度图像的像素一一对应，因此，在深度图像中，与人脸区域的RGB图像对应的区域的图像即人脸区域的深度图像，人脸区域的RGB图像和人脸区域的深度图像结合即人脸区域的RGBD图像。
S25、从人脸区域的RGBD图像中获取人脸特征点。
具体地，如图3所示，图3是图2中步骤S25的流程示意图。步骤S25包括：
S251、从人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点。
人脸区域的RGBD图像包括人脸区域的RGB图像和人脸区域的深度图像，本实施例从人脸区域的RGB图像中提取人脸特征点。步骤S251中的人脸区域的RGB图像可以是从人脸区域的RGBD图像中获取，也可以直接采用步骤S23中获取的人脸区域的RGB图像。RGB人脸特征点的获取方法有多种，例如：
(1)基于灰度信息的方法
几何投影法：几何投影方法是利用人脸特征灰度与其他部分的差异，先统计出不同方向上的灰度值和，根据和的变化找出特定的变化点，然后利用投影灰度值基于统计的方法将不同方向上的变化点位置相结合，找到人脸特征点的位置。
谷分析：图像中亮度比周围像点暗的区域就称作谷，通过亮度比较的方法，就可以对人脸的各个关键部位如眼睛、眉毛、鼻子、嘴巴等相对较暗的区域进行定位。
(2)先验规则的方法
根据人脸特征的一般特点总结出一些经验规则就称作基于先验规则的方法。人脸图像有一些明显的基本特征，比如人脸的长度比例，满足“三庭五眼”，脸部区域的双眼、鼻子和嘴巴等脸部特征处的亮度一般低于其周边区域；两眼间的对称以及眼睛与鼻子的三角分布规律，都是人脸识别的重要根据。
镶嵌图法：可以用一组相同大小的方格去划分图像，每个方格的灰度取格中各像素灰度的均值，根据一定的规则确定哪些可能是人脸的方格区域，将确定的可能存在人脸的方格的变长减半，重新构建镶嵌图，重复第一步的工作，找到眼睛，鼻子，嘴巴等脸部特征所在的位置，然后对这两次得到的脸部区域二值化，利用边缘检测最终精确定位各个特征的位置。
二值化定位：得到图像的直方图，选择合适的阀值将图像二值化，二值化后区域的相对位置和面积形状等几何信息就可以用来确定瞳孔的位置，再通过眼睛与其他特征点的位置关系和几何关系等对其他的人脸特征点进行定位。显然该方法受光照和图像质量等的影响较大。
广义对称法：显然，在人脸图像中，眼睛眼、眉毛、鼻子等都具有较强的点对称性。通过定义广义对称变换来描述点对称性，通过考察人眼中心点的强对称性和脸部特征的几何分布来对人脸的特征点进行定位。
(3)基于几何形状的方法
Shake算法：该方法利用一条由几个控制点组成的闭合曲线，再利用一个进行匹配的能量函数来作为评价标准，当不断迭代最后使得能量函数最小化时就定位到人脸特征点。
可变形模板方法：把眼睛特征为有两条抛物线(上下眼睑)和一个圆(虹膜)构成的几何图形，通过优化的方法来调整其参数以达到最佳的匹配，嘴巴、下巴等也可以采用类似的几何图形建模。
基于点分布模型算法：ASM和AAM都是基于点分布模型(Point DistributionModel，PDM)的算法在PDM中，外形相似的特定类别物体，比如人脸、人手的形状通过若干关键的特征点的坐标串接成原始形状向量。对训练集中的所有形状向量进行对齐操作后，对它们进行PCA分析建模，保留的主成分形成最终的形状模型，形状模型的参数反映了形状的主要可变化模式，ASM搜索则首先通过局部纹理模型匹配得到各个特征点的更佳的位置，经过相似变换对齐后，通过统计形状模型对其进行约束，而后再进行局部纹理模型的匹配，形成一个迭代过程，以期形状模型最终匹配到输入的形状模式上去。
而在AAM中，则采用了形状和纹理二者融合的统计约束，即所谓的统计表观模型。AAM搜索借鉴了基于合成的分析技术的思想，通过模型参数的优化调整使得模型能够不断逼近实际输入模式，模型参数的更新则放弃了ASM中的局部纹理搜索过程，仅使用一个线性预测模型根据当前模型和输入模式之间的差别来预测和更新模型参数。
(4)基于统计模型的方法
肤色唇色分割法：该方法是使用统计方法建立起人脸特征的色彩模型，定位时遍历候选区域，根据被测点的色彩与模型的匹配度筛选出候选的人脸特征点。该方法主要是对人脸面部特征的色彩信息进行研究，构造人脸特征的色彩模型，利用人脸肤色的色彩信息进行特征点定位。
特征脸法：该方法利用K-L变换将表征人脸的高维向量映射到由若干个特征向量(也称Eigenface特征脸)张成的子空间中，先用主成分分析模型重构被检区域，求出重构图与原图之间的距离，当距离小于一定阈值时，即被认定为候选区域。
支持向量机：支持向量机(Support Vector Machines，SVM)是Vapnik等提出的基于风险最小化原理的统计学习理论，用于分类与回归问题。将SVM方法用于脸部特征检测，使用了方形扫描窗口，将眉毛与眼睛作为一个整体作为定位的对象，从而减少了眉毛对定位的干扰。
模板匹配法：模板匹配法是较早用于面部特征点定位的方法之一，也是使用范围较广的一种。这是由于模板匹配法具有比较直观、易于构造等优点。在对图像进行预处理的基础上产生特征的候选区域，之后通过一个具有几何约束(五官模板的相关量)的模板对特征加以定位。Sako等人采用彩色直方图方法分割脸部区域和嘴唇区域，并根据眼睛的结构和灰度信息特点预先构造了眼睛模板，利用此模板进行搜索以确定眼睛的位置匹配的过程是利用事先建立的面部特征的模板在候选窗口逐点滑动进行特征匹配定位。
人工神经网络：人工神经网络(ANN)在模式识别中有着广泛的应用，特别适合研究非线性问题。完整的人脸图像受个体差异、眼睛状态和目标对象姿态等变化的影响较大，而子特征点(包括左右眼角和上下眼眶顶点)附近区域相对稳定，根据这一特点，Waite等以各子特征点附近的灰度图像为输入，分别建立神经网络。检测时，先用各个神经网络对目标区域进行遍历搜索，再结合先验知识对搜索结果进行筛选和结合。这个算法训练过程比较简单，有较强的鲁棒性。
贝叶斯概率网络方法：Kin和Cipolla使用一个3层的概率网络来对脸型建模。他们在搜索中采用了自底向上的搜索策略，结合使用高斯滤波器和边缘检测算法找出双眉、鼻和嘴的候选点(对应于网络中的第1层)，据邻近候选点之间的相对关系两两配对为水平或垂直组合(对应于网络中的第2层)，并进一步归入脸部的上、下、左、右4个区域(对应于网络中的第3层)，从而筛去虚警点。
(5)基于小波的方法
弹性图匹配法：该方法是面部关键特证定位的另一个重要算法，该方法将人脸面部关键特证点的属性及其他们之间的位置关系通过一个属性图进行描述，图的顶点对关键特征点的局部纹理建模(通过Gabor特征)，图的边则反映了特征点之间的距离等位置关系。对新输入的图像，其特征点则通过基于相位预测的位移估计结合图匹配技术来定位。通过属性图的形变，一方面匹配顶点处的Gabor局部特征，另一方面匹配全局几何结构特征。
DWN(Gabor小波网络)：Krüger等将Gabor小波引入图像处理领域，使用一组同源派生的Gabor小波函数取代RBF神经网络的基函数，通过训练，可以将目标图像分解为若干个小波函数的线性组合。GWN的训练中同时对相关权值和小波函数本身的参数作优化，这使得GWN模型可以用很小数量的小波函数实现对目标对象的解析和重构。Feris使用两层的GWN树模型来定位脸部特征，两层GWN分别用于表征全脸和各个脸部特征。在训练中，他们为每幅训练图建立一个GWN树模型，并标定出各脸部特征的位置，存入人脸库中。实际搜索的时候，他们首先通过全脸比对从库中找出与目标图像最接近的一个模型，然后以该模型的标定位置为搜索起点，在小范围内，通过与该模型中相应的脸部特征信息的比对求出脸部特征的精确位置。
S252、从人脸区域的RGBD图像中的人脸区域的深度图像中提取出与RGB人脸特征点对应的特征点，从而获取人脸特征点。
步骤S252中，由于RGB图像和深度图像一一对应，因此，在深度图像中，与RGB人脸特征点对应的特征点即深度图人脸特征点，RGB人脸特征点和深度图人脸特征点结合即RGBD图像的人脸特征点。
S26、标记人脸特征点在人脸区域的RGBD图像上的位置。
S27、在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。
请参阅图4，图4是本发明提供的一种人脸表情的捕捉方法又一实施例的流程示意图。
图4所示的人脸表情的捕捉方法包括：
S31、获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。
S32、获取RGBD图像中的深度图像。
本实施例中，步骤S32的RGBD图像为S31中RGBD图像序列的第一个RGBD图像。由于该RGBD图像包括了深度图像和RGB图像，因此，该深度图像可以从RGBD图像中直接获取。
S33、对深度图像进行人脸检测以提取人脸区域的深度图像。
步骤S33中，提取人脸区域的深度图像即检测出3D图像中的人脸区域。从深度图像中进行人脸检测提取人脸区域的方法有多种，本实施例采用的方法具体如下：
记Di,j为当前深度图中空洞的像素点D(i,j)，其深度信息为：
其中:Dp,q为深度图中点D(p,q)的深度；wp,q为当前深度图中点D(p,q)对点D(i,j)深度的贡献值,越大表示贡献越大,反之越小；wp,q由下式决定:
Ci,j为深度图中点D(i,j)在彩色图中的像素值,Cp,q为深度图中点D(p,q)在彩色图中的像素值。
使用上述算法对图中的深度信息缺失部分进行恢复,并对深度图使用区域增长算法,以排除其他部分对人脸区域造成的干扰。
通过对深度区域信息的分析,能够判断当前检测的人脸是否是真实的人脸而非照片人脸.具体实现方法如下：记d(x,y)为图像中像素点p(x,y)的深度信息,则人脸区域的平均深度Avgd可以表示为
深度信息的方差Varid表示为：
最后,通过对Varid值的判断来确认是否已通过深度信息过滤。
扩展Haar特征，以准确地表示出深度信息上的人脸变化特征。扩展Haar特征充分利用了人脸区域在深度信息上的变化，能为人脸检测分类器的训练提供稳定特征。
采用扩展Haar特征作为AdaBoost训练中的弱分类器，通过如下方式完成最终强分类器的训练。
给出训练集(x1,y1)，……，(xm,ym)。其中，xi∈X，yi∈Y＝{-1，1}，这里X代表特征空间，Y代表目标空间。即，-1代表非人脸区域，1代表人脸区域。对于i＝1,2,…，m个弱分类器，均匀话初始权值分布D1(i)＝1/m，D1(i)表示第1次迭代中第i个特征的权值，进行t＝1,2,…，T次迭代。
记H为所有弱分类器的集合，根据其权值Dt找出本次迭代过程最大化阈值的弱分类器为
其中，
如果∣0.5-φ∣≤β,β为预先设置的阈值,则停止迭代,输出强分类器.选择一个实数αt∈R,通过下式计算确定：
根据下式更新所有权值分布,继续迭代直至停止：
最后输出强分类器组合,即
S34、从RGBD图像中的RGB图像中提取出与人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。
步骤S34中，由于RGB图像和深度图像的像素一一对应，因此，在RGB图像中，与人脸区域的深度图像对应的区域的图像即人脸区域的RGB图像，人脸区域的RGB图像和人脸区域的深度图像结合即人脸区域的RGBD图像。
S35、从人脸区域的RGBD图像中获取人脸特征点。
人脸特征点的获取方法可以是上述实施例的从RGB图像中获取，然后在对应于该RGBD图像中以获取RGBD图像的人脸特征点。也可以从深度图中直接检测出人脸特征点。
本实施例中，采用Susan算法获取人脸特征点。具体而言，人脸关键特征点的定位方法：选取人脸的9个特征点，这些特征点的分布具有角度不变性，分别为2个眼球中心点、4个眼角点、两鼻孔的中点和2个嘴角点。在此基础上可以容易地获得与识别有关的人脸各器官特征以及扩展的其他特征点位置，用于进一步的识别算法。
在进行人脸特征提取时，由于无法将局部的边缘信息有效地组织起来，传统的边缘检测算子不能可靠地提取人脸的特征(眼睛或嘴的轮廓)，但从人类视觉特性出发，充分利用边缘及角点的特征来进行人脸关键特征点的定位，则会大大提高其可靠性。
其中选择Susan(Smallest Univalue Segment Assimilating Nucleus)算子用于提取局部区域的边缘和角点特征。根据Susan算子的特性，它既可用来检测边缘，又能用来提取角点。因此与Sobel、Canny等边缘检测算子相比较而言，Susan算子更适合进行人脸眼部和嘴巴等特征的提取，尤其是对眼角点和嘴角点的自动定位。
以下是Susan算子的介绍：
用一个圆形模板遍历图像，若模板内其他任意像素的灰度值与模板中心像素(核)的灰度值的差小于一定阈值，就认为该点与核具有相同(或相近)的灰度值，满足这样条件的像素组成的区域称为核值相似区(Univalue Segment Assimilating Nucleus,USAN)。把图像中的每个像素与具有相近灰度值的局部区域相联系是SUSAN准则的基。
具体检测时，是用圆形模板扫描整个图像，比较模板内每一像素与中心像素的灰度值，并给定阈值来判别该像素是否属于USAN区域，如下式：
式中，c(r,r0)为模板内属于USAN区域的像素的判别函数，I(r0)是模板中心像素(核)的灰度值，I(r)为模板内其他任意像素的灰度值，t是灰度差门限。它影响检测到角点的个数。t减小，获得图像中更多精细的变化，从而给出相对较多的检测数量。门限t必须根据图像的对比度和噪声等因素确定。则图像中某一点的USAN区域大小可由下式表示：
其中，g为几何门限，影响检测到的角点形状，g越小，检测到的角点越尖锐。(1)t,g的确定门限g决定了输出角点的USAN区域的最大值，即只要图象中的象素具有比g小的USAN区域，该点就被判定为角点。g的大小不但决定了可从图象中提取角点的多寡，而且如前，它还决定了所检测到的角点的尖锐程度。所以一旦确定了所需角点的质量(尖锐程度)，g就可以取一个固定不变的值。门限t表示所能检测角点的最小对比度，也是能忽略的噪声的最大容限。它主要决定了能够提取的特征数量，t越小，可从对比度越低的图象中提取特征，而且提取的特征也越多。因此对于不同对比度和噪声情况的图象，应取不同的t值。SUSAN算子有一个突出的优点，就是对局部噪声不敏感，抗噪能力强。这是由于它不依赖于前期图像分割的结果，并避免了梯度计算，另外，USAN区域是由模板内与模板中心像素具有相似灰度值的像素累加而得，这实际上是一个积分过程，对于高斯噪声有很好的抑制作用。
SUSAN二维特征检测的最后一个阶段，就是寻找初始角点响应的局部最大值，也就是非最大抑制处理，以得到最终的角点位置。非最大抑制顾名思义，就是在局部范围内，如果中心像素的初始响应是此区域内的最大值，则保留其值，否则删除，这样就可以得到局部区域的最大值。
(1)眼球及眼角的自动定位。在眼球及眼角的自动定位过程中，首先采用归一化模板匹配的方法初步定位人脸。在整个人脸图像中确定出脸部的大概区域。通常的人眼定位算法根据眼睛的谷点性质来定位，而此处则采用将谷点的搜索和方向投影以及眼球的对称性相结合的方法，利用两眼之间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和右上部分进行梯度图积分投影，并对积分投影的直方图进行归一化，首先根据水平投影的谷点确定出眼睛在y方向的大致位置，然后让x在较大的范围内变化，寻找此区域内的谷点，将检测到的点作为两眼的眼球中心点。
在获得两眼球位置的基础上，对眼部区域进行处理，首先采用自适应二值化方法确定门限阈值，得到眼部区域的自动二值化图像，然后结合Susan算子，利用边缘和角点检测的算法在眼部区域内准确定位内外眼角点。
经过上述算法获得的眼部区域边缘图像，在此基础上对图像中的边缘曲线进行角点提取即可获得准确的两眼内外眼角点位置。
(2)鼻域特征点的自动定位。将人脸鼻子区域的关键特征点确定为两个鼻孔中心连线的中点处，即鼻唇中心点。人脸鼻唇中心点的位置相对较稳定，而且对于人脸图像归一化预处理时也可起到基准点的作用。
以找到的两眼球位置为基础，采用区域灰度积分投影的方法确定两个鼻孔的位置。
首先截取两眼瞳孔宽度的条状区域，进行Y方向积分投影，然后对投影曲线进行分析。可以看到，沿着投影曲线自眼球位置的Y坐标高度向下搜索，找到第一个谷点的位置(通过调整选择适当的峰谷Δ值，忽略中间可能由于脸部疤痕或眼镜等因素产生的毛刺影响)，将这个谷点作为鼻孔位置的Y坐标基准点；第二步选取以两眼球X坐标为宽度，鼻孔Y坐标上下δ像素(例如，选取δ＝[鼻孔Y坐标-眼球Y坐标]×0.06)为高度的区域进行X方向积分投影，然后对投影曲线进行分析，以两眼瞳孔中点的X坐标作为中心点，分别向左右两侧进行搜索，找到的第一个谷点即为左右鼻孔的中心点的X坐标。计算两个鼻孔的中点作为鼻唇中点，获得鼻唇中心点的准确位置，并划定鼻子区域。
(3)嘴角的自动定位。由于人脸表情的不同可能会引起嘴巴形状的较大变动，而且嘴巴区域比较容易受到胡须等因素的干扰，因此嘴部特征点提取的准确性对于识别影响较大。由于嘴角点的位置受表情等影响相对变动较小，角点的位置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定位方式。
在确定了双眼区域以及鼻域特征点的基础上，首先利用区域灰度积分投影的方法确定自鼻孔以下Y坐标投影曲线的第一个谷点(同理，需要通过适当的峰谷Δ值来消除由于胡须、痣痕等因素产生的毛刺影响)作为嘴巴的Y坐标位置；然后选定嘴巴区域，对区域图像利用Susan算子进行处理，得到嘴部边缘图后；最后进行角点提取，便可以获得两个嘴角的精确位置。
S36、标记人脸特征点在人脸区域的RGBD图像上的位置。
S37、在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。
请参阅图5，图5是本发明提供的一种人脸表情的捕捉装置实施例的结构示意图。
图5所示的人脸表情的捕捉装置包括处理器10、RGBD相机11和存储器12，RGBD相机11和存储器12均与处理器10连接。
具体地，RGBD相机11用于获取包含人脸的RGBD图像序列，RGBD图像包括RGB图像和深度图像，其中，RGB图像和深度图像的像素一一对应。
处理器10用于对RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从人脸区域的RGBD图像中获取人脸特征点；标记人脸特征点在人脸区域的RGBD图像上的位置；在RGBD图像序列中跟踪人脸特征点的运动轨迹，并记录运动轨迹信息。
在一个实施例中，处理器10还用于获取RGBD图像中的RGB图像；对RGB图像进行人脸检测以提取出人脸区域的RGB图像；从RGBD图像中的深度图像中提取出与人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。
在另一个实施例中，处理器10还用于获取RGBD图像中的深度图像；对深度图像进行人脸检测以提取人脸区域的深度图像；从RGBD图像中的RGB图像中提取出与人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。
可选地，处理器10还用于从人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点；从人脸区域的RGBD图像中的人脸区域的深度图像中提取出与RGB人脸特征点对应的特征点，从而获取人脸特征点。
其中，处理器10采用灰度信息法、先验规则法、几何形状法、统计模型法和小波方法中的一种来识别RGB人脸特征点。
存储器12用于存储人脸特征点的运动轨迹信息。
本发明还提供了一种存储装置，该存储装置存储有程序数据，该程序数据能够被执行以实现上述任一实施例的人脸表情的捕捉方法。
举例而言，该存储装置可以是便携式存储介质，例如U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等。可以理解地，存储装置还可以是服务器等各种可以存储程序代码的介质。
综上所述，本发明能将人脸特征点及其运动轨迹信息全面地从像素信息和深度信息上反映出来，使得获取的表情信息更加全面、准确。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种人脸表情的捕捉方法，其特征在于，包括以下步骤：
获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；
对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；
从所述人脸区域的RGBD图像中获取人脸特征点；
标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；
在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。
2.根据权利要求1所述的方法，其特征在于，所述从所述RGBD图像中提取出人脸区域的RGBD图像的步骤包括：
获取所述RGBD图像中的RGB图像；
对所述RGB图像进行人脸检测以提取出人脸区域的RGB图像；
从所述RGBD图像中的深度图像中提取出与所述人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。
3.根据权利要求1所述的方法，其特征在于，所述从所述RGBD图像中提取出人脸区域的RGBD图像的步骤包括：
获取所述RGBD图像中的深度图像；
对所述深度图像进行人脸检测以提取人脸区域的深度图像；
从所述RGBD图像中的RGB图像中提取出与所述人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。
4.根据权利要求2或3所述的方法，其特征在于，所述从所述人脸区域的RGBD图像中获取人脸特征点的步骤包括：
从所述人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点；
从所述人脸区域的RGBD图像中的人脸区域的深度图像中提取出与所述RGB人脸特征点对应的特征点，从而获取所述人脸特征点。
5.根据权利要求4所述的方法，其特征在于，所述从所述人脸RGB图像中识别RGB人脸特征点的步骤中，采用灰度信息法、先验规则法、几何形状法、统计模型法和小波方法中的一种来识别RGB人脸特征点。
6.一种人脸表情的捕捉装置，其特征在于，包括处理器和RGBD相机，所述RGBD相机与所述处理器连接；
所述RGBD相机用于获取包含人脸的RGBD图像序列，所述RGBD图像包括RGB图像和深度图像，其中，所述RGB图像和深度图像的像素一一对应；
所述处理器用于对所述RGBD图像进行人脸检测，以提取出人脸区域的RGBD图像；从所述人脸区域的RGBD图像中获取人脸特征点；标记所述人脸特征点在所述人脸区域的RGBD图像上的位置；在所述RGBD图像序列中跟踪所述人脸特征点的运动轨迹，并记录运动轨迹信息。
7.根据权利要求6所述的装置，其特征在于，所述处理器还用于获取所述RGBD图像中的RGB图像；对所述RGB图像进行人脸检测以提取出人脸区域的RGB图像；从所述RGBD图像中的深度图像中提取出与所述人脸区域的RGB图像对应的区域，从而获取人脸区域的RGBD图像。
8.根据权利要求6所述的方法，其特征在于，所述处理器还用于获取所述RGBD图像中的深度图像；对所述深度图像进行人脸检测以提取人脸区域的深度图像；从所述RGBD图像中的RGB图像中提取出与所述人脸区域的深度图像对应的区域，从而获取人脸区域的RGBD图像。
9.根据权利要求7或8所述的装置，其特征在于，所述处理器还用于从所述人脸区域的RGBD图像中的人脸区域的RGB图像中识别RGB人脸特征点；从所述人脸区域的RGBD图像中的人脸区域的深度图像中提取出与所述RGB人脸特征点对应的特征点，从而获取所述人脸特征点。
10.根据权利要求9所述的装置，其特征在于，所述处理器采用灰度信息法、先验规则法、几何形状法、统计模型法和小波方法中的一种来识别RGB人脸特征点。
11.一种存储装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1至5任一项所述的方法。
CN201710407288.8A 2017-06-02 2017-06-02 人脸表情的捕捉方法、装置及存储装置 Pending CN107368778A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710407288.8A CN107368778A (zh) 2017-06-02 2017-06-02 人脸表情的捕捉方法、装置及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710407288.8A CN107368778A (zh) 2017-06-02 2017-06-02 人脸表情的捕捉方法、装置及存储装置

Publications (1)

Publication Number Publication Date
CN107368778A true CN107368778A (zh) 2017-11-21

Family

ID=60304961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710407288.8A Pending CN107368778A (zh) 2017-06-02 2017-06-02 人脸表情的捕捉方法、装置及存储装置

Country Status (1)

Country Link
CN (1) CN107368778A (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009495A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 疲劳驾驶预警方法
CN108830891A (zh) * 2018-06-05 2018-11-16 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
US20190034709A1 (en) * 2017-07-25 2019-01-31 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method and apparatus for expression recognition
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN109903360A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 三维人脸动画控制系统及其控制方法
CN110147792A (zh) * 2019-05-22 2019-08-20 齐鲁工业大学 基于内存优化的药品包装字符高速检测系统及方法
CN110427917A (zh) * 2019-08-14 2019-11-08 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111368581A (zh) * 2018-12-25 2020-07-03 浙江舜宇智能光学技术有限公司 基于tof摄像模组的人脸识别方法、人脸识别装置和电子设备
JP2020522764A (ja) * 2018-05-10 2020-07-30 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 生体検知方法および装置、システム、電子機器、記憶媒体
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111985425A (zh) * 2020-08-27 2020-11-24 闽江学院 多人场景下的图像验证装置
CN112001334A (zh) * 2020-08-27 2020-11-27 闽江学院 人像识别装置
CN112395922A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 面部动作检测方法、装置及系统
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN105654537A (zh) * 2015-12-30 2016-06-08 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
CN105740779A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106778628A (zh) * 2016-12-21 2017-05-31 张维忠 一种基于tof深度相机的面部表情捕捉方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103530599A (zh) * 2013-04-17 2014-01-22 Tcl集团股份有限公司 一种真实人脸和图片人脸的区别方法和系统
CN105023010A (zh) * 2015-08-17 2015-11-04 中国科学院半导体研究所 一种人脸活体检测方法及系统
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
CN105654537A (zh) * 2015-12-30 2016-06-08 中国科学院自动化研究所 一种实现与虚拟角色实时互动的表情克隆方法及装置
CN105740779A (zh) * 2016-01-25 2016-07-06 北京天诚盛业科技有限公司 人脸活体检测的方法和装置
CN106778506A (zh) * 2016-11-24 2017-05-31 重庆邮电大学 一种融合深度图像和多通道特征的表情识别方法
CN106778628A (zh) * 2016-12-21 2017-05-31 张维忠 一种基于tof深度相机的面部表情捕捉方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
傅泽华: "基于RGB-D数据的三维人脸建模及标准化", 《优秀硕士论文全文数据库》 *
张铎: "《生物识别技术基础》", 31 December 2009, 武汉大学出版社 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11023715B2 (en) * 2017-07-25 2021-06-01 Arcsoft Corporation Limited Method and apparatus for expression recognition
US20190034709A1 (en) * 2017-07-25 2019-01-31 Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. Method and apparatus for expression recognition
CN108009495A (zh) * 2017-11-30 2018-05-08 西安科锐盛创新科技有限公司 疲劳驾驶预警方法
CN109903360A (zh) * 2017-12-08 2019-06-18 浙江舜宇智能光学技术有限公司 三维人脸动画控制系统及其控制方法
JP2020522764A (ja) * 2018-05-10 2020-07-30 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 生体検知方法および装置、システム、電子機器、記憶媒体
US10930010B2 (en) 2018-05-10 2021-02-23 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting living body, system, electronic device, and storage medium
CN108830891B (zh) * 2018-06-05 2022-01-18 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN108830891A (zh) * 2018-06-05 2018-11-16 成都精工华耀科技有限公司 一种钢轨鱼尾板紧固件松动检测方法
CN109145803A (zh) * 2018-08-14 2019-01-04 京东方科技集团股份有限公司 手势识别方法及装置、电子设备、计算机可读存储介质
US11093737B2 (en) 2018-08-14 2021-08-17 Boe Technology Group Co., Ltd. Gesture recognition method and apparatus, electronic device, and computer-readable storage medium
CN111368581A (zh) * 2018-12-25 2020-07-03 浙江舜宇智能光学技术有限公司 基于tof摄像模组的人脸识别方法、人脸识别装置和电子设备
CN109829965A (zh) * 2019-02-27 2019-05-31 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN109829965B (zh) * 2019-02-27 2023-06-27 Oppo广东移动通信有限公司 人脸模型的动作处理方法、装置、存储介质及电子设备
CN110147792A (zh) * 2019-05-22 2019-08-20 齐鲁工业大学 基于内存优化的药品包装字符高速检测系统及方法
CN110427917A (zh) * 2019-08-14 2019-11-08 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN110427917B (zh) * 2019-08-14 2022-03-22 北京百度网讯科技有限公司 用于检测关键点的方法和装置
CN112395922A (zh) * 2019-08-16 2021-02-23 杭州海康威视数字技术股份有限公司 面部动作检测方法、装置及系统
CN110879972A (zh) * 2019-10-24 2020-03-13 深圳云天励飞技术有限公司 一种人脸检测方法及装置
CN111582197A (zh) * 2020-05-07 2020-08-25 贵州省邮电规划设计院有限公司 一种基于近红外和3d摄像技术的活体以及人脸识别系统
CN111985425A (zh) * 2020-08-27 2020-11-24 闽江学院 多人场景下的图像验证装置
CN112001334A (zh) * 2020-08-27 2020-11-27 闽江学院 人像识别装置
CN111985425B (zh) * 2020-08-27 2024-01-19 闽江学院 多人场景下的图像验证装置
CN112001334B (zh) * 2020-08-27 2024-01-19 闽江学院 人像识别装置

Similar Documents

Publication Publication Date Title
CN107368778A (zh) 人脸表情的捕捉方法、装置及存储装置
CN107330371A (zh) 3d脸部模型的脸部表情的获取方法、装置和存储装置
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
Silva et al. A flexible approach for automatic license plate recognition in unconstrained scenarios
Lin et al. Estimation of number of people in crowded scenes using perspective transformation
US6879709B2 (en) System and method for automatically detecting neutral expressionless faces in digital images
US6611613B1 (en) Apparatus and method for detecting speaking person's eyes and face
CN104268583B (zh) 基于颜色区域特征的行人重识别方法及系统
CN105893946B (zh) 一种正面人脸图像的检测方法
CN106778468B (zh) 3d人脸识别方法及设备
CN107909081B (zh) 一种深度学习中图像数据集的快速获取和快速标定方法
Ibraheem et al. Comparative study of skin color based segmentation techniques
CN105320917B (zh) 一种基于头肩轮廓及bp神经网络的行人检测及跟踪方法
CN106778474A (zh) 3d人体识别方法及设备
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
Martinez et al. Facial component detection in thermal imagery
CN113592911B (zh) 表观增强深度目标跟踪方法
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN106611158A (zh) 人体3d特征信息的获取方法及设备
CN109255326A (zh) 一种基于多维信息特征融合的交通场景烟雾智能检测方法
CN109325408A (zh) 一种手势判断方法及存储介质
CN110929570B (zh) 虹膜快速定位装置及其定位方法
CN108446642A (zh) 一种快速人脸识别系统
CN106156739B (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171121