CN108664850B - 人脸姿态的分类方法及装置 - Google Patents
人脸姿态的分类方法及装置 Download PDFInfo
- Publication number
- CN108664850B CN108664850B CN201710201863.9A CN201710201863A CN108664850B CN 108664850 B CN108664850 B CN 108664850B CN 201710201863 A CN201710201863 A CN 201710201863A CN 108664850 B CN108664850 B CN 108664850B
- Authority
- CN
- China
- Prior art keywords
- face
- coordinates
- image
- characteristic points
- classified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009466 transformation Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 15
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 230000036544 posture Effects 0.000 description 108
- 210000000887 face Anatomy 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 238000010606 normalization Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种人脸姿态的分类方法及装置,所述方法包括以下步骤:确定待分类人脸的标准化图像和人脸特征点的初始坐标;分别确定多种姿态类别的平均脸的人脸特征点坐标;针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。本发明方案可以有效地减少计算量,提高分类效率。
Description
技术领域
本发明涉及计算机视觉领域,尤其涉及一种人脸姿态的分类方法及装置。
背景技术
人脸跟踪技术通常用于在视频中,对连续存在的人脸目标的特征点进行连续的检测,所述特征点通常包括眉毛轮廓、眼睛轮廓、鼻梁轮廓、嘴唇轮廓、脸部轮廓等。在现有的基于人脸特征点的跟踪方法中,基于前后两帧图像之间的连续性,用上一帧中人脸特征点形状估计的信息,如估计人脸姿态和估计初始形状,来辅助检测后一帧中特征点,提高人脸特征点检测的速度和精度。目前,人脸姿态分类在人脸跟踪领域的作用越来越重要。由于视频中人脸姿态的动态变化范围较大,采用单一的模型往往无法满足特征点跟踪的精度。先确定人脸姿态的类型,进而在多个姿态模型中选择对应该类型的姿态模型,进行人脸特征点跟踪。
在现有的一种分类方案中,基于机器学习的方法,根据人脸特征点和标准化图像,确定图像特征向量,进而确定人脸姿态的具体参数,进而根据该具体参数进行姿态分类。
在现有的另一种分类方案中,根据二维人脸特征点的坐标,映射到预先训练的人脸三维模型上,该三维模型是基于大量人脸训练样本进行平均值计算得到的平均脸三维模型,再对人脸三维模型上的坐标进行投影,以得到人脸姿态的具体参数,进而根据该具体参数进行姿态分类。
其中,人脸姿态的具体参数可以包括正脸姿态、侧脸姿态、俯仰角姿态、偏转角姿态等各种姿态的角度数值,以及其他适当的参数。
在上述两种现有技术中,均耗费大量计算资源确定待分类人脸姿态的具体参数,降低了分类效率,并且人脸姿态的具体参数仅在分类阶段使用,并不用于后续的跟踪阶段,利用率较低。
发明内容
本发明解决的技术问题是提供一种人脸姿态的分类方法及装置,可以有效地减少计算量,提高分类效率。
为解决上述技术问题,本发明实施例提供一种人脸姿态的分类方法,包括以下步骤:确定待分类人脸的标准化图像和人脸特征点的初始坐标;分别确定多种姿态类别的平均脸的人脸特征点坐标;针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。
可选的,所述确定待分类人脸的标准化图像和人脸特征点的初始坐标包括:获取所述待分类人脸的图像;对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
可选的,所述分别确定多种姿态类别的平均脸的人脸特征点坐标包括:针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
可选的,采用如下公式计算所述多个人脸训练样本的特征点坐标的均值:
其中,S为所述人脸训练样本的数目;
Xm为S个人脸训练样本的特征点坐标的均值;
Xi为第i个人脸训练样本的特征点坐标,i为正整数。
可选的,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
可选的,所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
可选的,所述形状对齐以及尺度对齐包括:通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
可选的,采用以下公式计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值:
其中,N为所述人脸特征点的个数;
Xc为所述人脸特征点的对齐后坐标;
Xm为S个人脸训练样本的特征点坐标的均值;
D(Xc,Xm)为所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值。
可选的,所述姿态类别包括:正脸姿态和侧脸姿态;其中,侧脸姿态包括左侧脸姿态和右侧脸姿态。
可选的,所述人脸姿态的分类方法还包括:确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。
可选的,所述人脸姿态的分类方法还包括:当所述待分类人脸的姿态类别为第一侧脸姿态时,确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称。
可选的,所述人脸姿态的分类方法还包括:将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
为解决上述技术问题,本发明实施例提供一种人脸姿态的分类装置,包括:待分类人脸确定模块,适于确定待分类人脸的标准化图像和人脸特征点的初始坐标;平均脸确定模块,适于分别确定多种姿态类别的平均脸的人脸特征点坐标;坐标确定模块,适于针对每种姿态类别,将所述待分类人脸和所述姿态类别的每种平均脸对齐,获取所述人脸特征点的对齐后坐标;计算模块,适于针对每种姿态类别,计算所述人脸特征点的对齐后坐标和每种平均脸的特征点坐标的距离累加值;类别确定模块,适于将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。
可选的,所述待分类人脸确定模块包括:图像获取子模块,适于获取所述待分类人脸的图像;标准确定子模块,适于对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
可选的,所述平均脸确定模块包括:获取子模块,适于针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;均值计算子模块,适于针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
可选的,所述均值计算子模块采用如下公式计算所述多个人脸训练样本的特征点坐标的均值:
其中,S为所述人脸训练样本的数目;
Xm为S个人脸训练样本的特征点坐标的均值;
Xi为第i个人脸训练样本的特征点坐标,i为正整数。
可选的,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
可选的,所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
可选的,所述形状对齐以及尺度对齐包括:通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
可选的,所述计算模块采用以下公式计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值:
其中,N为所述人脸特征点的个数;
Xc为所述人脸特征点的对齐后坐标;
Xm为S个人脸训练样本的特征点坐标的均值;
D(Xc,Xm)为所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值。
可选的,所述姿态类别包括:正脸姿态和侧脸姿态;其中,侧脸姿态包括左侧脸姿态和右侧脸姿态。
可选的,所述人脸姿态的分类装置还包括:第一跟踪确定模块,适于确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。
可选的,所述人脸姿态的分类装置还包括:第一镜像变换模块,适于当所述待分类人脸的姿态类别为第一侧脸姿态时,采用确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;第二跟踪确定模块,适于基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称。
可选的,所述人脸姿态的分类装置还包括:第二镜像变换模块,适于将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
与现有技术相比,本发明实施例的技术方案具有以下有益效果:
在本发明实施例中,确定待分类人脸的标准化图像和人脸特征点的初始坐标;分别确定多种姿态类别的平均脸的人脸特征点坐标;针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。采用本发明实施例的方案,通过确定待分类人脸的特征点坐标和多种平均脸的特征点坐标的最小距离累加值,可以确定待分类人脸的姿态类别,相比于计算待分类人脸姿态的具体参数,进而基于具体参数确定姿态类别,可以有效地减少计算量,提高分类效率,并且多种平均脸的特征点坐标这一参数还可以用于后续跟踪步骤,数值利用率得到提高。
进一步,在本发明实施例中,当所述待分类人脸的姿态类别为第一侧脸姿态时,将人脸特征点进行镜像变换,变为与所述侧脸姿态对称的姿态类别,从而可以采用对称的侧脸姿态的跟踪模型,在镜像变换后的待跟踪图像的标准化图像中进行跟踪,由于不需要训练第一侧脸姿态的跟踪模型,可以有效减少跟踪模型的数量,节约训练跟踪模型的工作量以及该跟踪模型的存储空间。
附图说明
图1是本发明实施例中一种人脸姿态的分类方法的流程图;
图2是图1中步骤S11的一种具体实现的流程图;
图3是图1中步骤S12的一种具体实现的流程图;
图4是本发明实施例中另一种人脸姿态的分类方法的部分流程图;
图5是本发明实施例中一种人脸姿态的分类装置的结构示意图;
图6是图5中待分类人脸确定模块51的一种具体实现的结构示意图;
图7是图5中平均脸确定模块52的一种具体实现的结构示意图;
图8是本发明实施例中另一种人脸姿态的分类装置的部分结构示意图。
具体实施方式
在现有的人脸姿态分类技术中,均耗费大量计算资源确定待分类人脸姿态的具体参数,进而基于具体参数进行姿态分类,降低了分类效率。
本发明的发明人经过研究发现,待分类人脸姿态的具体参数并不是必须的,甚至于仅在分类阶段使用,并不用于后续的跟踪阶段,通过确定待分类人脸的特征点坐标和多种平均脸的特征点坐标的最小距离累加值,可以确定待分类人脸的姿态类别。
在本发明实施例中,确定待分类人脸的标准化图像和人脸特征点的初始坐标;分别确定多种姿态类别的平均脸的人脸特征点坐标;针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。采用本发明实施例的方案,通过确定待分类人脸的特征点坐标和多种平均脸的特征点坐标的最小距离累加值,可以确定待分类人脸的姿态类别,相比于计算待分类人脸姿态的具体参数,进而基于具体参数确定姿态类别,可以有效地减少计算量,提高分类效率,并且多种平均脸的特征点坐标这一参数还可以用于后续跟踪步骤,数值利用率得到提高。
为使本发明的上述目的、特征和有益效果能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
参照图1,图1是本发明实施例中一种人脸姿态的分类方法的流程图。所述人脸姿态的分类方法可以包括步骤S11至步骤S15。
步骤S11:确定待分类人脸的标准化图像和人脸特征点的初始坐标;
步骤S12:分别确定多种姿态类别的平均脸的人脸特征点坐标;
步骤S13:针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;
步骤S14:针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;
步骤S15:将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。
在步骤S11的具体实施中,可以通过标准化处理,以得到待分类人脸的标准化图像和人脸特征点的初始坐标。
具体地,请参照图2,所述确定待分类人脸的标准化图像和人脸特征点的初始坐标的方法可以包括步骤S21至S22。
步骤S21:获取所述待分类人脸的图像。
步骤S22:对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
在具体实施中,可以采用标准化模块进行处理,对输入图像和人脸特征点进行平移和缩放,以统一人脸的尺度和位置。
继续参照图1,在步骤S12的具体实施中,可以针对每种姿态类别,分别确定多种姿态类别的平均脸的人脸特征点坐标。
具体地,请参照图3,所述分别确定多种姿态类别的平均脸的人脸特征点坐标的方法可以包括步骤S31至步骤S32。
步骤S31:针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;
步骤S32:针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
在步骤S31的具体实施中,以所述姿态类别为正脸为例进行描述,获取多个人脸训练样本以及所有人脸训练样本的特征点坐标,所述人脸训练样本包括正脸姿态的图像。
进一步地,配置为所有人脸训练样本中的人脸尺寸和人脸角度统一,例如统一配置所有人脸训练样本的人脸大小为100×100个像素,人脸角度为正脸。需要指出的是,在本发明实施例中,对于人脸尺寸和人脸角度的具体数值不作限制。
可以理解的是,所述人脸训练样本中的人脸尺寸和人脸角度的统一程度越高,基于所述人脸训练样本得到的平均脸的人脸特征点坐标越准确,越有助于后续对人脸姿态进行精确分类。
在步骤S32的具体实施中,可以采用如下公式计算所述多个人脸训练样本的特征点坐标的均值:
其中,S为所述人脸训练样本的数目;
Xm为S个人脸训练样本的特征点坐标的均值;
Xi为第i个人脸训练样本的特征点坐标,i为正整数。
在上述公式中,采用向量X表示人脸训练样本的特征点坐标的集合[u1,v1,…,uN,vN],其中第n个特征点的坐标可以以(un,vn)描述,N表示人脸特征点个数。
更进一步地,所述多个人脸训练样本的特征点坐标的均值,作为正脸平均脸的人脸特征点坐标。
更进一步地,依照步骤S31至步骤S32示出的方法,可以分别获得左侧脸平均脸的人脸特征点坐标和右侧脸平均脸的人脸特征点坐标。
继续参照图1,在步骤S13的具体实施中,针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
具体地,所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
在具体实施中,将所述姿态类别的平均脸移动到原点,获取所述人脸特征点的对齐后坐标,可以通过如下公式实现:
进一步地,将待分类人脸移动到原点,获取所述人脸特征点的对齐后坐标,可以通过如下公式实现:
可以理解的是,还可以将所述待分类人脸和所述姿态类别的平均脸分别移动到相同位置,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。本发明实施例对于中心点对齐的具体实现方式不作限制。
进一步地,所述形状对齐以及尺度对齐包括:可以通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
在具体实施中,通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐,获取所述人脸特征点的对齐后坐标,可以通过如下公式实现:
在步骤S14的具体实施中,采用以下公式计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值:
其中,N为所述人脸特征点的个数;
Xc为所述人脸特征点的对齐后坐标;
Xm为S个人脸训练样本的特征点坐标的均值;
D(Xc,Xm)为所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值。
在步骤S15的具体实施中,分别计算待分类人脸与每种平均脸的特征点坐标的距离累加值,进而将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。
具体地,所述姿态类别可以包括:正脸姿态和侧脸姿态;其中,侧脸姿态可以包括左侧脸姿态和右侧脸姿态。
采用本发明实施例的方案,通过确定待分类人脸的特征点坐标和多种平均脸的特征点坐标的最小距离累加值,可以确定待分类人脸的姿态类别,相比于计算待分类人脸姿态的具体参数,进而基于具体参数确定姿态类别,可以有效地减少计算量,提高分类效率,并且多种平均脸的特征点坐标这一参数还可以用于后续跟踪步骤,数值利用率得到提高。
进一步地,基于确定的姿态类别,采用该姿态类别的跟踪模型进行跟踪。
具体而言,确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。跟踪模型与姿态类别相对应,例如当待分类人脸的姿态类别确定为正脸时,采用正脸跟踪模型进行跟踪。
更进一步地,跟踪方法可以通过级联回归、深度学习实现,在本发明实施例中,对于跟踪的具体实现不做限制。
图4是本发明实施例中另一种人脸姿态的分类方法的部分流程图。所述另一种人脸姿态的分类方法可以包括步骤S41至步骤S43。
步骤S41:当所述待分类人脸的姿态类别为第一侧脸姿态时,确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;
步骤S42:基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称;
步骤S43:将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
在步骤S41的具体实施中,当所述待分类人脸的姿态类别为第一侧脸姿态,例如为左侧脸姿态和右侧脸姿态之一时,确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标。
其中,镜像变换的中心轴为竖直方向,所述竖直方向例如可以是基于图像中人脸的上下方向确定的;所述待分类人脸包含于所述待跟踪图像之前的图像。
在步骤S42的具体实施中,基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对与所述第一侧脸姿态对称的第二侧脸姿态设置,例如当所述待分类人脸的姿态类别为左侧脸姿态时,采用右侧脸跟踪模型进行跟踪;当所述待分类人脸的姿态类别为右侧脸姿态时,采用左侧脸跟踪模型进行跟踪。
在步骤S43的具体实施中,将通过跟踪获得的标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。经过基于同一中心轴的两次镜像变换,获得对应于第一侧脸姿态的人脸特征点坐标。
在本发明实施例中,当所述待分类人脸的姿态类别为第一侧脸姿态时,将人脸特征点进行镜像变换,变为与所述侧脸姿态对称的姿态类别,从而可以采用对称的侧脸姿态的跟踪模型,在镜像变换后的待跟踪图像的标准化图像中进行跟踪,由于不需要训练第一侧脸姿态的跟踪模型,可以有效减少跟踪模型的数量,节约训练跟踪模型的工作量以及该跟踪模型的存储空间。
图5是本发明实施例中一种人脸姿态的分类装置的结构示意图。所述人脸姿态的分类装置可以包括:待分类人脸确定模块51、平均脸确定模块52、坐标确定模块53、计算模块54以及类别确定模块55。
其中,所述待分类人脸确定模块51,适于确定待分类人脸的标准化图像和人脸特征点的初始坐标;
所述平均脸确定模块52,适于分别确定多种姿态类别的平均脸的人脸特征点坐标;
所述坐标确定模块53,适于针对每种姿态类别,将所述待分类人脸和所述姿态类别的每种平均脸对齐,获取所述人脸特征点的对齐后坐标;
更进一步地,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
所述形状对齐以及尺度对齐包括:通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
所述计算模块54,适于针对每种姿态类别,计算所述人脸特征点的对齐后坐标和每种平均脸的特征点坐标的距离累加值;
进一步地,所述计算模块采用以下公式计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值:
其中,N为所述人脸特征点的个数;
Xc为所述人脸特征点的对齐后坐标;
Xm为S个人脸训练样本的特征点坐标的均值;
D(Xc,Xm)为所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值。
所述类别确定模块55,适于将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别。
进一步地,所述姿态类别包括:正脸姿态和侧脸姿态;其中,侧脸姿态包括左侧脸姿态和右侧脸姿态。
参照图6,图6是图5中待分类人脸确定模块51的一种具体实现的结构示意图,所述待分类人脸确定模块51可以包括:图像获取子模块511以及标准确定子模块512。
其中,所述图像获取子模块511,适于获取所述待分类人脸的图像;
所述标准确定子模块512,适于对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
进一步地,参照图7示出的图5中平均脸确定模块52的一种具体实现的结构示意图,所述平均脸确定模块52可以包括获取子模块521和均值计算子模块522。
其中,所述获取子模块521,适于针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;
所述均值计算子模块522,适于针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
更进一步地,所述均值计算子模块522采用如下公式计算所述多个人脸训练样本的特征点坐标的均值:
其中,S为所述人脸训练样本的数目;
Xm为S个人脸训练样本的特征点坐标的均值;
Xi为第i个人脸训练样本的特征点坐标,i为正整数。
更进一步地,所述人脸姿态的分类装置还可以包括第一跟踪确定模块(图未示),适于确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。
参照图8示出的本发明实施例中另一种人脸姿态的分类装置的部分结构示意图。所述另一种人脸姿态的分类装置可以包括图5至图7示出的人脸姿态的分类装置,还可以包括:第一镜像变换模块81、第二跟踪确定模块82以及第二镜像变换模块83。
其中,所述第一镜像变换模块81,适于当所述待分类人脸的姿态类别为第一侧脸姿态时,采用确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;
所述第二跟踪确定模块82,适于基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称;
所述第二镜像变换模块83,适于将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
关于该人脸姿态的分类装置的更多详细内容请参照前文及图1至图4示出的关于人脸姿态的分类方法的相关描述,此处不再赘述。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于以计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
虽然本发明披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (24)
1.一种人脸姿态的分类方法,其特征在于,包括以下步骤:
确定待分类人脸的标准化图像和人脸特征点的初始坐标;
分别确定多种姿态类别的平均脸的人脸特征点坐标;
针对每种姿态类别,将所述待分类人脸和所述姿态类别的平均脸对齐,获取所述人脸特征点的对齐后坐标;
针对每种姿态类别,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;
将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别;
其中,计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值是采用求和运算实现的;
其中,所述求和运算的各个加数为所述人脸特征点的对齐后坐标与平均脸的特征点坐标之间的距离;
其中,所述人脸特征点的对齐后坐标与平均脸的特征点坐标之间具有一一对应关系。
2.根据权利要求1所述的人脸姿态的分类方法,其特征在于,所述确定待分类人脸的标准化图像和人脸特征点的初始坐标包括:
获取所述待分类人脸的图像;
对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
3.根据权利要求1所述的人脸姿态的分类方法,其特征在于,所述分别确定多种姿态类别的平均脸的人脸特征点坐标包括:
针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;
针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
5.根据权利要求1所述的人脸姿态的分类方法,其特征在于,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
6.根据权利要求5所述的人脸姿态的分类方法,其特征在于,
所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
7.根据权利要求5所述的人脸姿态的分类方法,其特征在于,
所述形状对齐以及尺度对齐包括:通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
9.根据权利要求1所述的人脸姿态的分类方法,其特征在于,所述姿态类别包括:正脸姿态和侧脸姿态;
其中,侧脸姿态包括左侧脸姿态和右侧脸姿态。
10.根据权利要求1所述的人脸姿态的分类方法,其特征在于,还包括:
确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。
11.根据权利要求1所述的人脸姿态的分类方法,其特征在于,还包括:
当所述待分类人脸的姿态类别为第一侧脸姿态时,确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;
基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称。
12.根据权利要求11所述的人脸姿态的分类方法,其特征在于,还包括:
将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
13.一种人脸姿态的分类装置,其特征在于,包括:
待分类人脸确定模块,适于确定待分类人脸的标准化图像和人脸特征点的初始坐标;
平均脸确定模块,适于分别确定多种姿态类别的平均脸的人脸特征点坐标;坐标确定模块,适于针对每种姿态类别,将所述待分类人脸和所述姿态类别的每种平均脸对齐,获取所述人脸特征点的对齐后坐标;
计算模块,适于针对每种姿态类别,计算所述人脸特征点的对齐后坐标和每种平均脸的特征点坐标的距离累加值;
类别确定模块,适于将距离累加值最小的平均脸所属的姿态类别,确定为所述待分类人脸的姿态类别;
其中,所述计算模块采用求和运算实现计算所述人脸特征点的对齐后坐标和平均脸的特征点坐标的距离累加值;
其中,所述求和运算的各个加数为所述人脸特征点的对齐后坐标与平均脸的特征点坐标之间的距离;
其中,所述人脸特征点的对齐后坐标与平均脸的特征点坐标之间具有一一对应关系。
14.根据权利要求13所述的人脸姿态的分类装置,其特征在于,所述待分类人脸确定模块包括:
图像获取子模块,适于获取所述待分类人脸的图像;
标准确定子模块,适于对所述图像进行标准化处理,以得到标准化图像和人脸特征点的初始坐标。
15.根据权利要求13所述的人脸姿态的分类装置,其特征在于,所述平均脸确定模块包括:
获取子模块,适于针对每种姿态类别,获取多个人脸训练样本,以及所有人脸训练样本的特征点坐标;
均值计算子模块,适于针对每种姿态类别,计算所述多个人脸训练样本的特征点坐标的均值,以作为所述姿态类别的平均脸的人脸特征点坐标。
17.根据权利要求13所述的人脸姿态的分类装置,其特征在于,所述对齐包括:中心点对齐、形状对齐以及尺度对齐。
18.根据权利要求17所述的人脸姿态的分类装置,其特征在于,所述中心点对齐包括:将所述待分类人脸和所述姿态类别的平均脸分别移动到原点,以使所述待分类人脸和所述姿态类别的平均脸中心点对齐。
19.根据权利要求17所述的人脸姿态的分类装置,其特征在于,所述形状对齐以及尺度对齐包括:通过仿射变换,使所述待分类人脸和所述姿态类别的平均脸形状对齐以及尺度对齐。
21.根据权利要求13所述的人脸姿态的分类装置,其特征在于,所述姿态类别包括:正脸姿态和侧脸姿态;
其中,侧脸姿态包括左侧脸姿态和右侧脸姿态。
22.根据权利要求13所述的人脸姿态的分类装置,其特征在于,还包括:
第一跟踪确定模块,适于确定待跟踪图像的标准化图像,基于所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标,采用所述待分类人脸的姿态类别的跟踪模型进行跟踪,以确定待跟踪图像的标准化图像中人脸特征点的坐标,其中,所述待分类人脸包含于所述待跟踪图像之前的图像。
23.根据权利要求13所述的人脸姿态的分类装置,其特征在于,还包括:
第一镜像变换模块,适于当所述待分类人脸的姿态类别为第一侧脸姿态时,采用确定待跟踪图像的标准化图像,并且对所述待跟踪图像的标准化图像和所述待分类人脸的人脸特征点的初始坐标进行镜像变换,以得到标准化镜像图像和镜像人脸特征点的坐标,其中,镜像变换的中心轴为竖直方向,所述待分类人脸包含于所述待跟踪图像之前的图像;
第二跟踪确定模块,适于基于所述标准化镜像图像和镜像人脸特征点的坐标,采用预设的跟踪模型进行跟踪,以确定所述标准化镜像图像中人脸特征点的坐标,所述预设的跟踪模型针对第二侧脸姿态设置,所述第二侧脸姿态与所述第一侧脸姿态对称。
24.根据权利要求23所述的人脸姿态的分类装置,其特征在于,还包括:
第二镜像变换模块,适于将所述标准化镜像图像中人脸特征点的坐标,基于所述中心轴进行镜像变换,以确定待跟踪图像的标准化图像中人脸特征点的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710201863.9A CN108664850B (zh) | 2017-03-30 | 2017-03-30 | 人脸姿态的分类方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710201863.9A CN108664850B (zh) | 2017-03-30 | 2017-03-30 | 人脸姿态的分类方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108664850A CN108664850A (zh) | 2018-10-16 |
CN108664850B true CN108664850B (zh) | 2021-07-13 |
Family
ID=63785481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710201863.9A Active CN108664850B (zh) | 2017-03-30 | 2017-03-30 | 人脸姿态的分类方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108664850B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1669069A (zh) * | 2002-07-10 | 2005-09-14 | 哈曼贝克自动系统股份有限公司 | 用于使物体的电子表示纹理化的系统 |
CN101968846A (zh) * | 2010-07-27 | 2011-02-09 | 上海摩比源软件技术有限公司 | 一种人脸跟踪方法 |
CN102663413A (zh) * | 2012-03-09 | 2012-09-12 | 中盾信安科技(江苏)有限公司 | 一种面向多姿态和跨年龄的人脸图像认证方法 |
CN103268497A (zh) * | 2013-06-18 | 2013-08-28 | 厦门大学 | 一种人脸姿态检测方法与在人脸识别中的应用 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006025272A1 (ja) * | 2004-09-01 | 2006-03-09 | Nec Corporation | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム |
CN100426317C (zh) * | 2006-09-27 | 2008-10-15 | 北京中星微电子有限公司 | 多姿态人脸检测与追踪系统及方法 |
CN100461204C (zh) * | 2007-01-19 | 2009-02-11 | 赵力 | 一种基于二维偏最小二乘法的面部表情识别方法 |
US8958885B2 (en) * | 2008-07-11 | 2015-02-17 | Medtronic, Inc. | Posture state classification for a medical device |
CN102339376A (zh) * | 2010-07-14 | 2012-02-01 | 上海一格信息科技有限公司 | 基于主动形状模型和k近邻算法的人脸脸型分类处理方法 |
CN105320954A (zh) * | 2014-07-30 | 2016-02-10 | 北京三星通信技术研究有限公司 | 人脸认证装置和方法 |
CN105184235B (zh) * | 2015-08-24 | 2019-03-19 | 中国电子科技集团公司第三十八研究所 | 一种基于特征融合的二代身份证识别方法 |
CN105426870B (zh) * | 2015-12-15 | 2019-09-24 | 北京文安智能技术股份有限公司 | 一种人脸关键点定位方法及装置 |
-
2017
- 2017-03-30 CN CN201710201863.9A patent/CN108664850B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1669069A (zh) * | 2002-07-10 | 2005-09-14 | 哈曼贝克自动系统股份有限公司 | 用于使物体的电子表示纹理化的系统 |
CN101968846A (zh) * | 2010-07-27 | 2011-02-09 | 上海摩比源软件技术有限公司 | 一种人脸跟踪方法 |
CN102663413A (zh) * | 2012-03-09 | 2012-09-12 | 中盾信安科技(江苏)有限公司 | 一种面向多姿态和跨年龄的人脸图像认证方法 |
CN103268497A (zh) * | 2013-06-18 | 2013-08-28 | 厦门大学 | 一种人脸姿态检测方法与在人脸识别中的应用 |
Also Published As
Publication number | Publication date |
---|---|
CN108664850A (zh) | 2018-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105488815B (zh) | 一种支持目标尺寸变化的实时对象跟踪方法 | |
CN107563446B (zh) | 一种微操作系统目标检测方法 | |
CN106909888B (zh) | 应用于移动设备端的人脸关键点跟踪系统及方法 | |
CN109741369B (zh) | 一种用于机器人跟踪目标行人的方法及系统 | |
CN109934065B (zh) | 一种用于手势识别的方法和装置 | |
CN109543641B (zh) | 一种实时视频的多目标去重方法、终端设备及存储介质 | |
CN108171133B (zh) | 一种基于特征协方差矩阵的动态手势识别方法 | |
CN103514441A (zh) | 基于移动平台的人脸特征点定位跟踪方法 | |
CN107480585B (zh) | 基于dpm算法的目标检测方法 | |
CN106803265A (zh) | 基于光流法和卡尔曼滤波的多目标跟踪方法 | |
CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
CN112200056B (zh) | 人脸活体检测方法、装置、电子设备及存储介质 | |
CN102722697A (zh) | 一种无人飞行器视觉自主导引着陆的目标跟踪方法 | |
CN105279769A (zh) | 一种联合多特征的层次粒子滤波跟踪方法 | |
CN107844739B (zh) | 基于自适应同时稀疏表示的鲁棒性目标追踪方法 | |
CN105740751A (zh) | 一种目标检测与识别的方法和系统 | |
CN105976397A (zh) | 基于半非负优化集成学习的目标跟踪方法 | |
Kerdvibulvech | Hand tracking by extending distance transform and hand model in real-time | |
CN114219936A (zh) | 目标检测方法、电子设备、存储介质和计算机程序产品 | |
CN110598647B (zh) | 一种基于图像识别的头部姿态识别方法 | |
CN108694348B (zh) | 一种基于自然特征的跟踪注册方法及装置 | |
CN113888603A (zh) | 基于光流跟踪和特征匹配的回环检测及视觉slam方法 | |
CN113255511A (zh) | 用于活体识别的方法、装置、设备以及存储介质 | |
CN108664850B (zh) | 人脸姿态的分类方法及装置 | |
Jimenez et al. | Face pose estimation with automatic 3D model creation in challenging scenarios |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |