CN110046554B - 一种人脸对齐方法和相机 - Google Patents

一种人脸对齐方法和相机 Download PDF

Info

Publication number
CN110046554B
CN110046554B CN201910232934.0A CN201910232934A CN110046554B CN 110046554 B CN110046554 B CN 110046554B CN 201910232934 A CN201910232934 A CN 201910232934A CN 110046554 B CN110046554 B CN 110046554B
Authority
CN
China
Prior art keywords
face
angle
points
user
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910232934.0A
Other languages
English (en)
Other versions
CN110046554A (zh
Inventor
刘子伟
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN201910232934.0A priority Critical patent/CN110046554B/zh
Publication of CN110046554A publication Critical patent/CN110046554A/zh
Application granted granted Critical
Publication of CN110046554B publication Critical patent/CN110046554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种人脸对齐方法和相机。本发明的方法包括：构建多姿态人脸模型，多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围；采集用户的人脸图像；利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取用户的面部关键点，并根据所述面部关键点获得所述用户的人脸角度；根据每个所述姿态人脸模型关联的所述人脸角度范围，获得与所述用户的人脸角度对应的姿态人脸模型；根据与所述用户的人脸角度对应的姿态人脸模型对用户的面部关键点进行回归处理，获得用户的面部特征点，利用面部特征点实现用户的人脸对齐检测。本发明的技术方案能够提高人脸对齐的定位精度和定位速度，实现更为鲁棒的人脸对齐方案。

Description

一种人脸对齐方法和相机
技术领域
本发明涉及机器学习技术领域，尤其涉及一种人脸对齐方法和相机。
背景技术
人脸对齐技术经过多年的发展，一开始是采用主动形状模型(Active ShapeModel，ASM)、主动外观模型(Active Appearance Model，AAM)等模型进行人脸对齐，由于其率低下，鲁棒性低，级联回归、深度学习、约束局部模型、监督梯度下降等方法逐渐被应用到人脸对齐领域，使得人脸对齐的鲁棒性得到了很大的提升。
但上述方法或模型一般是针对无遮挡、正对摄像头的人脸图像才能取得比较鲁棒的人脸对齐检测结果，而待检测的人脸图像并非总是正脸对着摄像头，大量情况下会有因不同角度的侧脸导致部分人脸关键点被遮挡，导致人脸对齐的效果并不理想。
发明内容
本发明提供了一种人脸对齐方法和相机，以解决对由不同角度的侧脸导致人脸关键点被遮挡的人脸图像进行人脸检测所存在的检测结果鲁棒性差的问题。
第一方面，本发明提供了一种人脸对齐方法，构建多姿态人脸模型，多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点；该人脸对齐方法包括：采集用户的人脸图像；利用预设人脸检测算法检测人脸图像中的面部关键点，获取用户的面部关键点，并根据面部关键点获得用户的人脸角度；根据每个姿态人脸模型关联的人脸角度范围，获得与用户的人脸角度对应的姿态人脸模型；根据与用户的人脸角度对应的姿态人脸模型对用户的面部关键点进行回归处理，获得用户的面部特征点，利用面部特征点实现用户的人脸对齐检测。
优选地，构建多姿态人脸模型，包括：根据每个所述姿态人脸模型关联的人脸角度范围，对用于训练所述多个姿态人脸模型的训练图像集进行分类，获得处于每种人脸角度范围的子图像集；利用每种人脸角度范围的子图像集对级联形状回归模型进行训练，获得对应于每种人脸角度范围的姿态人脸模型。
优选地，每种人脸角度范围对应的子图像集之间不存在交集。
优选地，根据所述面部关键点获得所述用户的人脸角度，包括：根据采集所述用户的人脸图像的相机的内部参数，获得所述面部关键点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获得所述用户的人脸角度。
优选地，旋转和平移处理包括：对多个三维面部特征点相对XOY平面的进行旋转，对多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面。
优选地，用户的人脸角度包括：摆动角度、转动角度和俯仰角度；所述摆动角度对应于所述多个三维面部特征点相对XOY平面的旋转角度，所述转动角度对应于所述多个三维面部特征点沿着与Y轴平行方向的旋转角度，所述俯仰角度对应于所述多个三维面部特征点沿着与X轴平行方向的旋转角度。
优选地，利用预设人脸检测算法检测人脸图像中的面部关键点，获取到用户的面部关键点，包括：利用多任务级联卷积网络或者利用机器学习工具Dlib对所述人脸图像进行人脸检测，获得所述人脸图像中的人脸区域图像；在所述人脸区域图像上随机选择多个候选像素点，并根据任意两个所述候选像素点的灰度差值与所述两个像素点的灰度和值之间的比值，获得所述用户的面部关键点。
第二方面，本发明提供了一种相机，包括摄像头、处理器和存储器；存储器，中存储预先构建的多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点；摄像头，采集用户的人脸图像并发送给所述处理器；处理器，接收所述人脸图像，并利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取到所述用户的面部关键点，并根据所述面部关键点获得所述用户的人脸角度；根据每个所述姿态人脸模型关联的所述人脸角度范围，获得与所述用户的人脸角度对应的姿态人脸模型；根据与所述用户的人脸角度对应的姿态人脸模型对所述用户的面部关键点进行回归处理，获得所述用户的面部特征点，利用所述面部特征点实现所述用户的人脸对齐检测。
优选地，处理器，根据采集用户的人脸图像的相机的内部参数，获得所述面部关键点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述三维面部特征点在所述基准面上形成的映射点与所述匹配点的重合数量最多的旋转角度，获得所述用户的人脸角度。
优选地，处理器，利用多任务级联卷积网络或者利用机器学习工具Dlib对所述人脸图像进行人脸检测，获得所述人脸图像中的人脸区域图像；在所述人脸区域图像上随机选择多个候选像素点，并根据任意两个所述候选像素点的灰度差值与所述两个像素点的灰度和值之间的比值，获得所述用户的面部关键点。
本发明预先根据人脸角度范围的角度范围构建多姿态人脸模型，使得多姿态人脸模型能够涵盖各种人脸角度姿态，在进行人脸对齐检测过程中，先利用预设人脸检测算法检测人脸图像中的面部关键点，利用得到的面部关键点确定用户的人脸角度；然后获得与用户的人脸角度对应的姿态人脸模型，利用该姿态人脸模型面部关键点进行回归处理，获得面部特征点，利用面部特征点实现用户的人脸对齐检测，提高人脸对齐的定位精度和定位速度，实现更为鲁棒的人脸对齐方案。
附图说明
图1为本发明实施例示出的人脸对齐方法的流程图；
图2为本发明实施例示出的人脸角度姿态示意图；
图3为本发明实施例示出的相机结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明一方面提供一种人脸对齐方法。
图1为本发明实施例示出的人脸对齐方法的流程图，如图1所示，本实施例的方法包括：
S110，构建多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点。
S120，采集用户的人脸图像。
S130，利用预设人脸检测算法检测人脸图像中的面部关键点，获取用户的面部关键点，并根据面部关键点获得用户的人脸角度。
S140，根据每个姿态人脸模型关联的人脸角度范围，获得与用户的人脸角度对应的姿态人脸模型。
S150，根据与所述用户的人脸角度对应的姿态人脸模型对所述用户的面部关键点进行回归处理，获得用户的面部特征点，利用面部特征点实现用户的人脸对齐检测。
其中，面部特征点包括对应面部眼睛、鼻子、嘴巴、人脸轮廓等部位的特征点。由于直接利用预设人脸检测算法检测所得到的人脸图像中的面部关键点进行人脸对齐检测，存在检测结果精度差的问题，本实施例一方面利用面部关键点进行姿态人脸模型的确定，另一方面利用姿态人脸模型对面部关键点进行回归处理，获得能够表征用户面部特征的面部特征点，进而提高人脸检测的精度。
本实施例预先根据人脸角度范围的角度范围构建多姿态人脸模型，使得多姿态人脸模型能够涵盖各种人脸角度姿态，在进行人脸对齐检测过程中，先利用预设人脸检测算法检测人脸图像中的面部关键点，利用得到的面部关键点确定用户的人脸角度；然后获得与用户的人脸角度对应的姿态人脸模型，利用该姿态人脸模型面部关键点进行回归处理，获得面部特征点，利用面部特征点实现用户的人脸对齐检测，提高人脸对齐的定位精度和定位速度，实现更为鲁棒的人脸对齐方案。
图2为本发明实施例示出的人脸角度姿态示意图，下面结合如图2对上述步骤S110-S150进行详细说明。
首先，执行步骤S110，构建多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点。
本实施例通过下述方法构建多姿态人脸模型：首先根据每个姿态人脸模型关联的人脸角度范围，对用于训练多个姿态人脸模型的训练图像集进行分类，获得处于每种人脸角度范围的子图像集，其中每种人脸角度范围对应的子图像集之间不存在交集；然后利用每种人脸角度范围的子图像集对级联形状回归模型进行训练，获得对应于每种人脸角度范围的姿态人脸模型。
如图2所示，本实施例的人脸的角度姿态包括摆动角度(Roll)、转动角度(Yaw)和俯仰角度(Pitch)。一个本实施例中，分别利用俯仰角Pitch、航向角Yaw和翻滚角Roll表示俯仰姿态、平面摆动姿态和左右转动姿态三种姿态，每种角度有三种取值范围。以俯仰角Pitch为例，有Pitch>15°、Pitch<-15°和-15°<Pitch<15°三种角度范围，相对应地，对应有三种俯仰姿态，分别记为PtPitch＝1，PtPitch＝-1，PtPitch＝0，即在根据面部关键点确定出人脸的俯仰角度小于-15°时，确定该人脸图像中人脸的俯仰姿态为PtPitch＝-1，在根据面部关键点确定出人脸的俯仰角度大于15°时，确定该人脸图像中人脸的俯仰姿态为PtPitch＝1。同理，平面摆动姿态对应有Ptyaw＝1，Ptyaw＝-1，Ptyaw＝0三种平面摆动姿态；左右转动姿态对应有Ptroll＝1，Ptroll＝-1，Ptroll＝0三种左右转动姿态，则由上述三种角度可以构成27种人脸姿态。相应的，在一些实施例中，多姿态人脸模型包括27种姿态人脸模型。例如，检测到某人脸的俯仰角Pitch、航向角Yaw和翻滚角Roll表为(20°，-5°，-30°)，则其人脸姿态可以表示为(1，0，-1)。
为训练健壮、分类性能良好的多姿态人脸模型，本实施例将训练图像集划分为27个没有交集的子图像集，分别对这27个子图像集进行训练，得到姿态人脸模型对应的模型参数。其中，在划分子图像集时，需要注意数据的均衡。
在进行人脸对齐检测时，执行步骤S120，即采集人脸图像。
本实施例通过相机采集人脸图像，由于后续确定人脸角度姿态时，需要使用相机的内参，本实施例预先对相机进行标定，精确的相机标定需要使用张正友的棋盘格标定。相机内参需要设定相机的焦距、人脸图像的中心位置并且假设不存在径向畸变。本实施例设置相机焦距为人脸图像的宽度(以像素为单位)，人脸图像中心位置为(W/2，H/2)，W为人脸图像的宽度，H为人脸图像的高度。
在采集人脸图像之后，继续执行步骤S130，即利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取所述用户的面部关键点，并根据面部关键点获得所述用户的人脸角度。
在一些实施例中，利用多任务级联卷积网络或者利用机器学习工具Dlib对人脸图像进行人脸检测，获得人脸图像中的人脸区域图像；在人脸区域图像上随机选择多个候选像素点，并根据任意两个候选像素点的灰度差值与两个像素点的灰度和值之间的比值，获得用户的面部关键点。
一个实施例中，在人脸区域图像上随机选择多个候选像素点，并根据公式ax2+bx+c计算面部关键点，x为任意两个候选像素点的差值与这两个候选像素点的和值之间的比值，a，b，c为常量，a，b，c的数值可以在对分类器进行训练的过程中统计得到。
在一些实施例中，通过下述方法获得用户的人脸角度：首先根据采集用户的人脸图像的相机的内部参数，获得面部关键点在相机坐标系中的匹配点，匹配点在所述相机坐标系中所在的平面为基准平面；接着在相机坐标系中构建3D标准人脸模型，3D标准人脸模型中包括多个三维面部特征点；然后在相机坐标系中，根据旋转和平移处理后多个三维面部特征点在基准面上形成的多个映射点与匹配点的重合数量最多的旋转角度，获得用户的人脸角度。
在一些实施例中，对多个三维面部特征点的旋转和平移处理包括：对多个三维面部特征点相对XOY平面的进行旋转，对多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；其中，OXYZ为相机坐标系，O为相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，XOY平面为基准平面。
由此，确定的用户的人脸角度包括：摆动角度、转动角度和俯仰角度；摆动角度对应于多个三维面部特征点相对XOY平面的旋转角度，转动角度对应于多个三维面部特征点沿着与Y轴平行方向的旋转角度，俯仰角度对应于多个三维面部特征点沿着与X轴平行方向的旋转角度。即此时确定的摆动角度、转动角度和俯仰角度分别对应图2中的航向角Yaw、翻滚角Roll和俯仰角Pitch。
在实际应用中，在获得面部特征点之间，将面部特征点进行坐标映射，映射到相机坐标系中XOY平面，然后将相机坐标系中的多个三维面部特征点进行整体的旋转和平移变换，使多个三维面部特征点在相机坐标系中XOY平面的映射点尽可能多的与面部特征点在XOY平面的映射点重合，由此根据多个面部特征点所进行的旋转角度即可获得用户的人脸角度信息。
在获得用户的人脸角度之后，继续执行步骤S140，即根据每个姿态人脸模型关联的人脸角度范围，获得与用户的人脸角度对应的姿态人脸模型。
由于本实施例预先构建的多姿态人脸模型中的每个姿态人脸模型关联不同的人脸角度范围，那么既可以根据确定出的用户的人脸角度获得相应的姿态人脸模型。
在获得与用户的人脸角度对应的姿态人脸模型之后，继续执行步骤S150，即根据与用户的人脸角度对应的姿态人脸模型对用户的面部关键点进行回归处理，获得用户的面部特征点，利用面部特征点实现用户的人脸对齐检测。
本实施例的姿态人脸模型采用级联形状回归模型，在利用姿态人脸模型对用户的面部关键点进行回归处理时，设定级联形状回归模型的循环次数为i并初始化i＝0，设置级联形状回归模型的级联数为n，然后开始进行循坏回归处理，直至循环次数为i不小于n时停止循坏，并将最后一次回归处理后的面部关键点作为人脸图像的面部特征点，完成人脸对齐的面部特征点的检测。
本发明另一方面提供一种相机。
图3为本发明实施例示出的相机结构框图，如图3所示，本实施例的相机包括：摄像头、处理器和存储器；
存储器，存储预先构建的多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点；
摄像头，采集用户的人脸图像并发送给处理器；
处理器，接收所述人脸图像，并利用预设人脸检测算法检测人脸图像中的面部关键点，获取到所述用户的面部关键点，并根据所述面部关键点获得所述用户的人脸角度；根据每个所述姿态人脸模型关联的所述人脸角度范围，获得与所述用户的人脸角度对应的姿态人脸模型；根据与所述用户的人脸角度对应的姿态人脸模型对所述用户的面部关键点进行回归处理，获得所述用户的面部特征点，利用所述面部特征点实现所述用户的人脸对齐检测。
在一些实施例中，处理器还根据采集所述用户的人脸图像的相机的内部参数，获得所述面部关键点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述三维面部特征点在所述基准面上形成的映射点与所述匹配点的重合数量最多的旋转角度，获得所述用户的人脸角度。
处理器还利用多任务级联卷积网络或者利用机器学习工具Dlib对所述人脸图像进行人脸检测，获得所述人脸图像中的人脸区域图像；在所述人脸区域图像上随机选择多个候选像素点，并根据任意两个所述候选像素点的灰度差值与所述两个像素点的灰度和值之间的比值，获得所述用户的面部关键点。
对于相机实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的相机实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种人脸对齐方法，其特征在于，构建多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点；所述方法包括：
采集用户的人脸图像；
利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取所述用户的面部关键点，并根据所述面部关键点获得所述用户的人脸角度；
根据每个所述姿态人脸模型关联的所述人脸角度范围，获得与所述用户的人脸角度对应的姿态人脸模型；
根据与所述用户的人脸角度对应的姿态人脸模型对所述用户的面部关键点进行回归处理，获得所述用户的面部特征点，利用所述面部特征点实现所述用户的人脸对齐检测；
其中，所述根据所述面部关键点获得所述用户的人脸角度，包括：
根据采集所述用户的人脸图像的相机的内部参数，获得所述面部关键点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述多个三维面部特征点在所述基准平面上形成的多个映射点与所述匹配点的重合数量最多的旋转角度，获得所述用户的人脸角度；这里
所述旋转和平移处理包括：对所述多个三维面部特征点相对XOY平面的进行旋转，对所述多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；
其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面；
所述用户的人脸角度包括：摆动角度、转动角度和俯仰角度；所述摆动角度对应于所述多个三维面部特征点相对XOY平面的旋转角度，所述转动角度对应于所述多个三维面部特征点沿着与Y轴平行方向的旋转角度，所述俯仰角度对应于所述多个三维面部特征点沿着与X轴平行方向的旋转角度。
2.根据权利要求1所述的方法，其特征在于，所述构建多姿态人脸模型，包括：
根据每个所述姿态人脸模型关联的人脸角度范围，对用于训练所述多姿态人脸模型的训练图像集进行分类，获得处于每种人脸角度范围的子图像集；
利用每种人脸角度范围的子图像集对级联形状回归模型进行训练，获得对应于每种人脸角度范围的姿态人脸模型。
3.根据权利要求2所述的方法，其特征在于，每种人脸角度范围对应的子图像集之间不存在交集。
4.根据权利要求1所述的方法，其特征在于，所述利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取到所述用户的面部关键点，包括：
利用多任务级联卷积网络或者利用机器学习工具Dlib对所述人脸图像进行人脸检测，获得所述人脸图像中的人脸区域图像；
在所述人脸区域图像上随机选择多个候选像素点，并根据任意两个候选像素点的灰度差值与所述两个候选像素点的灰度和值之间的比值，获得所述用户的面部关键点。
5.一种相机，其特征在于，包括摄像头、处理器和存储器；
所述存储器，存储预先构建的多姿态人脸模型，所述多姿态人脸模型中每个姿态人脸模型关联不同的人脸角度范围，每个姿态人脸模型用于对人脸图像的面部关键点进行回归处理获得面部特征点；
所述摄像头，采集用户的人脸图像并发送给所述处理器；
所述处理器，接收所述人脸图像，并利用预设人脸检测算法检测所述人脸图像中的面部关键点，获取到所述用户的面部关键点，并根据所述面部关键点获得所述用户的人脸角度；根据每个所述姿态人脸模型关联的所述人脸角度范围，获得与所述用户的人脸角度对应的姿态人脸模型；根据与所述用户的人脸角度对应的姿态人脸模型对所述用户的面部关键点进行回归处理，获得所述用户的面部特征点，利用所述面部特征点实现所述用户的人脸对齐检测；
其中，所述处理器，根据采集所述用户的人脸图像的相机的内部参数，获得所述面部关键点在相机坐标系中的匹配点，所述匹配点在所述相机坐标系中所在的平面为基准平面；在所述相机坐标系中构建3D标准人脸模型，所述3D标准人脸模型中包括多个三维面部特征点；在所述相机坐标系中，根据旋转和平移处理后所述三维面部特征点在所述基准平面上形成的映射点与所述匹配点的重合数量最多的旋转角度，获得所述用户的人脸角度，其中所述旋转和平移处理包括：对所述多个三维面部特征点相对XOY平面的进行旋转，对所述多个三维面部特征点沿着与Y轴平行的方向进行旋转和对所述多个三维面部特征点沿着与X轴平行的方向进行旋转；其中，OXYZ为所述相机坐标系，O为所述相机坐标系的原点，X、Y与Z分别为相机坐标系的三个坐标轴，所述XOY平面为所述基准平面；所述用户的人脸角度包括：摆动角度、转动角度和俯仰角度；所述摆动角度对应于所述多个三维面部特征点相对XOY平面的旋转角度，所述转动角度对应于所述多个三维面部特征点沿着与Y轴平行方向的旋转角度，所述俯仰角度对应于所述多个三维面部特征点沿着与X轴平行方向的旋转角度。
6.根据权利要求5所述的相机，其特征在于，所述处理器，利用多任务级联卷积网络或者利用机器学习工具Dlib对所述人脸图像进行人脸检测，获得所述人脸图像中的人脸区域图像；在所述人脸区域图像上随机选择多个候选像素点，并根据任意两个候选像素点的灰度差值与所述两个候选像素点的灰度和值之间的比值，获得所述用户的面部关键点。
CN201910232934.0A 2019-03-26 2019-03-26 一种人脸对齐方法和相机 Active CN110046554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910232934.0A CN110046554B (zh) 2019-03-26 2019-03-26 一种人脸对齐方法和相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910232934.0A CN110046554B (zh) 2019-03-26 2019-03-26 一种人脸对齐方法和相机

Publications (2)

Publication Number Publication Date
CN110046554A CN110046554A (zh) 2019-07-23
CN110046554B true CN110046554B (zh) 2022-07-12

Family

ID=67275296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910232934.0A Active CN110046554B (zh) 2019-03-26 2019-03-26 一种人脸对齐方法和相机

Country Status (1)

Country Link
CN (1) CN110046554B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852293B (zh) * 2019-11-18 2022-10-18 业成科技（成都）有限公司 人脸深度图对齐方法、装置、计算机设备和存储介质
CN114638018A (zh) * 2022-03-29 2022-06-17 润芯微科技(江苏)有限公司 一种基于面部识别保护车主行车记录仪隐私的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN105844227A (zh) * 2016-03-21 2016-08-10 湖南君士德赛科技发展有限公司 面向校车安全的司机身份认证方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置
CN108986094A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 用于人脸识别用训练图像库的数据自动更新方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105701455A (zh) * 2016-01-05 2016-06-22 安阳师范学院 基于asm算法的人脸特征点采集及三维人脸建模方法
US10032067B2 (en) * 2016-05-28 2018-07-24 Samsung Electronics Co., Ltd. System and method for a unified architecture multi-task deep learning machine for object recognition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105760836A (zh) * 2016-02-17 2016-07-13 厦门美图之家科技有限公司 基于深度学习的多角度人脸对齐方法、系统及拍摄终端
CN105844227A (zh) * 2016-03-21 2016-08-10 湖南君士德赛科技发展有限公司 面向校车安全的司机身份认证方法
CN106203395A (zh) * 2016-07-26 2016-12-07 厦门大学 基于多任务深度学习的人脸属性识别方法
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106599830A (zh) * 2016-12-09 2017-04-26 中国科学院自动化研究所 人脸关键点定位方法及装置
CN108986094A (zh) * 2018-07-20 2018-12-11 南京开为网络科技有限公司 用于人脸识别用训练图像库的数据自动更新方法

Also Published As

Publication number Publication date
CN110046554A (zh) 2019-07-23

Similar Documents

Publication Publication Date Title
EP3323249B1 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
US8660362B2 (en) Combined depth filtering and super resolution
KR101608253B1 (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN113874870A (zh) 基于图像的定位
JP6528764B2 (ja) 顔照合装置、方法、及び、記録媒体
CN106033621B (zh) 一种三维建模的方法及装置
JP2018532199A (ja) 眼の特徴を用いる眼ポーズ識別
US20210272359A1 (en) Methods, devices, and computer program products for improved mesh generation in constructed 3d images
JP6483832B2 (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN112257696B (zh) 视线估计方法及计算设备
CN111091075A (zh) 人脸识别方法、装置、电子设备及存储介质
CN111357034A (zh) 点云生成方法、系统和计算机存储介质
US20210407189A1 (en) Information processing apparatus, information processing method, and program
CN110046554B (zh) 一种人脸对齐方法和相机
WO2023016182A1 (zh) 位姿确定方法、装置、电子设备和可读存储介质
EP3676808A1 (en) Methods, devices and computer program products for generation of mesh in constructed 3d images containing incomplete information
CN110188630A (zh) 一种人脸识别方法和相机
EP3676801B1 (en) Electronic devices, methods, and computer program products for controlling 3d modeling operations based on pose metrics
CN104573737A (zh) 特征点定位的方法及装置
CN110008873B (zh) 面部表情捕捉方法、系统及设备
US10440350B2 (en) Constructing a user&#39;s face model using particle filters
CN114399800A (zh) 人脸姿态估计方法及装置
CN110998595A (zh) 用于头部姿势估计的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant