CN110852293A - 人脸深度图对齐方法、装置、计算机设备和存储介质 - Google Patents

人脸深度图对齐方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN110852293A
CN110852293A CN201911126934.9A CN201911126934A CN110852293A CN 110852293 A CN110852293 A CN 110852293A CN 201911126934 A CN201911126934 A CN 201911126934A CN 110852293 A CN110852293 A CN 110852293A
Authority
CN
China
Prior art keywords
aligned
face
point cloud
point
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911126934.9A
Other languages
English (en)
Other versions
CN110852293B (zh
Inventor
陈威宁
王立杰
刘智远
魏福呈
廖致霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Original Assignee
Interface Optoelectronics Shenzhen Co Ltd
Interface Technology Chengdu Co Ltd
General Interface Solution Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Interface Optoelectronics Shenzhen Co Ltd, Interface Technology Chengdu Co Ltd, General Interface Solution Ltd filed Critical Interface Optoelectronics Shenzhen Co Ltd
Priority to CN201911126934.9A priority Critical patent/CN110852293B/zh
Publication of CN110852293A publication Critical patent/CN110852293A/zh
Application granted granted Critical
Publication of CN110852293B publication Critical patent/CN110852293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种人脸深度图对齐方法、装置、计算机设备和存储介质，利用二维图像得到待对齐人脸的人脸特征点，将其应用到深度图中，再将深度图转换成点云，得到第一点云和第一待对齐人脸特征点集合；利用人脸的对称性，得到与待对齐人脸方向相同的待对齐人脸剖面；通过旋转待对齐人脸剖面至剖面法向与相机坐标竖轴方向相同得到一个能够使第一点云，即待对齐人脸实现初步对齐的旋转矩阵，得到第二点云；沿相机坐标竖轴旋转第二点云，使第二点云中的第二待对齐人脸特征点集合对齐，从而实现待对齐人脸的对齐；计算第二点云中每一点到待对齐人脸剖面的距离，生成对齐后的人脸深度图；可以实现多姿态人脸深度图的对齐，提高人脸深度图对齐的效率。

Description

人脸深度图对齐方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种人脸深度图对齐方法、装置、计算机设备和存储介质。
背景技术
作为计算机视觉技术领域的研究热点，人脸识别技术通过计算机提取人脸特征，并根据这些特征进行身份识别；其具有操作简单、结果直观以及隐蔽性好等优点，在生活娱乐、信息安全、出入口控制等领域得到广泛的应用。其中，人脸对齐为人脸识别奠定基础，是人脸识别不可或缺的一个关键步骤。
由于人脸图像拍摄过程中人脸和相机的移动，人脸深度图的深度值浮动较大，不能准确地检测到人脸深度图的脸部特征点，难以将人脸深度图对齐。传统方案通常通过建立三维人脸模型，训练三维人脸模型来预测人脸图像的深度信息，生成对齐的人脸深度图。然而，建立和训练三维人脸模型的过程复杂、繁琐，导致人脸深度图对齐的效率低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高效率的人脸深度图对齐方法、装置、计算机设备和存储介质。
一种人脸深度图对齐方法，所述方法包括：
获取待对齐人脸的二维图像和深度图像；
根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
在其中一个实施例中，所述根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：
对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；
根据所述二维图像与所述深度图像中每一像素点的对应关系，将所述第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；
将所述深度图像转换为待对齐人脸的第一点云；
根据深度图像与第一点云间的转换关系，讲所述第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。
在其中一个实施例中，所述对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合包括：
检测所述二维图像，得到所述二维图像中待对齐人脸的位置信息；
根据所述位置信息，生成待对齐人脸的人脸框；
根据所述人脸框，确定待对齐人脸的特征区域；
在所述特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
在其中一个实施例中，所述将所述深度图像转换为待对齐人脸的第一点云包括：
获取所述深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；
根据所述转换关系计算所述深度图像中每个像素点对应的三维空间坐标；
根据所述三维空间坐标确定每个像素点对应的三维空间位置；
根据所述三维空间位置，生成对应的待对齐人脸的第一点云。
在其中一个实施例中，所述根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：
根据人脸的对称性，在所述第一待对齐人脸特征点集合中确定待对称特征点集合；
将所述待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系；所述关联关系使所述待配对的对称特征点到待对齐人脸剖面的距离相等；
在所述第一待对齐人脸特征点集合中获取鼻尖特征点，根据所述鼻尖特征点确定待对齐人脸剖面的中心点；
对所述关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。
在其中一个实施例中，所述沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：
根据人脸的对称性，在所述第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；
将所述待对平对齐的特征点集合中的点一一配对；
获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；
沿所述相机坐标系的竖轴旋转所述第二点云，使所述配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。
一种人脸深度图对齐装置，所述装置包括：
图像获取模块，用于获取待对齐人脸的二维图像和深度图像；
图像处理模块，用于根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
待对齐人脸剖面生成模块，用于根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转矩阵计算模块，用于旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
第二点云对齐模块，用于根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
对齐后的人脸深度图生成模块，用于计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
在其中一个实施例中，所述图像处理模块还用于：对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；根据所述二维图像与所述深度图像中每一像素点的对应关系，得到待对齐人脸在所述深度图像中对应的第二人脸特征点集合；将所述深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，得到待对齐人脸在所述第一点云中对应的第一待对齐人脸特征点集合。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待对齐人脸的二维图像和深度图像；
根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
根据所述旋转矩阵，旋转所述第一点云，得到第二点云和第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待对齐人脸的二维图像和深度图像；
根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
上述人脸深度图对齐方法、装置、计算机设备和存储介质，获取并根据待对齐人脸的二维图像和深度图像，得到待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合，利用人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面后，旋转待对齐人脸剖面至其法向与相机坐标系的竖轴方向相同，得到旋转矩阵，再将该旋转矩阵应用到第一点云中，得到第二点云和第二点云中对应的第二待对齐人脸特征点集合，沿着相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云，计算对齐后的第二点云中每一点到带对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。过程中，利用人脸的对称性得到一个与待对齐人脸具有相同方向的待对齐人脸剖面，通过旋转待对齐人脸剖面，得到一个旋转矩阵，将该旋转矩阵应用到待对齐人脸的第一点云中，来实现待对齐人脸的初步对齐，得到第二点云；再通过旋转第二点云，将配对的待对齐人脸特征点对齐，从而实现待对齐人脸的对齐；最后计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，利用该距离生成具有相对深度的对齐后的人脸深度图；可以实现多姿态的人脸深度图的对齐，且不需要建立和训练三维人脸模型，过程简单，可提高人脸深度图对齐的效率。
附图说明
图1为一个实施例中人脸深度图对齐方法的应用场景图；
图2为一个实施例中人脸深度图对齐方法的流程示意图；
图3为一个实施例中待对齐人脸的二维图像；
图4为一个实施例中待对齐人脸的深度图像；
图5为一个实施例中人脸特征点集合的示意图；
图6为一个实施例中计算待对齐人脸剖面的过程示意图；
图7为另一个实施例中人脸深度图对齐方法的流程示意图；
图8为一个实施例中对齐后的人脸深度图；
图9为一个实施例中人脸深度图对齐装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的人脸深度图对齐方法，可以应用于如图1所示的应用环境中。其中，终端102通过USB与相机104连接。相机104对待对齐人脸进行拍摄，得到待对齐人脸的图像。终端102通过USB连接，获取相机104所拍摄的待对齐人脸深度图像。终端102对待对齐人脸深度图像进行检测分析，得到待对齐人脸的点云和点云对应的待对齐人脸特征点集合。根据人脸的对称性，终端102对待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸的第一剖面后，旋转待对齐人脸剖面至其法向与相机坐标系的竖轴方向相同，得到旋转矩阵，再将该旋转矩阵应用到第一点云中，得到第二点云和第二点云中对应的第二待对齐人脸特征点集合，沿着相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云，计算对齐后的第二点云中每一点到带对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。
在一个实施例中，如图2所示，提供了一种人脸深度图对齐方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤202，获取待对齐人脸的二维图像深度图像。
其中，待对齐人脸可以是多种姿态的人脸，比如，俯仰姿态、侧倾姿态。二维图像指的是不包含深度信息的平面图像，比如红外图像。深度图像是由相机拍摄得到的，深度图像中每一像素点的值代表的是物体到相机平面的距离。
具体地，相机对待对齐人脸进行拍摄，得到待对齐人脸的二维图像和深度图像后存储。终端通过USB与相机连接，获取相机中存储的待对齐人脸的二维图像和深度图像。
在一个实施例中，可以使用结构光深度相机来对待对齐人脸进行拍摄。通过近红外激光机将具有一定结构特征的光线投射到待对齐人脸上后，由于待对齐人脸具有不同的深度，结构光投射到待对齐人脸后会受到调制而具有不用的相位信息，红外摄像头采集从待对齐人脸反射回来的光线，即调制后的结构光，得到待对齐人脸的红外图像。结构光深度相机中的运算单元将结构光在被待对齐人脸调制前后的变化换算为深度信息，从而得到待对齐人脸的深度图像。
步骤204，根据待对齐人脸的二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合。
其中，点云是获取物体表面每个采样点的空间坐标后，得到的点的集合。而通过像素点坐标的转换，可以将深度图像转换为对应的点云。人脸特征点集合中包含多个人脸特征点，可以用于确定人脸图像的特征区域，如眼睛、鼻子、嘴巴等。由于人脸图像拍摄过程中人脸和相机的移动，待对齐人脸的深度图像的深度值浮动较大，不能准确地检测到深度图像中的人脸特征点。相比之下，待对齐人脸的二维图像中的人脸特征点更容易检测到。因此可以先对带对齐人脸的二维图像进行检测，将检测得到的人脸特征点集合应用到对应的深度图像中，再利用深度图像与点云间的转换关系，得到待对齐人脸的第一点云和第一点云对应的第一待对齐人脸特征点集合。
具体地，终端在获取由相机拍摄的待对齐人脸的二维图像和深度图像后，利用人脸特征点检测算法对待对齐人脸的二维图像进行检测，得到二维图像对应的第一人脸特征点集合。利用待对齐人脸的二维图像与深度图像的像素点坐标间的关系，将第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合。再利用深度图像对应的坐标系和点云对应的坐标系间的转换关系，将待对齐人脸的深度图像和其对应的第二人脸特征点集合转换为待对齐人脸的第一点云和第一点云对应的第一待对齐人脸特征点集合。
步骤206，根据人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面。
其中，人脸的对称性主要体现为人脸特征区域的对称性，比如，左右和右眼是水平对称的。而人脸特征区域的对称性又体现为人脸特征点的对称性，比如，左内眼角特征点和右内眼角特征点是水平对称的，上眼睑特征点和下眼睑特征点是垂直对称的。因此，可根据对称的人脸特征点到平面的距离相等，得到该平面，即待对齐人脸剖面。最优化处理是建立数学模型和寻找最优解的过程，当建立的数学模型涉及到非线性函数时，则称之为非线性最优化。
具体地，获取第一待对齐人脸特征点集合对应的坐标集合，根据人脸的对称性，将待对齐人脸特征点集合的坐标集合代入点到平面的距离公式，并令待对齐的人脸特征点集合中配对的待对称特征点到平面的距离相等，建立对应的非线性数学模型，对该数学模型进行求解，从而得到待对齐人脸剖面。
在一个实施例中，可以使用非线性最小二乘法来对该非线性数学模型进行求解，得到待对齐人脸剖面。在另一个实施例中，也可以使用高斯牛顿法来对该非线性数学模型进行求解，得到待对齐人脸剖面。
步骤208，旋转待对齐人脸剖面至待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；该相机坐标系为拍摄待对齐人脸的二维图像和深度图像时对应的相机坐标系。
其中，相机坐标系是相对的三维空间坐标系，以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，即横轴和纵轴，相机的光轴为Z轴，即竖轴。而待对齐人脸的第一点云对应的是世界坐标系，是绝对的三维空间坐标系，所以根据待对齐人脸的第一点云得到的待对齐人脸剖面为世界坐标系中的一个平面。因为待对齐人脸剖面与待对齐人脸具有相同的方向，通过将待对齐人脸剖面的法向旋转至相机坐标系的竖轴方向，可以得到一个将待对齐人脸剖面旋转至与相机坐标系的XOY平面平行的旋转矩阵。将该旋转矩阵应用到待对齐人脸的第一点云中，可以将待对齐人脸的第一点云和第一点云中的第一待对齐人脸特征点集合也相应地旋转至与相机坐标系的XOY平面平行，从而实现待对齐人脸的初步对齐。由于相机坐标系是相对的三维空间坐标系，其坐标值由相机的位置决定，因此，本实施例中采用拍摄待对齐人脸的二维图像和深度图像时对应的相机坐标系。
具体地，先利用相机坐标系和世界坐标系间的转换关系，将待对齐人脸剖面的坐标转换为相机坐标系下的坐标。在一个实施例中，可以将待对齐人脸剖面的法向量(a,b,c)绕相机坐标系的横轴，即X轴，旋转角度α至XOZ平面。再绕相机坐标系的纵轴，即Y轴，旋转角度β至待对齐人脸剖面的法向与相机坐标系的竖轴，即Y轴的方向相同。由于绕X轴旋转的角度α等于待对齐人脸剖面的法向量在YOZ平面上的投影向量(0,b,c)与Z轴方向的夹角。根据矢量的点乘和叉乘可以得到：
Figure BDA0002277143340000101
Figure BDA0002277143340000102
将其代入现有的绕X轴旋转的旋转矩阵RX，即可得到
同理，可得到
Figure BDA0002277143340000104
Figure BDA0002277143340000105
得到绕Y轴旋转的旋转矩阵RY，即
Figure BDA0002277143340000106
因此，得到待对齐人脸剖面的法向量旋转至相机坐标系的竖轴方向的旋转矩阵R＝RXRY。根据待对齐人脸剖面的法向量的旋转，从而将待对齐人脸剖面旋转至与相机坐标系的XOY平面的旋转矩阵平行。
步骤210，根据旋转矩阵，旋转第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云。
其中，由于待对齐人脸剖面与第一点云具有相同的方向，而旋转后的待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，即旋转后的待对齐人脸剖面与相机坐标系的XOY平面平行。因此，通过相同的旋转矩阵旋转第一点云得到的第二点云也平行于相机坐标系的XOY平面。但由于拍摄得到的图像中的人脸是多种姿态的，即第二点云中的待对齐人脸方向与正脸方向可能存在一定倾角，所以第二点云和第二待对齐人脸特征点集合的对称轴不是垂直方向的，需要旋转一定角度，使得第二点云和第二待对齐人脸特征点集合的对称轴呈垂直方向。
具体地，利用步骤208得到的旋转矩阵R来旋转第一点云，得到与相机坐标系的XOY平面平行的第二点云和第二点云对应的第二待对齐人脸特征点集合。在第二待对齐人脸特征点集合中确定配对的待对齐人脸特征点，沿相机坐标系的竖轴(Z轴)旋转第二点云，使得旋转后的第二点云中配对的待对齐人脸特征点对齐，从而得到对齐后的第二点云。
步骤212，计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
其中，对齐后的第二点云中具有每一点的距离信息，计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，可以得到对齐后的人脸的相对深度信息，生成具有对齐后的人脸的深度信息的图像，即对齐后的人脸深度图。
具体地，将待对齐人脸剖面的平面方程和对齐后的第二点云中每一点的坐标代入现有的点到平面的距离公式，得到对齐后的第二点云中每一点到待对齐人脸剖面的距离，将该距离作为对齐后的第二点云中每一点对应的深度值。利用点云和深度图像间的转换关系，将对齐后的第二点云转换为深度图像，深度图像上每一像素点的值为对齐后的第二点云中每一点对应的深度图，生成对齐后的人脸深度图。
上述人脸深度图对齐方法中，通过获取并根据待对齐人脸的二维图像和深度图像，得到待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合，利用人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面后，旋转待对齐人脸剖面至其法向与相机坐标系的竖轴方向相同，得到旋转矩阵，再将该旋转矩阵应用到第一点云中，得到第二点云和第二点云中对应的第二待对齐人脸特征点集合，沿着相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云，计算待对齐后的第二点云中每一点到带对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。过程中，利用人脸的对称性得到一个与待对齐人脸具有相同方向的待对齐人脸剖面，通过旋转待对齐人脸剖面，得到一个旋转矩阵，将该旋转矩阵应用到待对齐人脸的第一点云中，来实现待对齐人脸的初步对齐，得到第二点云；再通过旋转第二点云，将配对的待对齐人脸特征点对齐，从而实现待对齐人脸的对齐；最后计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，利用该距离生成具有相对深度的对齐后的人脸深度图；可以实现多姿态的人脸深度图的对齐，且不需要建立和训练三维人脸模型，过程简单，可提高人脸深度图对齐的效率。
在一个实施例中，根据二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：对二维图像进行人脸特征点检测，得到待对齐人脸在二维图像中对应的第一人脸特征点集合；根据二维图像与深度图像中每一像素点的对应关系，将第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；将深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，将第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。
其中，由于深度图像和二维图像对应的坐标系相同，都属于像素坐标系；且本实施例中的深度图像和其对应的二维图像是由同一相机在同一角度下对同一角度的人脸进行拍摄的，所以对应的深度图像和二维图像中每一像素点对应的坐标相同。因此将二维图像中检测得到的人脸特征点集合，应用到深度图像中。同理，由于深度图像与点云中每一像素点的坐标具有一定的空间转换关系，所以可以根据该空间转换关系，将深度图像中对应的人脸特征点集合对应地转换为点云中的人脸特征点集合。
具体地，终端获取由相机拍摄的待对齐人脸的深度图像和二维图像，利用人脸特征点检测算法对待对齐人脸的二维图像进行检测，得到二维图像的第一人脸特征点集合。如图3所示，从左到右依次是左倾、右倾、下俯和上仰状态下的待对齐人脸的二维图像。因为深度图像和二维图像上每一像素点对应的坐标相同，因此，将深度图像中与第一人脸特征点集合的坐标相同的点集作为第二人脸特征点集合，即得到待对齐人脸深度图像中的第二人脸特征点集合。如图4所示，从左到右依次是左倾、右倾、下俯和上仰状态下的待对齐人脸的深度图像。再利用深度图像所在的坐标系与点云所在的坐标系间的转换关系，将深度图像和第二人脸特征点集合转换为对应的待对齐人脸的第一点云和第一点云中对应的待对齐人脸特征点集合。
在本实施例中，由于人脸深度图像的深度值浮动较大，不能准确地检测到人脸深度图的人脸特征点，通过先检测二维图像的人脸特征点，将其应用到深度图像中，可以简单、准确地得到人脸深度图的人脸特征点。再将人脸深度图和其对应的人脸特征点转换为点云和待对齐人脸特征点，为后续人脸对齐提供基础。
在一个实施例中，对二维图像进行人脸特征点检测，得到待对齐人脸在二维图像中对应的第一人脸特征点集合包括：检测二维图像，得到二维图像中待对齐人脸的位置信息；根据该位置信息，生成待对齐人脸的人脸框；根据该人脸框，确定待对齐人脸的特征区域；在特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
其中，待对齐人脸的位置信息为待对齐人脸所在的区域以及该区域对应的坐标集合。人脸框可以定位待对齐人脸所在的区域。
具体地，根据预设的算法对待对齐人脸的二维图像进行检测，得到二维图像中待对齐人脸的位置信息，根据该位置信息，生成待对齐人脸的人脸框。根据预设的算法，由人脸框确定待对齐人脸的特征区域，再在特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
在一个实施例中，上述预设的算法可以是Haar Cascade和Dlib算法的结合。利用Haar Cascade算法来检测待对齐人脸的二维图像，识别二维图像中是否存在待对齐人脸，以及识别待对齐人脸在二维图像中所在的区域，根据该区域生成人脸框，将待对齐人脸的区域定位。再利用Dlib算法，在人脸框的基础上，将待对齐人脸的特征点提取出来并标记，生成人脸特征点集合，如图5所示。其中，点1到点17为人脸轮廓特征点，点18到点27为眉毛特征点，点28到点36为鼻子特征点，点37到点48为眼睛特征点，点49到68为嘴巴特征点。
在其他实施例中，也可以使用其他方法对待对齐人脸图像进行检测，本申请在此不做限定。
在本实施例中，利用人脸检测和人脸特征点检测算法来提取待对齐人脸二维图像的人脸特征点，生成人脸特征点集合，为人脸深度图对齐提供了基础。
在一个实施例中，将深度图像转换为待对齐人脸的第一点云包括：获取深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；根据该转换关系计算深度图像中每个像素点对应的三维空间坐标；根据该三维空间坐标确定每个像素点对应的三维空间位置；根据该三维空间位置，生成对应的待对齐人脸的第一点云。
其中，深度图对应的坐标系是像素坐标系，即以像素为单位的图像坐标系。在像素坐标系中，原点为图像左上角的顶点。点云对应的坐标系是世界坐标系，即客观三维世界的绝对坐标系，也叫真实世界的三维空间坐标系。要将深度图转换为对应的点云，需要先将深度图对应的像素坐标转换为图像坐标，将图像坐标转换为相机坐标，在将相机坐标转换为世界坐标，才能得到对应的点云。像素坐标系是以图像平面的左上角顶点为坐标原点的，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，用(u,v)表示其坐标值。图像坐标系是以图像平面的中心为坐标原点，X轴和Y轴分别平行于图像平面的两条垂直边，用(x,y)表示其坐标值。相机坐标系是以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴，用(Xc,Yc,Zc)表示其坐标值。因为相机和被测物体是位于三维空间中的，所以需要使用世界坐标系作为基准来描述所有位于三维环境中的物体的位置，用(Xw,,Yw,,Zw)表示其坐标值。
具体地，图像坐标系间的转换关系为：
Figure BDA0002277143340000141
其中，(u0,v0)是图像坐标系原点在像素坐标系中的坐标，dx和dy分别是每个像素在图像平面x和y方向上的物理尺寸。
图像坐标系与相机坐标系的转换关系为：
Figure BDA0002277143340000151
其中，f为相机的焦距，即图像平面到相机坐标原点的距离。
相机坐标系与世界坐标系的转换关系为：
Figure BDA0002277143340000152
其中，R是3×3的正交旋转矩阵，t是三位平移向量。利用上述转换关系，计算待对齐人脸深度图中每个像素点对应的三维空间坐标，根据该空间坐标，确定每个像素点对应的空间位置，从而生成对应的待对齐人脸的第一点云。
在本实施例中，根据深度图和点云坐标系间的空间转换关系，将待对齐人脸深度图转换为对应的待对齐人脸的第一点云，为人脸深度图对齐提供了基础。
在一个实施例中，根据人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：根据人脸的对称性，在第一待对齐人脸特征点集合中确定待对称特征点集合；将待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系，使待配对的对称特征点到待对齐人脸剖面的距离相等；在第一待对齐人脸特征点集合中获取鼻尖特征点，根据鼻尖特征点确定待对齐人脸剖面的中心点；对关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。
其中，待对齐人脸特征点集合根据检测算法的不同，可检测点数不同的待对齐人脸特征点集合。在一个实施例中，使用Dlib算法对待对齐人脸图像进行检测，得到含有68个特征点的人脸特征点集合，如图5所示。根据人脸的特征区域，可以将特征点分为唇尖特征点、鼻尖特征点、眉头特征点等。根据人脸的对称性，又可以将特征点集合划分为对称特征点集合和非对称特征点集合。
具体地，在第一待对齐人脸特征点集合中获取鼻尖特征点，如图5所示的点33。根据鼻尖特征点确定待对齐人脸剖面的中心点。在一个实施例中，可以以鼻尖特征点往后5厘米作为待对齐人脸剖面的中心点。根据人脸的对称性，在第一待对齐人脸特征点集合中确定待对称特征点集合并将待对称特征点集合中待对称特征点一一配对，如图5所示的点36和点45、点37和点41等。假设空间中存在一个平面，该平面的方程式为：
ax+by+cz+d＝0
且
a2+b2+c2＝1
其中，(x,y,z)为该平面的三维空间坐标，(a,b,c)为该平面的法向量，d为该平面的偏移量。
令配对的待对称特征点到该平面的距离相等，如图6所示，则有
a×(x1-x2)+b×(y1-y2)+c×(z1-z2)＝0
且
a2+b2+c2＝1
其中，(x1,y1,z1)和(x2,y2,z2)为配对的待对称特征点的坐标，(a,b,c)为该平面的法向量。将所有配对的待对称特征点的坐标代入上述方程，并做非线性最佳化，可得出该平面的法向量，即得出待对齐人脸剖面的法向量。图6中左侧的曲面为待对齐人脸所在的曲面，右侧的平面为待对齐人脸剖面，圆点为待对称特征点集合，带箭头的直线代表的是圆点到右侧平面的距离，即待对称特征点集合中每一点到待对齐人脸剖面的距离。
由于在本实施例中，以鼻尖特征点往后5厘米作为第一剖面的中心点，则该中心点位于第一剖面上，可以利用鼻尖特征点的坐标得出第一剖面的偏移量d：
a×x3+b×y3+c×(z3-50)+d＝0
其中，(x3,y3,z3)为鼻尖特征点的坐标，(a,b,c)为平面的法向量。由于本实施例中所用的坐标轴的单位为毫米，因此需要将5厘米转化为50毫米。因为(x3,y3,z3)和(a,b,c)为已知条件，所以，利用上述方程式得出第一剖面的偏移量d，从而得到待对齐人脸剖面。
在其他实施例中，待对齐人脸剖面的中心点可以是与第一待对齐人脸特征点集合中的鼻尖特征点的横坐标值和纵坐标值相同的任意一点。
在本实施例中，通过利用人脸的对称性，求得一个与配对的待对称人脸特征点距离相等且方向相同的待对齐人脸剖面，为第一待对齐人脸特征点集合实现初步对齐提供了基础。
在一个实施例中，沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：根据人脸的对称性，在第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；将待对平对齐的特征点集合中的点一一配对；获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；沿相机坐标系的竖轴旋转第二点云，使配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。
其中，根据人脸的对称性，可以人脸特征点集合划分为对称特征点集合和非对称特征点集合。对称特征点集合中又可以分为水平对称和垂直对称的特征点。以图5所示的特征点集合为例，点36和点45、点31和点35等为水平对称的配对点，点37和点41、点38和点40等为垂直对称的配对点。
具体地，根据人脸的对称性，在第二待对齐人脸特征点集合中确定待水平对齐的特征点集合，以图5所示的特征点集合为例，待水平对齐的特征点集合包括点31、点35、点35和点45等。将待水平对齐的特征点集合中的点一一配对，即将点31和点35配对、将点36和点45配对等。获取配对的待水平对齐的特征点集合中每一点在相机坐标系下对应的纵坐标值，沿着相机坐标系的竖轴旋转第二点云，使旋转后的第二点云中配对的待水平对齐的特征点的纵坐标值相等，即使得旋转后的第二待对齐人脸特征点集合中配对的待水平对齐的特征点水平对齐。
在本实施例中，通过旋转第二点云来将第二待对齐人脸特征点集合中待水平对齐的特征点水平对齐，使得待对齐人脸的对称轴呈垂直方向，即使得对齐后的第二点云与正脸方向相同，从而提高人脸对齐的精度。
在一个实施例中，如图7所示，提供了另一种人脸对齐方法，以该方法应用于图1中的终端为例进行说明，包括以下步骤：
步骤702，获取待对齐人脸的二维图像和深度图像。
步骤704，对该二维图像进行人脸特征点检测，得到二维图像对应的第一人脸特征点集合。
步骤706，根据二维图像和深度图像中每一像素点的对应关系，将第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合。
步骤708，将待对齐人脸的深度图像转换为对应的待对齐人脸的第一点云，将第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。
步骤710，根据人脸的对称性，对第一待对齐人脸特征点集合的坐标集合进行非线性最优化处理，得到与待对齐人脸剖面。
步骤712，旋转待对齐人脸剖面至待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；该相机坐标系为拍摄待对齐人脸的二维图像和深度图像时对应的相机坐标系。
步骤714，根据旋转矩阵，旋转第一点云和第一待对齐人脸特征点集合，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合。
步骤716，沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待水平对齐人脸特征点的纵坐标值相等，得到对齐后的第二点云。
步骤718，计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
在一个实施例中，终端获取相机拍摄的待对齐人脸的二维图像和深度图像，如图3和图4所示。其中图3从左到右依次为左倾、右倾、下俯和上仰状态下的待对齐人脸的二维图像，图4从左到右依次为左倾、右倾、下俯和上仰状态下的待对齐人脸的深度图像。通过使用上述人脸深度图对齐方法，对图3和图4中的待对齐人脸图像进行对齐，从而得到对齐后的人脸深度图，如图8所示，从左到右依次为左倾、右倾、下俯和上仰状态下的待对齐人脸对齐后的人脸深度图像。可知，本申请的人脸深度图对齐方法，可以对不同姿态的待对齐人脸图像进行检测对齐，从而得到脸部方向一致的人脸深度图。
在一个实施例中，取20张待对齐人脸的二维图像和20张待对齐人脸的深度图像，计算对齐前后的人脸深度图中，配对的对称特征点间的深度值的差值、平均差值和标准差值，得出结果如表1和表2所示。其中，表1和表2的单位均为mm(毫米)。||Dist(36)-Dist(45)||指的是图5中的人脸特征点集合中的点36和点45的深度值的差值，||Dist(39)-Dist(42)||指的是点39和点42的深度值的差值，以此类推。表1中的左倾、右倾、下俯和上仰对应的是图4中的待对齐人脸的深度图中的四张图像。表2中的左倾、右倾、下俯和上仰对应的是图8中的对齐后的人脸深度图中的四张图像。表1和表2中的平均值和标准差均指20张图像的平均值和标准差。
表1-待对齐人脸的深度图中对称的人脸特征点的深度值的差值
对齐前(mm) 左倾 右倾 下俯 上仰 平均值 标准差
||Dist(36)-Dist(45)|| 16 9 7 17 12.5 7.437
||Dist(39)-Dist(42)|| 8 8 8 7 5.45 3.967
||Dist(31)-Dist(35)|| 9 4 5 4 4.65 2.368
||Dist(48)-Dist(54)|| 5 9 1 10 6.45 4.406
表2-对齐后的人脸深度图中对称的人脸特征点的深度值的差值
对齐后(mm) 左倾 右倾 下俯 上仰 平均值 标准差
||Dist(36)-Dist(45)|| 0.406 1.662 0.085 1.176 0.979 0.736
||Dist(39)-Dist(42)|| 0.819 3.353 4.026 0.252 1.332 1.073
||Dist(31)-Dist(35)|| 3.216 0.215 1.572 1.681 1.752 1.317
||Dist(48)-Dist(54)|| 4.353 2.377 3.332 0.256 2.074 1.340
通过表1和表2的对比，可知对齐后的人脸深度图中对称的人脸特征点的深度值的差值、差值的平均值和标准差都比待对齐人脸的深度图中对称的人脸特征点的要小的多，说明对齐后的人脸深度图对齐效果较好。并且，对齐后的人脸深度图像中四对对称的人脸特征点的深度值的差值的平均值和标准差比待对齐人脸深度图的相差更小，说明对齐后的人脸深度图中的深度值较稳定。
本实施例中，通过获取待对齐人脸的二维图像和深度图像，先利用人脸特征点检测算法检测二维图像，得到二维图像中的第一人脸特征点集合，利用二维图像和深度图像间的对应关系，将第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合，再利用深度图像和点云之间的转换关系，得到待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合，可以提高人脸特征点检测的速度和准确度。利用人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面后，旋转待对齐人脸剖面至其法向与相机坐标系的竖轴方向相同，得到旋转矩阵，再将该旋转矩阵应用到第一点云中，得到第二点云和第二点云中对应的第二待对齐人脸特征点集合，实现了待对齐人脸图像的初步对齐。再沿着相机坐标系的竖轴旋转第二点云至该第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云，再计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。过程较为简单方便，不需要建立和训练三维人脸模型，可提高人脸深度图对齐的效率；且人脸深度图的深度值是由点云直接计算得出，不是预测得到的，可提高人脸深度图对齐的准确性。
应该理解的是，虽然图2和图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种人脸深度图对齐装置，包括：图像获取模块901、图像处理模块902、待对齐人脸剖面生成模块903、映射旋转矩阵计算模块904、第二点云对齐模块905和对齐后的人脸深度图生成模块906，其中：
图像获取模块901，用于获取待对齐人脸的二维图像和深度图像。
图像处理模块902，用于根据二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合。
待对齐人脸剖面生成模块903，用于根据人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面。
旋转矩阵计算904，用于旋转待对齐人脸剖面至待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；该相机坐标系为拍摄待对齐人脸的二维图像和深度图像时对应的相机坐标系。
第二点云对齐模块905，用于根据旋转矩阵，旋转第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云。
对齐后的人脸深度图生成模块906，用于计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
在一个实施例中，图像处理模块902还用于：对二维图像进行人脸特征点检测，得到待对齐人脸在二维图像中对应的第一人脸特征点集合；根据二维图像与深度图像中每一像素点的对应关系，得到待对齐人脸在深度图像中对应的第二人脸特征点集合；将深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，得到待对齐人脸在第一点云中对应的第一待对齐人脸特征点集合。
在一个实施例中，图像处理模块902还用于：检测二维图像，得到二维图像中待对齐人脸的位置信息；根据该位置信息，生成待对齐人脸的人脸框；根据该人脸框，确定待对齐人脸的特征区域；在特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
在一个实施例中，图像分析处理模块902还用于：获取深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；根据该转换关系计算深度图像中每个像素点对应的三维空间坐标；根据该三维空间坐标确定每个像素点对应的三维空间位置；根据该三维空间位置，生成对应的待对齐人脸的第一点云。
在一个实施例中，待对齐人脸剖面生成模块903还用于：根据人脸的对称性，在第一待对齐人脸特征点集合中确定待对称特征点集合；将待对称特征点集合中的待对称特征点一一配对，建立配对的待对称特征点与待对齐人脸剖面间的关联关系，使待配对的对称特征点到待对齐人脸剖面的距离相等；在第一待对齐人脸特征点集合中获取鼻尖特征点，根据鼻尖特征点确定待对齐人脸剖面的中心点；对关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。
在一个实施例中，第二点云对齐模块905还用于：根据人脸的对称性，在第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；将待对平对齐的特征点集合中的点一一配对；获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；沿相机坐标系的竖轴旋转第二点云，使配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。
关于人脸深度图对齐装置的具体限定可以参见上文中对于人脸深度图对齐方法的限定，在此不再赘述。上述人脸深度图装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种人脸深度图方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：获取待对齐人脸的二维图像深度图像；根据待对齐人脸的二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；根据人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；旋转待对齐人脸剖面至待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；该相机坐标系为拍摄待对齐人脸的二维图像和深度图像时对应的相机坐标系；根据旋转矩阵，旋转第一点云，得到第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；计算对齐后的第二点云中每一点到待对齐人脸剖面的距离，根据该距离确定对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对二维图像进行人脸特征点检测，得到待对齐人脸在二维图像中对应的第一人脸特征点集合；根据二维图像与深度图像中每一像素点的对应关系，将第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；将深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，将第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：检测二维图像，得到二维图像中待对齐人脸的位置信息；根据该位置信息，生成待对齐人脸的人脸框；根据该人脸框，确定待对齐人脸的特征区域；在特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；根据该转换关系计算深度图像中每个像素点对应的三维空间坐标；根据该三维空间坐标确定每个像素点对应的三维空间位置；根据该三维空间位置，生成对应的待对齐人脸的第一点云。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：根据人脸的对称性，对第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：根据人脸的对称性，在第一待对齐人脸特征点集合中确定待对称特征点集合；将待对称特征点集合中的待对称特征点一一配对，建立配对的待对称特征点与待对齐人脸剖面间的关联关系，使待配对的对称特征点到待对齐人脸剖面的距离相等；在第一待对齐人脸特征点集合中获取鼻尖特征点，根据鼻尖特征点确定待对齐人脸剖面的中心点；对关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：沿相机坐标系的竖轴旋转第二点云至第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：根据人脸的对称性，在第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；将待对平对齐的特征点集合中的点一一配对；获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；沿相机坐标系的竖轴旋转第二点云，使配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种人脸深度图对齐方法，所述方法包括：
获取待对齐人脸的二维图像和深度图像；
根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
2.根据权利要求1所述的方法，其特征在于，所述根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合包括：
对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；
根据所述二维图像与所述深度图像中每一像素点的对应关系，将所述第一人脸特征点集合转换为深度图像中对应的第二人脸特征点集合；
将所述深度图像转换为待对齐人脸的第一点云；
根据深度图像与第一点云间的转换关系，将所述第二人脸特征点集合转换为第一点云中对应的第一待对齐人脸特征点集合。
3.根据权利要求2所述的方法，其特征在于，所述对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合包括：
检测所述二维图像，得到所述二维图像中待对齐人脸的位置信息；
根据所述位置信息，生成待对齐人脸的人脸框；
根据所述人脸框，确定待对齐人脸的特征区域；
在所述特征区域中确定待对齐人脸的特征点，生成第一人脸特征点集合。
4.根据权利要求2所述的方法，其特征在于，所述将所述深度图像转换为待对齐人脸的第一点云包括：
获取所述深度图像的像素坐标以及图像像素坐标系与三维空间坐标系间的转换关系；
根据所述转换关系计算所述深度图像中每个像素点对应的三维空间坐标；
根据所述三维空间坐标确定每个像素点对应的三维空间位置；
根据所述三维空间位置，生成对应的待对齐人脸的第一点云。
5.根据权利要求1所述的方法，其特征在于，所述根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面包括：
根据人脸的对称性，在所述第一待对齐人脸特征点集合中确定待对称特征点集合；
将所述待对称特征点集合中的待对称特征点一一配对，获取配对的待对称特征点与待对齐人脸剖面间的关联关系；所述关联关系使所述待配对的对称特征点到待对齐人脸剖面的距离相等；
在所述第一待对齐人脸特征点集合中获取鼻尖特征点，根据所述鼻尖特征点确定待对齐人脸剖面的中心点；
对所述关联关系进行非线性最优化处理，利用待对齐人脸剖面的中心点与待对齐人脸剖面的关系，计算得到待对齐人脸剖面。
6.根据权利要求1所述的方法，其特征在于，所述沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云包括：
根据人脸的对称性，在所述第二待对齐人脸特征点集合中确定待水平对齐的特征点集合；
将所述待对平对齐的特征点集合中的点一一配对；
获取配对的待水平对齐的特征点在相机坐标系下对应的纵坐标值；
沿所述相机坐标系的竖轴旋转所述第二点云，使所述配对的待水平对齐的特征点的纵坐标值相等，得到对齐后的第二点云。
7.一种人脸深度图对齐装置，其特征在于，所述装置包括：
图像获取模块，用于获取待对齐人脸的二维图像和深度图像；
图像处理模块，用于根据所述二维图像和深度图像，生成待对齐人脸的第一点云和第一点云中对应的第一待对齐人脸特征点集合；
待对齐人脸剖面生成模块，用于根据人脸的对称性，对所述第一待对齐人脸特征点集合进行非线性最优化处理，得到待对齐人脸剖面；
旋转矩阵计算模块，用于旋转所述待对齐人脸剖面至所述待对齐人脸剖面的法向与相机坐标系的竖轴方向相同，得到旋转矩阵；所述相机坐标系为拍摄所述待对齐人脸的二维图像和深度图像时对应的相机坐标系；
第二点云对齐模块，用于根据所述旋转矩阵，旋转所述第一点云，得到待对齐人脸的第二点云和第二点云中对应的第二待对齐人脸特征点集合；沿所述相机坐标系的竖轴旋转所述第二点云至所述第二待对齐人脸特征点集合中配对的待对齐人脸特征点对齐，得到对齐后的第二点云；
对齐后的人脸深度图生成模块，用于计算所述对齐后的第二点云中每一点到所述待对齐人脸剖面的距离，根据所述距离确定所述对齐后的第二点云中每一点对应的深度值，生成对齐后的人脸深度图。
8.根据权利要求7所述的装置，其特征在于，所述图像处理模块还用于：对所述二维图像进行人脸特征点检测，得到待对齐人脸在所述二维图像中对应的第一人脸特征点集合；根据所述二维图像与所述深度图像中每一像素点的对应关系，得到待对齐人脸在所述深度图像中对应的第二人脸特征点集合；将所述深度图像转换为待对齐人脸的第一点云；根据深度图像与第一点云间的转换关系，得到待对齐人脸在所述第一点云中对应的第一待对齐人脸特征点集合。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN201911126934.9A 2019-11-18 2019-11-18 人脸深度图对齐方法、装置、计算机设备和存储介质 Active CN110852293B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911126934.9A CN110852293B (zh) 2019-11-18 2019-11-18 人脸深度图对齐方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911126934.9A CN110852293B (zh) 2019-11-18 2019-11-18 人脸深度图对齐方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN110852293A true CN110852293A (zh) 2020-02-28
CN110852293B CN110852293B (zh) 2022-10-18

Family

ID=69602079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126934.9A Active CN110852293B (zh) 2019-11-18 2019-11-18 人脸深度图对齐方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN110852293B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738988A (zh) * 2020-06-02 2020-10-02 北京三快在线科技有限公司 人脸深度图像生成方法、装置、电子设备和存储介质
CN112232274A (zh) * 2020-11-03 2021-01-15 支付宝(杭州)信息技术有限公司 深度图像模型训练方法及装置
CN113343906A (zh) * 2021-06-28 2021-09-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
JP7404282B2 (ja) 2021-02-10 2023-12-25 株式会社豊田中央研究所 顔モデルパラメータ推定装置、顔モデルパラメータ推定方法及び顔モデルパラメータ推定プログラム
JP7404137B2 (ja) 2020-04-01 2023-12-25 株式会社豊田中央研究所 顔画像処理装置及び顔画像処理プログラム
CN117392734A (zh) * 2023-12-12 2024-01-12 深圳市宗匠科技有限公司 面部数据处理方法、装置、计算机设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置
US20150189253A1 (en) * 2014-01-02 2015-07-02 Industrial Technology Research Institute Depth map aligning method and system
US20160086017A1 (en) * 2014-09-23 2016-03-24 Keylemon Sa Face pose rectification method and apparatus
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
US20180005018A1 (en) * 2016-06-30 2018-01-04 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and method for face recognition using three dimensions
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109978929A (zh) * 2017-12-28 2019-07-05 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN110046554A (zh) * 2019-03-26 2019-07-23 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814192A (zh) * 2009-02-20 2010-08-25 三星电子株式会社 真实感3d人脸重建的方法
CN103914676A (zh) * 2012-12-30 2014-07-09 杭州朗和科技有限公司 一种在人脸识别中使用的方法和装置
US20150189253A1 (en) * 2014-01-02 2015-07-02 Industrial Technology Research Institute Depth map aligning method and system
US20160086017A1 (en) * 2014-09-23 2016-03-24 Keylemon Sa Face pose rectification method and apparatus
US20180005018A1 (en) * 2016-06-30 2018-01-04 U.S. Army Research Laboratory Attn: Rdrl-Loc-I System and method for face recognition using three dimensions
CN106355147A (zh) * 2016-08-26 2017-01-25 张艳 一种活体人脸检测头部姿态回归器的获取方法及检测方法
CN106503671A (zh) * 2016-11-03 2017-03-15 厦门中控生物识别信息技术有限公司 确定人脸姿态的方法和装置
CN109978929A (zh) * 2017-12-28 2019-07-05 舜宇光学（浙江）研究院有限公司 深度信息摄像模组的rgb-d图像合成优化系统及其方法
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN110046554A (zh) * 2019-03-26 2019-07-23 青岛小鸟看看科技有限公司 一种人脸对齐方法和相机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘振宇 等: "基于RGB-D图像的头部姿态检测", 《计算机科学》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7404137B2 (ja) 2020-04-01 2023-12-25 株式会社豊田中央研究所 顔画像処理装置及び顔画像処理プログラム
CN111738988A (zh) * 2020-06-02 2020-10-02 北京三快在线科技有限公司 人脸深度图像生成方法、装置、电子设备和存储介质
CN112232274A (zh) * 2020-11-03 2021-01-15 支付宝(杭州)信息技术有限公司 深度图像模型训练方法及装置
JP7404282B2 (ja) 2021-02-10 2023-12-25 株式会社豊田中央研究所 顔モデルパラメータ推定装置、顔モデルパラメータ推定方法及び顔モデルパラメータ推定プログラム
CN113343906A (zh) * 2021-06-28 2021-09-03 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN117392734A (zh) * 2023-12-12 2024-01-12 深圳市宗匠科技有限公司 面部数据处理方法、装置、计算机设备和存储介质
CN117392734B (zh) * 2023-12-12 2024-05-14 深圳市宗匠科技有限公司 面部数据处理方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN110852293B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN110852293B (zh) 人脸深度图对齐方法、装置、计算机设备和存储介质
US11087519B2 (en) Facial animation implementation method, computer device, and storage medium
Park et al. Learning to find eye region landmarks for remote gaze estimation in unconstrained settings
US11915514B2 (en) Method and apparatus for detecting facial key points, computer device, and storage medium
US10198623B2 (en) Three-dimensional facial recognition method and system
Kang et al. Study of a full-view 3D finger vein verification technique
CN108615016B (zh) 人脸关键点检测方法和人脸关键点检测装置
US20200319708A1 (en) Wearable eye tracking system with slippage detection and correction
Malassiotis et al. Robust real-time 3D head pose estimation from range data
KR101184097B1 (ko) 얼굴 정면포즈 판단 방법
CN108427871A (zh) 3d人脸快速身份认证方法与装置
CN105740778B (zh) 一种改进的三维人脸活体检测方法及其装置
CN111382592B (zh) 活体检测方法和设备
CN110096925A (zh) 人脸表情图像的增强方法、获取方法和装置
US11181978B2 (en) System and method for gaze estimation
CN111639522A (zh) 活体检测方法、装置、计算机设备和存储介质
CN107545252A (zh) 基于多姿态人脸模型的视频中人脸识别方法及装置
Unzueta et al. Efficient generic face model fitting to images and videos
KR20160144699A (ko) 2d 얼굴 이미지로부터 3d 모델을 자동 생성하는 방법
Cheng et al. EasyGaze: Hybrid eye tracking approach for handheld mobile devices
Martins et al. Accurate single view model-based head pose estimation
Martins et al. Monocular head pose estimation
Segundo et al. Real-time scale-invariant face detection on range images
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置
Kim et al. Real-time head pose estimation framework for mobile devices

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant