CN109934112A - 一种人脸对齐方法和相机 - Google Patents

一种人脸对齐方法和相机 Download PDF

Info

Publication number
CN109934112A
CN109934112A CN201910114660.5A CN201910114660A CN109934112A CN 109934112 A CN109934112 A CN 109934112A CN 201910114660 A CN201910114660 A CN 201910114660A CN 109934112 A CN109934112 A CN 109934112A
Authority
CN
China
Prior art keywords
face
image
point
channel
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910114660.5A
Other languages
English (en)
Other versions
CN109934112B (zh
Inventor
刘子伟
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Pico Technology Co Ltd
Original Assignee
Qingdao Pico Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Pico Technology Co Ltd filed Critical Qingdao Pico Technology Co Ltd
Priority to CN201910114660.5A priority Critical patent/CN109934112B/zh
Publication of CN109934112A publication Critical patent/CN109934112A/zh
Application granted granted Critical
Publication of CN109934112B publication Critical patent/CN109934112B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种人脸对齐方法和相机。本发明的相机包括摄像头模组和处理器；本发明的方法包括：采集用户脸部的深度图像和红外图像；利用深度图像和红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征；从第一通道中提取第一类特征点，从第二通道中提取第二类特征点；利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域；检测人脸区域中的面部关键点，利用级联决策树回归方法对面部关键点进行回归处理，获得处理后的面部关键点为用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。本发明能够提高人脸对齐检测的精度，降低计算复杂度。

Description

一种人脸对齐方法和相机
技术领域
本发明涉及机器学习技术领域，尤其涉及一种人脸对齐方法和相机。
背景技术
人脸检测技术最经典的是Viola和Jones提出的基于Haar特征与CascadeAdaBoost分类器，可达到实时人脸检测，后来又发展到局部组合二值特征(LocallyAssembled Binary，LAB)算法、加速稳健特征特征(Speeded Up Robust Features，SURF)算法、以及归一化像素差异特征(Normalized Pixel Difference，NPD)算法，到现在的深度学习方法检测人脸。但是以上技术都是基于正常场景的人脸图片，识别率受光照影响较大，深度学习的识别率虽然有较大提高，但是其计算量大，很难做到实时，并且对于一些对计算要求比较苛刻的嵌入式设备，很难移植。
人脸对齐方法经过多年的发展，一开始是主动形状模型(Active Shape Model，ASM)、主动外观模型(Active Appearance Model，AAM)，由于其率低下，鲁棒性低，级联回归、深度学习、约束局部模型、监督梯度下降等方法逐渐被应用到人脸对齐领域，使得人脸对齐的鲁棒性得到了很大的提升。但是大部分的人脸对齐方法都是基于灰度图或者RGB图，而且很多算法计算效率比较低。
发明内容
本发明提供了一种人脸对齐方法和装置，以至少部分解决上述问题。
本发明一方面提供了一种人脸对齐方法，包括：采集用户脸部的深度图像和红外图像；利用深度图像和所述红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征；从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，第一类特征点表示面部轮廓，第二类特征点表示面部特征部位；利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域；检测人脸区域中的面部关键点，利用级联决策树回归方法对面部关键点进行回归处理，获得处理后的面部关键点为用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。
优选地，从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，包括：获取双通道图像中的人脸框位置；在第一通道中人脸框周围随机选取多个第一像素点的深度值，将多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点；以及，在第二通道中人脸框内部均匀选取多个第二像素点的灰度值，将多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点。
优选地，在第一通道中所述人脸框周围随机选取多个第一像素点的深度值，将多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点，包括：根据选取的多个第一像素点之间的距离，基于高斯分布概率对多个第一像素点进行筛选，通过将筛选出的任意两个第一像素点的深度值做差获得第一类特征点。
优选地，在第二通道中人脸框内部均匀选取的多个第二像素点的灰度值，将多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点，包括：根据选取的多个第二像素点之间的距离，基于高斯分布概率对多个第二像素点进行筛选，通过将筛选出的任意两个第二像素点的灰度值做差获得第二类特征点。
优选地，人脸框用于定位双通道图像中的人脸区域，人脸框的大小可变、在双通道图像中的位置可滑动。
优选地，检测人脸区域中的面部关键点，包括：从双通道图像中裁剪人脸区域，获得人脸区域图像；在人脸区域图像的第一通道中选取人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；在人脸区域图像的第二通道中选取人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；在预先构建的平均脸图像上获取预设数目的初始点位，平均脸图像为通过从多个人脸源图像提取到的面部特征点进行平均计算后获得的图像；根据与初始点位的距离关系，基于高斯分布概率对第一部分面部候选点和第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
优选地，利用深度图像和红外图像生成双通道图像，包括：预先生成空白图像，空白图像包括第一通道和第二通道；从红外图像中获取红外图像颜色特征，以及从深度图像中获取深度图像颜色特征；通过将红外图像颜色特征保存到所述第一通道中，将深度图像颜色特征保存到第二通道中生成双通道图像。
本发明一方面提供了一种相机，包括：摄像头模组和处理器；摄像头模组，采集用户脸部的深度图像和红外图像并发送给处理器；处理器，接收深度图像和红外图像，利用深度图像和红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征；从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，第一类特征点表示面部轮廓，第二类特征点表示面部特征部位；利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域；检测人脸区域中的面部关键点，利用级联决策树回归方法对面部关键点进行回归处理，获得处理后的面部关键点为所述用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。
优选地，摄像头模组包括TOF摄像头和红外摄像，TOF摄像头和红外摄像头并行设置在相机的前端。
优选地，相机还包括存储器；存储器，存储多个人脸源图像；处理器，从双通道图像中裁剪所述人脸区域，获得人脸区域图像；在人脸区域图像的第一通道中选取人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；在人脸区域图像的第二通道中选取人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；以及通过读取存储器获得多个人脸源图像，从多个人脸源图像提取面部特征点，利用面部特征点获得平均脸图像，在平均脸图像上获取预设数目的初始点位，根据与初始点位的距离关系，基于高斯分布概率对第一部分面部候选点和第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
本发明通过采集用户脸部的深度图像和红外图像，基于深度图像对光照不敏感的特性，结合深度图像和红外图像进行人脸检测与人脸对齐，在人脸检测与人脸对齐中，基于深度图像的人脸边缘信息较为明显的特征，利用深度图像进行人脸轮廓特征点的提取，并结合红外图像提取面部特征，保证特征点的有效性和鲁棒性，基于预设分类器和级联决策树回归方法进行人脸检测与人脸对齐，提高人脸检测与人脸对齐的精度，降低计算复杂度。
附图说明
图1为本发明实施例示出的人脸对齐方法的流程图；
图2为本发明实施例示出的人脸深度图像示意图；
图3为本发明实施例示出的人脸标记的点位图；
图4为本发明实施例示出的相机结构框图；
图5为本发明实施例示出的详细结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的机器可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，机器可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，机器可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。机器可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明一方面提供一种人脸对齐方法。
图1为本发明实施例示出的人脸对齐方法的流程图，如图1所示，本实施例的方法包括：
S110，采集用户脸部的深度图像和红外图像。
本实施例可以通过飞行时间(Time of flight，TOF)摄像头采集用户脸部的深度图像，通过红外摄像头采集用户脸部的红外图像。
S120，利用深度图像和红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征。
S130，从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，第一类特征点表示面部轮廓，第二类特征点表示面部特征部位。
其中，面部特征部位包括面部轮廓、鼻子、嘴巴、眉毛等特征部位。
S140，利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域。
S150，检测人脸区域中的面部关键点，利用级联决策树回归方法对面部关键点进行回归处理，获得处理后的面部关键点为用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。
其中，面部特征点包括眼睛、鼻子、嘴巴、眉毛、人脸轮廓等部位对应的特征点。
本实施例通过采集用户脸部的深度图像和红外图像，基于深度图像对光照不敏感的特性，结合深度图像和红外图像进行人脸检测与人脸对齐，在人脸检测与人脸对齐中，基于深度图像的人脸边缘信息较为明显的特征，利用深度图像进行人脸轮廓特征点的提取，并结合红外图像提取面部特征，保证特征点的有效性和鲁棒性，基于预设分类器和级联决策树回归方法进行人脸检测与人脸对齐，提高人脸检测与人脸对齐的精度，降低计算复杂度。
下面结合图2-3对上述步骤S110-S150进行详细说明。
首先，执行步骤S110，即采集用户脸部的深度图像和红外图像。
本实施例可以TOF摄像头采集用户脸部的深度图像，通过红外摄像头采集用户脸部的红外图像，TOF摄像头采用激光器作为光源，光照稳定，相比于普通RGB照片人脸信息容易受到光照影响的问题，TOF摄像头利用自带的激光器照射，光照稳定可控，使得人脸图像相对稳定，不受光照影响，对人脸检测及对齐提供了极大的便利。
本实施例中在采集到深度图像和红外图像后，还需要对深度图像和红外图像进行预处理，例如根据TOF摄像头和深度摄像头之间的位置关系，获得深度图像和红外图像像素的对应关系，根据深度图像和红外图像像素的对应关系将深度图像和红外图像对齐。
在采集到深度图像和红外图像之后，继续执行步骤S120，即利用深度图像和红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征。
本实施例可以通过下述方法生成双通道图像：首先预先生成空白图像，空白图像包括第一通道和第二通道；接着从红外图像中获取红外图像颜色特征，以及从深度图像中获取所述深度图像颜色特征；然后通过将红外图像颜色特征保存到第一通道中，将深度图像颜色特征保存到第二通道中生成双通道图像。
在生成双通道图像之后，继续执行步骤S130，即从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，第一类特征点表示面部轮廓，第二类特征点表示面部特征部位。
本实施例对第一通道和第二通道采用不同的特征提取方式。如图2所示，人脸的深度信息虽然有一定凹凸性，但是该凹凸不能很明显的展现人脸五官，但深度图像的人脸边缘轮廓十分明显，所以本实施例在特征提取上尽量包含深度图像中的人脸边缘信息。
一个实施例中，通过下述方式提取第一类特征点和第二类特征点：获取双通道图像中的人脸框位置，其中人脸框用于定位双通道图像中的人脸区域，人脸框的大小可变、在双通道图像中的位置可滑动；然后在第一通道中人脸框周围随机选取多个第一像素点的深度值，将多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点；以及在第二通道中人脸框内部均匀选取多个第二像素点的灰度值，将多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点。
本实施例通将双通道图像的像素差值(像素差值包括深度差值和灰度差值)作为特征点，具有提取方式快速，所提取特征点较为稳定、无滑动问题，鲁棒性较高，而且能够提取到尽量多的边缘轮廓信息，有利于提高人脸检测的精度。
在实际应用中，可以以概率的形式随机采集人脸框周围的像素点，并以任意两像素点的深度差值作为特征点。在采集ndepth个第一像素点的深度值并两两配对之后，若每两个像素点都相互配对的话，会产生ndepth*(ndepth-1)/2维度的特征向量，特征维度太大，不利于训练与识别。同样的，在采集mdepth个第二像素点的灰度值并两两配对之后，若每两个像素点都相互配对的话，会产生mdepth*(mdepth-1)/2维度的特征向量，特征维度太大，不利于训练与识别。
本实施例根据两个像素点的距离进行特征点的筛选，即根据选取的多个第一像素点之间的距离，基于高斯分布概率对多个第一像素点进行筛选，通过将筛选出的任意两个第一像素点的深度值做差获得第一类特征点。
以及根据选取的多个第二像素点之间的距离，基于高斯分布概率对多个第二像素点行筛选，通过将筛选出的任意两个第二像素点的灰度值做差获得第二类特征点。
本实施例在采集到第一像素点和第二像素点之后，基于像素点的距离对第一像素点和第二像素点进行筛选，筛选后的第一像素点和第二像素点分别符合高斯分布，其中，两个像素点距离越近，被筛选出的概率越高，根据识别精度和识别速度，筛选出所需数量的像素点，以进行特征点提取。
在提取到第一类特征点和第二类特征点之后，继续执行步骤S140，即利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域。
本实施例可以使用Cascade AdaBoost分类器对第一类特征点和第二类特点进行分类识别。为提高分类器的分类性能，本实施例预先对分类器进行训练。
采集用户脸部的深度图像与红外图像，将两张图像合并成一张双通道的图，其第一通道为红外图像，第二通道为深度图像。采集的深度图像与红外图像为人脸图像，包括侧脸、正脸、抬头、低头等各种姿态。实际应用中，可以采集约几百人的图像，图像中要包含人脸信息。
人工将所有图片的人脸找出，并标注人脸位置。本实施例利用尺寸较小的边框作为人脸框，以尺寸较大的边框作为边界，两种边框的长度比例保持不变，将图片中的人脸图片全部抠出并保存，在人脸图像剪裁过程中，如果人脸超出边界，则将深度通道和灰度通道补0，以此生成正样本数据，参考图3，图3示出一种正样本数据。然后在这些图片中找到没有人脸的位置，以不同大小方框裁剪出来并保存，生成负样本。本实施例中正负样本数量相近，将正负样本数据混合后分成两份，一份数据集作为训练集，训练集包括的样本为总样本数量的十分之九，利用训练集数据训练Cascade AdaBoost分类器的分类能力，查看测试结果，利用错误检测的数据和置信度比较低的数据提升分类器的分类能力。另一份数据集作为测试集，测试集包括的样本为总样本数量的十分之一，利用分类器对测试集进行分类，查看错误数据和置信度比较低的数据，分析原因。
在训练好分类器后，利用分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域，剪裁双通道图像中的人脸区域，得到人脸区域图像。
本实施例采用改变滑动框大小对人脸框进行滑动，不采用图像金字塔，以及采用非极大值抑制的方式确定最合适的人脸框位置，从而确定人脸区域。
在获得人脸区域之后，继续执行步骤S150，即检测人脸区域中的面部关键点，利用级联决策树回归方法对面部关键点进行回归处理，获得处理后的所述面部关键点为用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。
本实施例通过下述方法检测人脸区域中的面部关键点：首先从双通道图像中裁剪人脸区域，获得人脸区域图像；接着在人脸区域图像的第一通道中选取人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；然后在人脸区域图像的第二通道中选取人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对所述多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；再在预先构建的平均脸图像上获取预设数目(例如68个)初始点位，所述平均脸图像为通过从多个人脸源图像提取到的面部特征点进行平均计算后获得的图像；最后根据与初始点位的距离关系，基于高斯分布概率对第一部分面部候选点和第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
在获得到面部关键点之后，利用级联决策树回归方法对面部关键点进行回归处理，确定处理后的面部关键点为用户脸部的面部特征点。
本实施例根据深度图像对外界光照不敏感，通过提取深度图像像素点的深度差值作为标识用户脸部轮廓特征的特征点，稳定且快速的提取有效特征点；并从红外图像提取标识用户面部特征的特征点，利用这两类特征并结合传统的人脸检测及对齐方法，提升人脸对齐检测的精度和速度。
本发明另一方面提供一种相机。
图4为本发明实施例示出的相机结构框图，如图4所示，本实施例的相机包括：摄像头模组和处理器；
摄像头模组，采集用户脸部的深度图像和红外图像并发送给处理器；
处理器，接收深度图像和红外图像，利用深度图像和红外图像生成双通道图像，双通道图像的第一通道对应为红外图像颜色特征，双通道图像的第二通道对应为深度图像颜色特征；从第一通道中提取第一类特征点，从第二通道中提取第二类特征点，第一类特征点表示面部轮廓，第二类特征点表示面部特征部位；利用预设分类器对第一类特征点和第二类特点进行分类识别，获得双通道图像中的人脸区域；检测人脸区域中的面部关键点，利用级联决策树回归方法对所述面部关键点进行回归处理，获得处理后的面部关键点为用户脸部的面部特征点，以利用面部特征点实现人脸对齐检测。
一个实现方案中，摄像头模组包括TOF摄像头和红外摄像，TOF摄像头和红外摄像头并行设置在相机的前端。
如图5所示，一个实施例中，相机还包括存储多个人脸源图像的存储器；
处理器，从双通道图像中裁剪人脸区域，获得人脸区域图像；在人脸区域图像的第一通道中选取人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；在人脸区域图像的第二通道中选取人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；以及通过读取存储器获得多个人脸源图像，从多个人脸源图像提取面部特征点，利用面部特征点获得平均脸图像，在平均脸图像上获取预设数目的初始点位，根据与初始点位的距离关系，基于高斯分布概率对第一部分面部候选点和第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
本实施例的处理器，还获取双通道图像中的人脸框位置，在第一通道中人脸框周围随机选取多个第一像素点的深度值，将多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点；以及在第二通道中所述人脸框内部均匀选取多个第二像素点的灰度值，将多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点。
一个实现方案中，处理器，具体是根据选取的多个第一像素点之间的距离，基于高斯分布概率对多个第一像素点进行筛选，通过将筛选出的任意两个第一像素点的深度值做差获得第一类特征点；以及根据选取的多个第二像素点之间的距离，基于高斯分布概率对所述多个第二像素点进行筛选，通过将筛选出的任意两个第二像素点的灰度值做差获得第二类特征点。
本实施例的处理器，还预先生成空白图像，空白图像包括第一通道和第二通道；从红外图像中获取所述红外图像颜色特征，以及从深度图像中获取所述深度图像颜色特征；通过将红外图像颜色特征保存到第一通道中，将深度图像颜色特征保存到第二通道中生成双通道图像。
对于相机实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的相机实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸对齐方法，其特征在于，包括：
采集用户脸部的深度图像和红外图像；
利用所述深度图像和所述红外图像生成双通道图像，所述双通道图像的第一通道对应为红外图像颜色特征，所述双通道图像的第二通道对应为深度图像颜色特征；
从所述第一通道中提取第一类特征点，从所述第二通道中提取第二类特征点，所述第一类特征点表示面部轮廓，所述第二类特征点表示面部特征部位；
利用预设分类器对所述第一类特征点和所述第二类特点进行分类识别，获得所述双通道图像中的人脸区域；
检测所述人脸区域中的面部关键点，利用级联决策树回归方法对所述面部关键点进行回归处理，获得处理后的所述面部关键点为所述用户脸部的面部特征点，以利用所述面部特征点实现人脸对齐检测。
2.根据权利要求1所述的方法，其特征在于，所述从所述第一通道中提取第一类特征点，从所述第二通道中提取第二类特征点，包括：
获取所述双通道图像中的人脸框位置；
在所述第一通道中所述人脸框周围随机选取多个第一像素点的深度值，将所述多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点；以及，
在所述第二通道中所述人脸框内部均匀选取多个第二像素点的灰度值，将所述多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点。
3.根据权利要求2所述的方法，其特征在于，所述在所述第一通道中所述人脸框周围随机选取多个第一像素点的深度值，将所述多个第一像素点中的任意两个第一像素点的深度值做差，所获得的差值为第一类特征点，包括：
根据选取的所述多个第一像素点之间的距离，基于高斯分布概率对所述多个第一像素点进行筛选，通过将筛选出的任意两个第一像素点的深度值做差获得所述第一类特征点。
4.根据权利要求2所述的方法，其特征在于，所述在所述第二通道中所述人脸框内部均匀选取的多个第二像素点的灰度值，将所述多个第二像素点中的任意两个第二像素点的灰度值做差，所获得的差值为第二类特征点，包括：
根据选取的所述多个第二像素点之间的距离，基于高斯分布概率对所述多个第二像素点进行筛选，通过将筛选出的任意两个第二像素点的灰度值做差获得所述第二类特征点。
5.根据权利要求2所述的方法，其特征在于，所述人脸框用于定位双通道图像中的人脸区域，所述人脸框的大小可变、在双通道图像中的位置可滑动。
6.根据权利要求1所述的方法，其特征在于，所述检测所述人脸区域中的面部关键点，包括：
从所述双通道图像中裁剪所述人脸区域，获得人脸区域图像；
在所述人脸区域图像的第一通道中选取所述人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对所述多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；
在所述人脸区域图像的第二通道中选取所述人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对所述多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；
在预先构建的平均脸图像上获取预设数目的初始点位，所述平均脸图像为通过从多个人脸源图像提取到的面部特征点进行平均计算后获得的图像；
根据与所述初始点位的距离关系，基于高斯分布概率对所述第一部分面部候选点和所述第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
7.根据权利要求1所述的方法，其特征在于，所述利用所述深度图像和所述红外图像生成双通道图像，包括：
预先生成空白图像，所述空白图像包括第一通道和第二通道；
从所述红外图像中获取所述红外图像颜色特征，以及从所述深度图像中获取所述深度图像颜色特征；
通过将所述红外图像颜色特征保存到所述第一通道中，将所述深度图像颜色特征保存到所述第二通道中生成所述双通道图像。
8.一种相机，其特征在于，包括：摄像头模组和处理器；
所述摄像头模组，采集用户脸部的深度图像和红外图像并发送给所述处理器；
所述处理器，接收所述深度图像和所述红外图像，利用所述深度图像和所述红外图像生成双通道图像，所述双通道图像的第一通道对应为红外图像颜色特征，所述双通道图像的第二通道对应为深度图像颜色特征；从所述第一通道中提取第一类特征点，从所述第二通道中提取第二类特征点，所述第一类特征点表示面部轮廓，所述第二类特征点表示面部特征部位；利用预设分类器对所述第一类特征点和所述第二类特点进行分类识别，获得所述双通道图像中的人脸区域；检测所述人脸区域中的面部关键点，利用级联决策树回归方法对所述面部关键点进行回归处理，获得处理后的所述面部关键点为所述用户脸部的面部特征点，以利用所述面部特征点实现人脸对齐检测。
9.根据权利要求8所述的相机，其特征在于，所述摄像头模组包括TOF摄像头和红外摄像，所述TOF摄像头和所述红外摄像头并行设置在所述相机的前端。
10.根据权利要求8所述的相机，其特征在于，还包括存储器；
所述存储器，存储多个人脸源图像；
所述处理器，从所述双通道图像中裁剪所述人脸区域，获得人脸区域图像；在所述人脸区域图像的第一通道中选取所述人脸区域图像边缘区域的多个第三像素点的深度值，根据选取的多个第三像素点之间的距离，基于高斯分布概率对所述多个第三像素点进行筛选，通过将筛选出的任意两个第三像素点的深度值做差获得第一部分面部候选点；在所述人脸区域图像的第二通道中选取所述人脸区域图像非边缘区域的多个第四像素点的灰度值，根据选取的多个第四像素点之间的距离，基于高斯分布概率对所述多个第四像素点进行筛选，通过将筛选出的任意两个第四像素点的灰度值做差获得第二部分面部候选点；以及通过读取所述存储器获得多个人脸源图像，从所述多个人脸源图像提取面部特征点，利用所述面部特征点获得平均脸图像，在所述平均脸图像上获取预设数目的初始点位，根据与所述初始点位的距离关系，基于高斯分布概率对所述第一部分面部候选点和所述第二部分面部候选点进行筛选，选取与每个初始点位距离最近的面部候选点作为面部关键点。
CN201910114660.5A 2019-02-14 2019-02-14 一种人脸对齐方法和相机 Active CN109934112B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910114660.5A CN109934112B (zh) 2019-02-14 2019-02-14 一种人脸对齐方法和相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910114660.5A CN109934112B (zh) 2019-02-14 2019-02-14 一种人脸对齐方法和相机

Publications (2)

Publication Number Publication Date
CN109934112A true CN109934112A (zh) 2019-06-25
CN109934112B CN109934112B (zh) 2021-07-13

Family

ID=66985548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910114660.5A Active CN109934112B (zh) 2019-02-14 2019-02-14 一种人脸对齐方法和相机

Country Status (1)

Country Link
CN (1) CN109934112B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083801A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于vr虚拟办公的手势识别系统及方法
CN113239828A (zh) * 2021-05-20 2021-08-10 清华大学深圳国际研究生院 一种基于tof摄像模组的人脸识别方法及装置
CN113743191A (zh) * 2021-07-16 2021-12-03 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
CN113792827A (zh) * 2021-11-18 2021-12-14 北京的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078860A1 (en) * 2003-10-14 2005-04-14 Minor James M. Feature quantitation methods and system
CN102799856A (zh) * 2012-06-15 2012-11-28 天津大学 基于双通道红外信息融合的人体动作识别方法
US20130267266A1 (en) * 2012-04-04 2013-10-10 Electronics And Telecommunications Research Institute Method of communicating between base station and terminal based on interference alignment in multi-cell multi-user multiple-input multiple-output (mimo) interference channel and method and apparatus of communication using interference alignment and block successive interference pre-cancellation in multi-user multiple-input multiple-output interference channel
CN105184308A (zh) * 2015-08-03 2015-12-23 北京航空航天大学 一种基于全局优化决策的遥感图像建筑物检测分类方法
CN105260703A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员抽烟行为检测方法
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN107505614A (zh) * 2017-07-20 2017-12-22 上海无线电设备研究所 一种基于ati‑sar图像幅相信息融合的目标检测方法
CN108388901A (zh) * 2018-02-05 2018-08-10 西安电子科技大学 基于空间-语义通道的协同显著目标检测方法
CN108491835A (zh) * 2018-06-12 2018-09-04 常州大学 面向面部表情识别的双通道卷积神经网络
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN109003280A (zh) * 2018-07-06 2018-12-14 华南理工大学 一种双通道血管内超声影像的血管中内膜分割方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050078860A1 (en) * 2003-10-14 2005-04-14 Minor James M. Feature quantitation methods and system
US20130267266A1 (en) * 2012-04-04 2013-10-10 Electronics And Telecommunications Research Institute Method of communicating between base station and terminal based on interference alignment in multi-cell multi-user multiple-input multiple-output (mimo) interference channel and method and apparatus of communication using interference alignment and block successive interference pre-cancellation in multi-user multiple-input multiple-output interference channel
CN102799856A (zh) * 2012-06-15 2012-11-28 天津大学 基于双通道红外信息融合的人体动作识别方法
CN105320921A (zh) * 2014-07-31 2016-02-10 腾讯科技（深圳）有限公司 双眼定位方法及双眼定位装置
CN105184308A (zh) * 2015-08-03 2015-12-23 北京航空航天大学 一种基于全局优化决策的遥感图像建筑物检测分类方法
CN105260703A (zh) * 2015-09-15 2016-01-20 西安邦威电子科技有限公司 一种适用于多姿态下的驾驶人员抽烟行为检测方法
CN105631436A (zh) * 2016-01-27 2016-06-01 桂林电子科技大学 基于随机森林的级联位置回归用于人脸对齐的方法
CN105744229A (zh) * 2016-02-25 2016-07-06 江苏科技大学 基于红外全景环视融合的无人艇自动锚泊系统及其工作方法
CN105959514A (zh) * 2016-04-20 2016-09-21 河海大学 一种弱目标成像检测装置及方法
CN107505614A (zh) * 2017-07-20 2017-12-22 上海无线电设备研究所 一种基于ati‑sar图像幅相信息融合的目标检测方法
CN108388901A (zh) * 2018-02-05 2018-08-10 西安电子科技大学 基于空间-语义通道的协同显著目标检测方法
CN108564041A (zh) * 2018-04-17 2018-09-21 广州云从信息科技有限公司 一种基于rgbd相机的人脸检测和修复方法
CN108491835A (zh) * 2018-06-12 2018-09-04 常州大学 面向面部表情识别的双通道卷积神经网络
CN109003280A (zh) * 2018-07-06 2018-12-14 华南理工大学 一种双通道血管内超声影像的血管中内膜分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
KAZEMI V ET AL: "《One Millisecond Face Alignment with an Ensemble of Regression Trees》", 《2014IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
SONG TH ET AL: "《Dual-Channel Active Contour Model for Megakaryocytic Cell Segmentation in Bone Marrow Trephine Histology Images》", 《IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING》 *
刘壮等: "《双通道Faster R-CNN 在RGB-D手部检测中的应用》", 《计算机科学》 *
王梦娜: "《基于生物视觉认知启示的显著目标检测方法》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112083801A (zh) * 2020-07-24 2020-12-15 青岛小鸟看看科技有限公司 基于vr虚拟办公的手势识别系统及方法
CN113239828A (zh) * 2021-05-20 2021-08-10 清华大学深圳国际研究生院 一种基于tof摄像模组的人脸识别方法及装置
CN113239828B (zh) * 2021-05-20 2023-04-07 清华大学深圳国际研究生院 一种基于tof摄像模组的人脸识别方法及装置
CN113743191A (zh) * 2021-07-16 2021-12-03 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
CN113743191B (zh) * 2021-07-16 2023-08-01 深圳云天励飞技术股份有限公司 人脸图像对齐检测方法、装置、电子设备及存储介质
CN113792827A (zh) * 2021-11-18 2021-12-14 北京的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质
CN113792827B (zh) * 2021-11-18 2022-03-25 北京的卢深视科技有限公司 目标对象识别方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN109934112B (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
US11776131B2 (en) Neural network for eye image segmentation and image quality estimation
CN109934112A (zh) 一种人脸对齐方法和相机
Lee et al. Accurate and robust face recognition from RGB-D images with a deep learning approach.
Pautov et al. On adversarial patches: real-world attack on arcface-100 face recognition system
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
US20070154095A1 (en) Face detection on mobile devices
Becker et al. Evaluating open-universe face identification on the web
US20070154096A1 (en) Facial feature detection on mobile devices
CN107771336A (zh) 基于颜色分布的图像中的特征检测和掩模
Santos et al. Periocular biometrics: An emerging technology for unconstrained scenarios
CN109858375A (zh) 活体人脸检测方法、终端及计算机可读存储介质
CN108416291A (zh) 人脸检测识别方法、装置和系统
Mady et al. Efficient real time attendance system based on face detection case study “MEDIU staff”
CN116310008B (zh) 一种基于少样本学习的图像处理方法及相关设备
Choi et al. Data insufficiency in sketch versus photo face recognition
CN107743195A (zh) 一种拍照方法、移动终端及存储介质
Forczmański et al. An algorithm of face recognition under difficult lighting conditions
Di Martino et al. Rethinking shape from shading for spoofing detection
Praveenbalaji et al. ID photo verification by face recognition
Geetha et al. 3D face recognition using Hadoop
CN109165551B (zh) 一种自适应加权融合显著性结构张量和lbp特征的表情识别方法
CN106572351B (zh) 视频编码中的码率控制方法和装置、电子设备以及计算机可读存储介质
EP3929809A1 (fr) Procédé de détection d'au moins un trait biométrique visible sur une image d entrée au moyen d'un réseau de neurones à convolution
Hsu et al. A framework for making face detection benchmark databases
Patil et al. Performance improvement of face recognition system by decomposition of local features using discrete wavelet transforms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant