CN112183481A - 一种基于结构光摄像头的3d人脸识别方法 - Google Patents

一种基于结构光摄像头的3d人脸识别方法 Download PDF

Info

Publication number
CN112183481A
CN112183481A CN202011182517.9A CN202011182517A CN112183481A CN 112183481 A CN112183481 A CN 112183481A CN 202011182517 A CN202011182517 A CN 202011182517A CN 112183481 A CN112183481 A CN 112183481A
Authority
CN
China
Prior art keywords
precision
image
point cloud
face
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011182517.9A
Other languages
English (en)
Other versions
CN112183481B (zh
Inventor
胡雨
安竹林
张章斌
徐勇军
程坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Institute Of Data Intelligence Institute Of Computing Technology Chinese Academy Of Sciences
Original Assignee
Xiamen Institute Of Data Intelligence Institute Of Computing Technology Chinese Academy Of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Institute Of Data Intelligence Institute Of Computing Technology Chinese Academy Of Sciences filed Critical Xiamen Institute Of Data Intelligence Institute Of Computing Technology Chinese Academy Of Sciences
Priority to CN202011182517.9A priority Critical patent/CN112183481B/zh
Publication of CN112183481A publication Critical patent/CN112183481A/zh
Application granted granted Critical
Publication of CN112183481B publication Critical patent/CN112183481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种基于结构光摄像头的3D人脸识别方法，其包括以下步骤：以下步骤：通过图像采集装置分别采集待识别个体的3D人脸图像；利用PCL点云库对3D人脸图像进行点云处理，分别得到高精度伪RGB图和低精度伪RGB图；构建人脸识别模型并输入高精度伪RGB图、低精度伪RGB图，提取特征向量Ai作为对比基准和特征向量Bi，通过计算特征向量Bi与特征向量Ai的相似度，判断相似度最高的特征向量Bi与特征向量Ai之间的距离是否大于预定阈值，是则识别成功，否则识别失败；本发明3D人脸图像通过点云处理后在人脸识别模型进行处理分析，充分利用低精度点云与高精度点云之间的特征关联，有效提高了在结构光摄像头进行人脸识别的准确率。

Description

一种基于结构光摄像头的3D人脸识别方法
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于结构光摄像头的3D人脸识别方法。
背景技术
随着深度学习的兴起，基于深度学习的2D人脸识别技术发展迅猛，已能达到在大规模个体和照片情况下准确识别个体的效果，识别准确率甚至超过人类，但是，现有的2D人脸识别技术也有它的桎梏——2D人脸识别在不受控制的环境下性能是受限的，尤其是在光照，姿态，表情和面部遮挡的变化条件下，许多实际的人脸识别系统都会受到这些变化的影响，而增加模型对光照和姿态变化的鲁棒性的一种方法是使用3D面部图像。
采集3D面部图像的设备主要包括ToF(飞行时间)摄像头、结构光摄像头、双目摄像头和3D扫描摄像头，其中3D扫描摄像头的精度最高，达到专业级水准，但其动辄数万的价格并不适合商业推广，而结构光、双目和ToF摄像头等消费级摄像头，3D精度一般但价格便宜，更适合于实际场景的应用；而在此类消费级摄像头中，结构光摄像头又因为其精度相对较高、受环境影响小、功耗低等优点，被3D商业应用领域广泛采用。
而在采用结构光摄像头进行3D人脸采集和识别的现有技术方案中，大体分为：①采用“2D人脸识别+深度信息防伪”；②使用低精度深度图进行比对两种技术方案。前者未充分利用3D信息，对“识别画面中的人是谁”的任务仍是2D人脸识别算法处理，而新增的深度信息仅是应对“画面中的人是人还是照片”任务；后者使用的是结构光摄像头输出的较低精度的深度数据，数据质量不高，噪声较多导致识别准确率较低，且可识别的个体数量小，达不到2D人脸识别的准确率和数量级，例如苹果iPhone X的FaceID，仅支持在手机终端储存最多5个面容ID，3D人脸识别也仅在最多5个个体的范围内进行，3D人脸识别的准确率较低难以满足实际需求。
发明内容
本发明的目的在于提供一种基于结构光摄像头的3D人脸识别方法，3D人脸图像通过点云处理后在人脸识别模型进行处理分析，充分利用低精度点云与高精度点云之间的特征关联，有效提高了在结构光摄像头进行人脸识别的准确率。
为实现上述目的，本发明采用以下技术方案：
一种基于结构光摄像头的3D人脸识别方法，包括以下步骤：
S1、通过图像采集装置分别采集待识别个体的3D人脸图像，人脸图像包括高精度图像及低精度图像；
S2、利用PCL点云库对3D人脸图像进行点云处理，得到3D人脸图像的法向量信息，再结合3D人脸图像的深度信息进行2D化处理，分别得到高精度伪RGB图和低精度伪RGB图；
S3、构建人脸识别模型并输入高精度伪RGB图，提取得到对应的特征向量Ai，将特征向量Ai存储到参考图像集作为对比基准；
S4、将低精度伪RGB图输入人脸识别模型，提取得到对应的特征向量Bi，通过距离计算公式计算特征向量Bi与参考图像集中特征向量Ai的相似度，判断相似度最高的特征向量Bi与特征向量Ai之间的距离是否大于预定阈值，是则识别成功，为同一个人，否则识别失败。
进一步地，所述图像采集装置包括高精度摄像头及结构光摄像头，通过所述高精度摄像头采集高精度图像，所述结构光摄像头采集低精度图像。
进一步地，所述高精度图像点云处理后得到高精度点云，其深度误差小于1mm的3D人脸点云；所述低精度图像点云处理后得到低精度点云，其深度误差大于1mm的3D人脸点云并小于10mm的3D人脸点云。
进一步地，所述法向量信息包括法向量的展角和方位角。
进一步地，所述步骤S3中的人脸识别模型采用Resnet50，其输入通道为6通道。
进一步地，所述步骤S3的人脸识别模型包括损失函数，所述损失函数为ArcfaceLoss及CrossEntropy Loss。
进一步地，所述步骤S4中的距离计算公式采用余弦距离公式，具体计算公式如下：
Figure BDA0002750568320000031
其中，Ai为高精度伪RGB图的特征向量，Bi为低精度伪RGB图的特征向量，cosθ为2个特征向量的余弦距离。
采用上述技术方案后，本发明与背景技术相比，具有如下优点：
1、本发明通过图像采集装置采集待识别个体的3D人脸图像，对3D人脸图像进行预处理，利用PCL点云库对3D人脸图像进行点云处理，得到高精度伪RGB图和低精度伪RGB图并输入人脸识别模型分别获得特征向量Ai和Bi，特征向量Ai作为对比基准，利用距离计算公式计算特征向量Ai和Bi的相似度，大于预定阈值则判断为同一个人，否则判断失败，3D人脸图像通过点云处理后在人脸识别模型进行处理分析，充分利用低精度点云与高精度点云之间的特征关联，有效提高了在结构光摄像头进行人脸识别的准确率。
2、本发明通过高精度摄像头采集高精度图像，利用结构光摄像头采集低精度图像作为待识别人脸，从3D人脸图像中提取了深度信息和法向量信息，比2D人脸识别多出3个维度特征，使人脸识别模型更能掌握更多信息，实现真正的3D人脸识别，解决了单靠结构光摄像头采集的人脸质量不稳定、噪声较多导致低精度图像的人脸对比困难，更符合实际应用的场景。
附图说明
图1为本发明工作流程示意图；
图2为本发明高精度图像点云处理图；
图3为本发明低精度图像点云处理图；
图4为本发明高精度伪RGB图；
图5为本发明低精度伪RGB图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
配合图1至图5所示，本发明公开了一种基于结构光摄像头的3D人脸识别方法，包括以下步骤：
S1、通过图像采集装置分别采集待识别个体的3D人脸图像，人脸图像包括高精度图像及低精度图像。
S2、利用PCL点云库对3D人脸图像进行点云处理，得到3D人脸图像的法向量信息，再结合3D人脸图像的深度信息进行2D化处理，分别得到高精度伪RGB图和低精度伪RGB图。
S3、构建人脸识别模型并输入高精度伪RGB图，提取得到对应的特征向量Ai，将特征向量Ai存储到参考图像集作为对比基准；
S4、将低精度伪RGB图输入人脸识别模型，提取得到对应的特征向量Bi，通过距离计算公式计算特征向量Bi与参考图像集中特征向量Ai的相似度，判断相似度最高的特征向量Bi与特征向量Ai之间的距离是否大于预定阈值，是则识别成功，为同一个人，否则识别失败。
图像采集装置包括高精度摄像头及结构光摄像头，通过高精度摄像头采集高精度图像，高精度摄像头优选3D扫描摄像头，结构光摄像头采集低精度图像，高精度图像为高精度3D人脸图像，低精度图像为低精度3D人脸图像。
步骤S1中的3D人脸图像中包含1个高精度图像和多个低精度图像，高精度图像作为对比基准用于后续多个低精度图像的对比。
步骤S2的高精度图像经过点云处理后得到高精度3D人脸点云，其深度误差小于1mm的3D人脸点云；低精度图像经过点云处理后得到低精度3D人脸点云，其深度误差大于1mm的3D人脸点云并小于10mm的3D人脸点云；利用PCL点云库对高精度3D人脸点云和低精度3D人脸点云进行特征提取，得到发现了信息和深度信息，并将特征映射为RGB三通道，分别转换为高精度伪RGB和低精度伪RGB图。
常用的2D化处理只取得单通道的深度信息z，法向量信息包括法向量的展角和方位角，由此形成3通道的伪RGB图，法向量可以展示光线的方向，使用深度信息和法向量信息相结合的人脸识别模型比单纯使用深度信息的模型对3D人脸的识别准确率会更高。
本实施例通过高精度摄像头采集高精度图像，利用结构光摄像头采集低精度图像作为待识别人脸，从3D人脸图像中提取了深度信息和法向量信息，比2D人脸识别多出3个维度特征，使人脸识别模型更能掌握更多信息，实现真正的3D人脸识别，3D人脸图像通过人脸点云处理得到3D人脸点云，高/低精度3D人脸图像处理得到高/低精度3D人脸点云，在加入高精度3D人脸点云作为比较基准，并学习高精度点云和低精度点云之间的区别和联系，解决了单靠低精度结构光摄像头进行采集和识别时3D人脸质量不稳定、噪声较多而导致低精度3D人脸之间对比困难的问题，更符合实际3D人脸识别应用的场景。
步骤S3中的人脸识别模型采用Resnet50，其输入通道为6通道。
步骤S3的人脸识别模型包括损失函数，损失函数为Arcface Loss及CrossEntropyLoss。
步骤S4中的距离计算公式采用余弦距离公式，具体计算公式如下：
Figure BDA0002750568320000051
其中，Ai为高精度伪RGB图的特征向量，Bi为低精度伪RGB图的特征向量，cosθ为2个特征向量的余弦距离。
对人脸识别模型进行训练，通过高精度摄像头和结构光摄像头分别采集同一个人的3D人脸图像，分别为一个高精度图像和多个低精度图像，采集多个个体的多组图像对作为训练集，得到的高精度图像和低精度图像分别通过步骤S2的处理得到高精度伪RGB图和低精度伪RGB图，将2D化处理后的伪RGB图及2D人脸RGB图作为人脸识别模型的6通道输入，并使用Arcface Loss和CrossEntroy Loss作为损失函数，训练人脸识别模型。
本实施例通过图像采集装置采集待识别个体的3D人脸图像，对3D人脸图像进行预处理，利用PCL点云库对3D人脸图像进行点云处理，得到高精度伪RGB图和低精度伪RGB图并输入人脸识别模型分别获得特征向量Ai和Bi，特征向量Ai作为对比基准，利用距离计算公式计算特征向量Ai和Bi的相似度，大于预定阈值则判断为同一个人，否则判断失败，3D人脸图像通过点云处理后在人脸识别模型进行处理分析，充分利用低精度点云与高精度点云之间的特征关联，有效提高了在结构光摄像头进行人脸识别的准确率。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种基于结构光摄像头的3D人脸识别方法，其特征在于，包括以下步骤：
S1、通过图像采集装置分别采集待识别个体的3D人脸图像，3D人脸图像包括高精度图像及低精度图像；
S2、利用PCL点云库对3D人脸图像进行点云处理，得到3D人脸图像的法向量信息，再结合3D人脸图像的深度信息进行2D化处理，分别得到高精度伪RGB图和低精度伪RGB图；
S3、构建人脸识别模型并输入高精度伪RGB图，提取得到对应的特征向量Ai，将特征向量Ai存储到参考图像集作为对比基准；
S4、将低精度伪RGB图输入人脸识别模型，提取得到对应的特征向量Bi，通过距离计算公式计算特征向量Bi与参考图像集中特征向量Ai的相似度，判断相似度最高的特征向量Bi与特征向量Ai之间的距离是否大于预定阈值，是则识别成功，为同一个人，否则识别失败。
2.如权利要求1所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述图像采集装置包括高精度摄像头及结构光摄像头，通过所述高精度摄像头采集高精度图像，所述结构光摄像头采集低精度图像。
3.如权利要求2所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述高精度图像点云处理后得到高精度点云，其深度误差小于1mm的3D人脸点云；所述低精度图像点云处理后得到低精度点云，其深度误差大于1mm的3D人脸点云并小于10mm的3D人脸点云。
4.如权利要求1所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述法向量信息包括法向量的展角和方位角。
5.如权利要求1所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述步骤S3中的人脸识别模型采用Resnet50，其输入通道为6通道。
6.如权利要求1所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述步骤S3的人脸识别模型包括损失函数，所述损失函数为Arcface Loss及CrossEntropy Loss。
7.如权利要求1所述的一种基于结构光摄像头的3D人脸识别方法，其特征在于：所述步骤S4中的距离计算公式采用余弦距离公式，具体计算公式如下：
Figure FDA0002750568310000021
其中，Ai为高精度伪RGB图的特征向量，Bi为低精度伪RGB图的特征向量，cosθ为2个特征向量的余弦距离。
CN202011182517.9A 2020-10-29 2020-10-29 一种基于结构光摄像头的3d人脸识别方法 Active CN112183481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011182517.9A CN112183481B (zh) 2020-10-29 2020-10-29 一种基于结构光摄像头的3d人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011182517.9A CN112183481B (zh) 2020-10-29 2020-10-29 一种基于结构光摄像头的3d人脸识别方法

Publications (2)

Publication Number Publication Date
CN112183481A true CN112183481A (zh) 2021-01-05
CN112183481B CN112183481B (zh) 2022-05-20

Family

ID=73916265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011182517.9A Active CN112183481B (zh) 2020-10-29 2020-10-29 一种基于结构光摄像头的3d人脸识别方法

Country Status (1)

Country Link
CN (1) CN112183481B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205058A (zh) * 2021-05-18 2021-08-03 中国科学院计算技术研究所厦门数据智能研究院 一种防止非活体攻击的人脸识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208032A (zh) * 2011-07-04 2011-10-05 徐杰 基于球面重采样的三维人脸识别
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
CN104732222A (zh) * 2015-04-07 2015-06-24 中国科学技术大学 一种基于深度摄像头的多特征人体识别方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud
CN109635682A (zh) * 2018-11-26 2019-04-16 上海集成电路研发中心有限公司 一种人脸识别装置和方法
CN109948400A (zh) * 2017-12-20 2019-06-28 宁波盈芯信息科技有限公司 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN110514143A (zh) * 2019-08-09 2019-11-29 南京理工大学 一种基于反射镜的条纹投影系统标定方法
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111523398A (zh) * 2020-03-30 2020-08-11 西安交通大学 一种融合2d人脸检测和3d人脸识别的方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102208032A (zh) * 2011-07-04 2011-10-05 徐杰 基于球面重采样的三维人脸识别
CN103996052A (zh) * 2014-05-12 2014-08-20 深圳市唯特视科技有限公司 基于三维点云的三维人脸性别分类装置及方法
US20160196467A1 (en) * 2015-01-07 2016-07-07 Shenzhen Weiteshi Technology Co. Ltd. Three-Dimensional Face Recognition Device Based on Three Dimensional Point Cloud and Three-Dimensional Face Recognition Method Based on Three-Dimensional Point Cloud
CN104732222A (zh) * 2015-04-07 2015-06-24 中国科学技术大学 一种基于深度摄像头的多特征人体识别方法
CN109948400A (zh) * 2017-12-20 2019-06-28 宁波盈芯信息科技有限公司 一种能够进行人脸特征3d识别的智能手机及其识别方法
CN109635682A (zh) * 2018-11-26 2019-04-16 上海集成电路研发中心有限公司 一种人脸识别装置和方法
CN110514143A (zh) * 2019-08-09 2019-11-29 南京理工大学 一种基于反射镜的条纹投影系统标定方法
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111523398A (zh) * 2020-03-30 2020-08-11 西安交通大学 一种融合2d人脸检测和3d人脸识别的方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PIERRE BUYSSENS等: "Fusion of IR and Visible light Modalities for Face Recognition", 《CITESEER X》 *
王旭晨: "基于Kinect的人脸识别算法研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205058A (zh) * 2021-05-18 2021-08-03 中国科学院计算技术研究所厦门数据智能研究院 一种防止非活体攻击的人脸识别方法

Also Published As

Publication number Publication date
CN112183481B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
US10198623B2 (en) Three-dimensional facial recognition method and system
Calonder et al. BRIEF: Computing a local binary descriptor very fast
WO2019071664A1 (zh) 结合深度信息的人脸识别方法、装置及存储介质
Hesse et al. Multi-view facial expression recognition using local appearance features
CN105184238A (zh) 一种人脸识别方法及系统
CN109074497B (zh) 使用深度信息识别视频图像序列中的活动
US9323989B2 (en) Tracking device
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN103164693A (zh) 一种监控视频行人检测匹配方法
CN112183481B (zh) 一种基于结构光摄像头的3d人脸识别方法
Linder et al. Real-time full-body human attribute classification in RGB-D using a tessellation boosting approach
Mostafa et al. Pose invariant approach for face recognition at distance
Deng et al. Attention-aware dual-stream network for multimodal face anti-spoofing
Fang et al. Fast depth estimation from single image using structured forest
CN105229700B (zh) 用于从多个连续拍摄图像提取峰图像的设备和方法
CN111126246B (zh) 基于3d点云几何特征的人脸活体检测方法
Li et al. A novel marker system in augmented reality
Karunakar et al. Smart Attendance Monitoring System (SAMS): A Face Recognition Based Attendance System for Classroom Environment
CN115909488A (zh) 一种姿态引导和动态特征提取的遮挡行人重识别方法
KR101741761B1 (ko) 멀티 프레임 기반 건물 인식을 위한 특징점 분류 방법
Sanin et al. K-tangent spaces on Riemannian manifolds for improved pedestrian detection
Abadi et al. Evaluation of feature points descriptors' performance for visual finger printing localization of smartphones
Ashraf et al. View-invariant action recognition using rank constraint
CN111079704A (zh) 一种基于量子计算的人脸识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: No. 208-3, Fengqi Road, phase III, software park, Xiamen City, Fujian Province, 361000

Applicant after: Zhongke (Xiamen) data Intelligence Research Institute

Address before: No. 208-3, Fengqi Road, phase III, software park, Xiamen City, Fujian Province, 361000

Applicant before: Xiamen Institute of data intelligence, Institute of computing technology, Chinese Academy of Sciences

GR01 Patent grant
GR01 Patent grant