CN107423712A - 一种3d人脸识别方法 - Google Patents

一种3d人脸识别方法 Download PDF

Info

Publication number
CN107423712A
CN107423712A CN201710628147.9A CN201710628147A CN107423712A CN 107423712 A CN107423712 A CN 107423712A CN 201710628147 A CN201710628147 A CN 201710628147A CN 107423712 A CN107423712 A CN 107423712A
Authority
CN
China
Prior art keywords
data
face
joint
depth
skeleton
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710628147.9A
Other languages
English (en)
Other versions
CN107423712B (zh
Inventor
周晓军
李骊
杨高峰
王行
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Software Technology Co Ltd
Original Assignee
Nanjing Huajie Imi Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Software Technology Co Ltd filed Critical Nanjing Huajie Imi Software Technology Co Ltd
Priority to CN201710628147.9A priority Critical patent/CN107423712B/zh
Publication of CN107423712A publication Critical patent/CN107423712A/zh
Application granted granted Critical
Publication of CN107423712B publication Critical patent/CN107423712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Abstract

本发明公开了一种3D人脸识别方法。本发明通过3D摄像头实时捕捉待识别目标的人体3D骨架数据，提取重要关节点位置，根据头部位置获取人脸3D数据，运用深度算法进行特征提取，并在特征库中找出最佳匹配。本发明解决了光照对人脸识别的影响，还能实时地从复杂背景中实现人脸定位和识别，具有良好的精度和实时性。

Description

一种3D人脸识别方法
技术领域
本发明属于计算机图像识别技术领域，特别涉及了一种3D人脸识别方法。
背景技术
在计算机技术的高速发展以及社会信息化、网络化程度高度发达的今天，各个领域对快速有效的自动身份验证技术提出了更高的需求，生物特征识别作为一种安全、可靠的身份验证技术在近几十年中得到了快速发展。人脸识别作为一种重要的生物特征识别技术，与虹膜、指纹、声音等其他生物特征识别方法相比，具有更高的可采集性，是一种友好、快捷、容易被人接受的非侵犯性识别方法。由于其友好性、方便性等优点，受到了人们的青睐。
尽管人脸识别技术有着广阔的应用前景，但是无论是在识别率，还是在防伪性上，都与指纹，视网膜等有着较大的差距，归根结底，影响人脸识别效果的原因主要有以下2个方面：
1.背景环境的复杂性，人脸与背景无法区分
2.光照条件的复杂性，对识别效果影响很大。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种3D人脸识别方法，克服现有技术的缺陷，从复杂环境中准确实现定位人脸，并在人脸识别的过程中避免复杂光照环境对识别率造成的不良影响，提高人脸实时识别的精度。
为了实现上述技术目的，本发明的技术方案为：
一种3D人脸识别方法，包括以下步骤：
(1)构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型；
(2)采用3D摄像头实时采集包含识别目标的场景深度图像；
(3)根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理；
(4)从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图；
(5)根据3D摄像头的角度，调整3D点云人脸图的角度；
(6)将3D点云人脸图输入步骤(1)构建的深度模型，提取人脸特征向量；
(7)步骤(6)提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
进一步地，在步骤(1)中，所述深度模型采用CNN模型，所述参数优化方法采用小批量随机梯度下降算法。
进一步地，在步骤(3)中，根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，所述20个关节点数据包括：头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据、右脚数据。
进一步地，在步骤(3)中，对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点，将所有父子关节点的空间位置关系与标准人体模型的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
进一步地，在步骤(4)中，所述头部的深度位置为头部与3D摄像头中心位置的距离，设距离为z毫米，则认为深度图像上z-15毫米至z+25毫米的范围为人脸区域，受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，对这些区域按照其周围正常值进行插值填洞操作。
进一步地，在步骤(5)中，根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，根据平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，使其调整到与3D摄像头平视的位置。
采用上述技术方案带来的有益效果：
本发明通过3D摄像头实时捕捉待识别目标的人体3D骨架数据，提取重要关节点位置，根据头部位置获取人脸3D数据，运用深度算法进行特征提取，并在特征库中找出最佳匹配。本发明解决了光照对人脸识别的影响，还能实时地从复杂背景中实现人脸定位和识别，具有良好的精度和实时性。
附图说明
图1是本发明的方法流程图；
图2是本发明中骨架数据示意图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
一种3D人脸识别方法，包括以下步骤：
步骤1：构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型。
在本实施例中，所述深度模型采用CNN(卷积神经网络)模型，所述参数优化算法采用MSGD(小批量随机梯度下降)算法。
步骤2：采用3D摄像头实时采集包含识别目标的场景深度图像。
步骤3：根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理。
根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，如图2所示，所述20个关节点数据包括：头部关节点数据(HEAD)、肩关节中心数据(SHOULDER_CENTER)、左肩关节数据(SHOULDER_LEFT)、右肩关节数据(SHOULDER_RIGHT)、左肘关节数据(ELBOW_LEFT)、右肘关节数据(ELBOW_RIGHT)、左腕关节数据(WRIST_LEFT)、右腕关节数据(WRIST_RIGHT)、左手数据(HAND_LEFT)、右手数据(HAND_RIGHT)、脊椎数据(SPINE)、髋关节中心数据(HIP_CENTER)、左髋关节数据(HIP_LEFT)、右髋关节数据(HIP_RIGHT)、左膝关节数据(KNEE_LEFT)、右膝关节数据(KNEE_RIGHT)、左踝关节数据(ANKLE_LEFT)、右踝关节数据(ANKLE_RIGHT)、左脚数据(FOOT_LEFT)、右脚数据(FOOT_RIGHT)。
对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点(例如HEAD与SHOULDER_CENTER，SPINE与HIP_CENTER)，将所有父子关节点的空间位置关系与标准人体模型(身高170cm体重70KG)的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
步骤4：从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图。
所述头部的深度位置即为头部与3D摄像头中心位置的距离，设距离为z，则人脸区域实际为深度值在z毫米附近的区域，可以认为深度图像上z-15至z+25的范围为人脸区域。但是受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，为解决此类问题，对这些与周边差别特别明显的点，按照周边正常值进行插值填洞操作，重采样后生成3D点云人脸图。
步骤5：根据3D摄像头的角度，调整3D点云人脸图的角度。
根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，通过平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，为提升人脸识别效果，统一将3D点云人脸图调整到与3D摄像头平视的位置。
步骤6：将3D点云人脸图输入步骤1构建的深度模型，提取人脸特征向量。
步骤7：步骤6提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种3D人脸识别方法，其特征在于，包括以下步骤：
(1)构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型；
(2)采用3D摄像头实时采集包含识别目标的场景深度图像；
(3)根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理；
(4)从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图；
(5)根据3D摄像头的角度，调整3D点云人脸图的角度；
(6)将3D点云人脸图输入步骤(1)构建的深度模型，提取人脸特征向量；
(7)步骤(6)提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
2.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(1)中，所述深度模型采用CNN模型，所述参数优化方法采用小批量随机梯度下降算法。
3.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(3)中，根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，所述20个关节点数据包括：头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据、右脚数据。
4.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(3)中，对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点，将所有父子关节点的空间位置关系与标准人体模型的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
5.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(4)中，所述头部的深度位置为头部与3D摄像头中心位置的距离，设距离为z毫米，则认为深度图像上z-15毫米至z+25毫米的范围为人脸区域，受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，对这些区域按照其周围正常值进行插值填洞操作。
6.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(5)中，根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，根据平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，使其调整到与3D摄像头平视的位置。
CN201710628147.9A 2017-07-28 2017-07-28 一种3d人脸识别方法 Active CN107423712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710628147.9A CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710628147.9A CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Publications (2)

Publication Number Publication Date
CN107423712A true CN107423712A (zh) 2017-12-01
CN107423712B CN107423712B (zh) 2021-05-14

Family

ID=60431442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710628147.9A Active CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Country Status (1)

Country Link
CN (1) CN107423712B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108268765A (zh) * 2018-01-31 2018-07-10 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108345779A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109325993A (zh) * 2018-08-10 2019-02-12 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN110210322A (zh) * 2019-05-06 2019-09-06 深圳市华芯技研科技有限公司 一种通过3d原理进行人脸识别的方法
CN110222630A (zh) * 2019-06-03 2019-09-10 中国农业大学 一种猪身份识别系统
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN110460772A (zh) * 2019-08-14 2019-11-15 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质
CN110889315A (zh) * 2018-09-10 2020-03-17 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091162A (zh) * 2014-07-17 2014-10-08 东南大学 基于特征点的三维人脸识别方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
US20160379041A1 (en) * 2015-06-24 2016-12-29 Samsung Electronics Co., Ltd. Face recognition method and apparatus
CN105335722A (zh) * 2015-10-30 2016-02-17 商汤集团有限公司 一种基于深度图像信息的检测系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
贾子元: "基于深度感知的个性化皮影戏生成方法研究", 《中国优秀硕士学位论文全文数据库 哲学与人文科学辑》 *
魏尚: "基于Kinect深度图像的三维人脸识别技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN108345779A (zh) * 2018-01-31 2018-07-31 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108268765A (zh) * 2018-01-31 2018-07-10 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN110298218A (zh) * 2018-03-23 2019-10-01 上海形趣信息科技有限公司 交互式健身装置和交互式健身系统
CN110298218B (zh) * 2018-03-23 2022-03-04 上海史贝斯健身管理有限公司 交互式健身装置和交互式健身系统
CN108510583A (zh) * 2018-04-03 2018-09-07 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108510583B (zh) * 2018-04-03 2019-10-11 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108549873A (zh) * 2018-04-19 2018-09-18 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109325993A (zh) * 2018-08-10 2019-02-12 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
CN109325993B (zh) * 2018-08-10 2023-01-06 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
CN110889315A (zh) * 2018-09-10 2020-03-17 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及系统
CN110210322A (zh) * 2019-05-06 2019-09-06 深圳市华芯技研科技有限公司 一种通过3d原理进行人脸识别的方法
CN110222630A (zh) * 2019-06-03 2019-09-10 中国农业大学 一种猪身份识别系统
CN110460772A (zh) * 2019-08-14 2019-11-15 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN107423712B (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
CN107423712A (zh) 一种3d人脸识别方法
CN108921100B (zh) 一种基于可见光图像与红外图像融合的人脸识别方法及系统
CN107748869B (zh) 3d人脸身份认证方法与装置
CN107633165B (zh) 3d人脸身份认证方法与装置
Cherabit et al. Circular hough transform for iris localization
Burge et al. Ear biometrics in computer vision
WO2020083407A1 (zh) 三维指静脉特征提取方法及其匹配方法
CN107145842A (zh) 结合lbp特征图与卷积神经网络的人脸识别方法
CN109543640A (zh) 一种基于图像转换的活体检测方法
CN104992441A (zh) 一种面向个性化虚拟试衣的真实人体三维建模方法
CN107451609A (zh) 基于深度卷积神经网络的肺结节图像识别系统
CN108629336A (zh) 基于人脸特征点识别的颜值计算方法
CN105740779A (zh) 人脸活体检测的方法和装置
CN102592115B (zh) 一种人手定位方法及系统
CN103984922B (zh) 一种基于稀疏表示和形状约束的人脸识别方法
CN106599785A (zh) 人体3d特征身份信息库的建立方法及设备
CN103218612A (zh) 一种3d人脸识别方法
CN107240128A (zh) 一种基于轮廓特征的x线片和彩色照片配准方法
CN106156739B (zh) 一种基于脸部轮廓分析的证件照耳朵检测与提取方法
Akhloufi et al. Thermal faceprint: A new thermal face signature extraction for infrared face recognition
CN105023280A (zh) 一种基于3d骨架建模的检测方法
CN106960199A (zh) 一种真彩色眼象图白睛区域的完整提取方法
CN106933976A (zh) 建立人体3d净模型的方法及其在3d试衣中的应用
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
Ibrahim et al. A hyprid technique for human footprint recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant