CN107423712B - 一种3d人脸识别方法 - Google Patents

一种3d人脸识别方法 Download PDF

Info

Publication number
CN107423712B
CN107423712B CN201710628147.9A CN201710628147A CN107423712B CN 107423712 B CN107423712 B CN 107423712B CN 201710628147 A CN201710628147 A CN 201710628147A CN 107423712 B CN107423712 B CN 107423712B
Authority
CN
China
Prior art keywords
data
joint
face
depth
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710628147.9A
Other languages
English (en)
Other versions
CN107423712A (zh
Inventor
周晓军
李骊
杨高峰
王行
李朔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Huajie Imi Technology Co ltd
Original Assignee
Nanjing Huajie Imi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Huajie Imi Technology Co ltd filed Critical Nanjing Huajie Imi Technology Co ltd
Priority to CN201710628147.9A priority Critical patent/CN107423712B/zh
Publication of CN107423712A publication Critical patent/CN107423712A/zh
Application granted granted Critical
Publication of CN107423712B publication Critical patent/CN107423712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种3D人脸识别方法。本发明通过3D摄像头实时捕捉待识别目标的人体3D骨架数据，提取重要关节点位置，根据头部位置获取人脸3D数据，运用深度算法进行特征提取，并在特征库中找出最佳匹配。本发明解决了光照对人脸识别的影响，还能实时地从复杂背景中实现人脸定位和识别，具有良好的精度和实时性。

Description

一种3D人脸识别方法
技术领域
本发明属于计算机图像识别技术领域，特别涉及了一种3D人脸识别方法。
背景技术
在计算机技术的高速发展以及社会信息化、网络化程度高度发达的今天，各个领域对快速有效的自动身份验证技术提出了更高的需求，生物特征识别作为一种安全、可靠的身份验证技术在近几十年中得到了快速发展。人脸识别作为一种重要的生物特征识别技术，与虹膜、指纹、声音等其他生物特征识别方法相比，具有更高的可采集性，是一种友好、快捷、容易被人接受的非侵犯性识别方法。由于其友好性、方便性等优点，受到了人们的青睐。
尽管人脸识别技术有着广阔的应用前景，但是无论是在识别率，还是在防伪性上，都与指纹，视网膜等有着较大的差距，归根结底，影响人脸识别效果的原因主要有以下2个方面：
1.背景环境的复杂性，人脸与背景无法区分
2.光照条件的复杂性，对识别效果影响很大。
发明内容
为了解决上述背景技术提出的技术问题，本发明旨在提供一种3D人脸识别方法，克服现有技术的缺陷，从复杂环境中准确实现定位人脸，并在人脸识别的过程中避免复杂光照环境对识别率造成的不良影响，提高人脸实时识别的精度。
为了实现上述技术目的，本发明的技术方案为：
一种3D人脸识别方法，包括以下步骤：
(1)构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型；
(2)采用3D摄像头实时采集包含识别目标的场景深度图像；
(3)根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理；
(4)从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图；
(5)根据3D摄像头的角度，调整3D点云人脸图的角度；
(6)将3D点云人脸图输入步骤(1)构建的深度模型，提取人脸特征向量；
(7)步骤(6)提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
进一步地，在步骤(1)中，所述深度模型采用CNN模型，所述参数优化方法采用小批量随机梯度下降算法。
进一步地，在步骤(3)中，根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，所述20个关节点数据包括：头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据、右脚数据。
进一步地，在步骤(3)中，对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点，将所有父子关节点的空间位置关系与标准人体模型的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
进一步地，在步骤(4)中，所述头部的深度位置为头部与3D摄像头中心位置的距离，设距离为z毫米，则认为深度图像上z-15毫米至z+25毫米的范围为人脸区域，受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，对这些区域按照其周围正常值进行插值填洞操作。
进一步地，在步骤(5)中，根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，根据平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，使其调整到与3D摄像头平视的位置。
采用上述技术方案带来的有益效果：
本发明通过3D摄像头实时捕捉待识别目标的人体3D骨架数据，提取重要关节点位置，根据头部位置获取人脸3D数据，运用深度算法进行特征提取，并在特征库中找出最佳匹配。本发明解决了光照对人脸识别的影响，还能实时地从复杂背景中实现人脸定位和识别，具有良好的精度和实时性。
附图说明
图1是本发明的方法流程图；
图2是本发明中骨架数据示意图。
具体实施方式
以下将结合附图，对本发明的技术方案进行详细说明。
一种3D人脸识别方法，包括以下步骤：
步骤1：构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型。
在本实施例中，所述深度模型采用CNN(卷积神经网络)模型，所述参数优化算法采用MSGD(小批量随机梯度下降)算法。
步骤2：采用3D摄像头实时采集包含识别目标的场景深度图像。
步骤3：根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理。
根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，如图2所示，所述20个关节点数据包括：头部关节点数据(HEAD)、肩关节中心数据(SHOULDER_CENTER)、左肩关节数据(SHOULDER_LEFT)、右肩关节数据(SHOULDER_RIGHT)、左肘关节数据(ELBOW_LEFT)、右肘关节数据(ELBOW_RIGHT)、左腕关节数据(WRIST_LEFT)、右腕关节数据(WRIST_RIGHT)、左手数据(HAND_LEFT)、右手数据(HAND_RIGHT)、脊椎数据(SPINE)、髋关节中心数据(HIP_CENTER)、左髋关节数据(HIP_LEFT)、右髋关节数据(HIP_RIGHT)、左膝关节数据(KNEE_LEFT)、右膝关节数据(KNEE_RIGHT)、左踝关节数据(ANKLE_LEFT)、右踝关节数据(ANKLE_RIGHT)、左脚数据(FOOT_LEFT)、右脚数据(FOOT_RIGHT)。
对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点(例如HEAD与SHOULDER_CENTER，SPINE与HIP_CENTER)，将所有父子关节点的空间位置关系与标准人体模型(身高170cm体重70KG)的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
步骤4：从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图。
所述头部的深度位置即为头部与3D摄像头中心位置的距离，设距离为z，则人脸区域实际为深度值在z毫米附近的区域，可以认为深度图像上z-15至z+25的范围为人脸区域。但是受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，为解决此类问题，对这些与周边差别特别明显的点，按照周边正常值进行插值填洞操作，重采样后生成3D点云人脸图。
步骤5：根据3D摄像头的角度，调整3D点云人脸图的角度。
根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，通过平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，为提升人脸识别效果，统一将3D点云人脸图调整到与3D摄像头平视的位置。
步骤6：将3D点云人脸图输入步骤1构建的深度模型，提取人脸特征向量。
步骤7：步骤6提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。

Claims (6)

1.一种3D人脸识别方法，其特征在于，包括以下步骤：
(1)构建深度模型，设置参数优化算法，采用人脸数据库求解最优化的模型参数，并根据模型参数初始化深度模型；
(2)采用3D摄像头实时采集包含识别目标的场景深度图像；
(3)根据获取的深度图像，提取图像中人体的骨架数据，所述骨架数据包含人体重要的关节点数据，并对骨架数据进行归一化处理；
(4)从骨架数据中枚举出头部关节点数据，根据头部关节点数据得到头部的深度位置，并从深度图像中抠出人脸，对抠出的人脸数据进行插值填洞操作，重采样后生成3D点云人脸图；
(5)根据3D摄像头的角度，调整3D点云人脸图的角度；
(6)将3D点云人脸图输入步骤(1)构建的深度模型，提取人脸特征向量；
(7)步骤(6)提取的人脸特征向量与人脸数据库中保存的人脸特征通过SVM或者邻近聚类算法进行分类，并根据分类结果输出识别结果和可信度。
2.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(1)中，所述深度模型采用CNN模型，所述参数优化算法采用小批量随机梯度下降算法。
3.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(3)中，根据像素点的深度信息，将深度图像中的前景与背景进行分割，前景作为人体的候选对象与标准人体模型进行比较，得到包含20个关节点数据的骨架数据，所述20个关节点数据包括：头部关节点数据、肩关节中心数据、左肩关节数据、右肩关节数据、左肘关节数据、右肘关节数据、左腕关节数据、右腕关节数据、左手数据、右手数据、脊椎数据、髋关节中心数据、左髋关节数据、右髋关节数据、左膝关节数据、右膝关节数据、左踝关节数据、右踝关节数据、左脚数据、右脚数据。
4.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(3)中，对骨架数据进行归一化处理的方法为，计算骨架数据中每对父子关节点的空间位置关系，所述父子关节点为骨架中相邻相连的两个关节点，将所有父子关节点的空间位置关系与标准人体模型的父子关节点的空间位置关系进行比较，调整前者与后者相匹配。
5.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(4)中，所述头部的深度位置为头部与3D摄像头中心位置的距离，设距离为z毫米，则认为深度图像上z-15毫米至z+25毫米的范围为人脸区域，受3D摄像头的精度所限，人脸区域上含有黑洞、凸起或者凹陷，对这些区域按照其周围正常值进行插值填洞操作。
6.根据权利要求1所述一种3D人脸识别方法，其特征在于：在步骤(5)中，根据生成的3D点云人脸图，获取3D点云人脸图的三维坐标系公式，根据平面坐标系旋转变换公式，将3D点云人脸图进行旋转变换，使其调整到与3D摄像头平视的位置。
CN201710628147.9A 2017-07-28 2017-07-28 一种3d人脸识别方法 Active CN107423712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710628147.9A CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710628147.9A CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Publications (2)

Publication Number Publication Date
CN107423712A CN107423712A (zh) 2017-12-01
CN107423712B true CN107423712B (zh) 2021-05-14

Family

ID=60431442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710628147.9A Active CN107423712B (zh) 2017-07-28 2017-07-28 一种3d人脸识别方法

Country Status (1)

Country Link
CN (1) CN107423712B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963140A (zh) * 2017-12-25 2019-07-02 深圳超多维科技有限公司 裸眼立体显示方法及装置、设备和计算机可读存储介质
CN108268765A (zh) * 2018-01-31 2018-07-10 广东欧珀移动通信有限公司 解锁控制方法及相关产品
CN108345779B (zh) * 2018-01-31 2022-11-11 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN110298218B (zh) * 2018-03-23 2022-03-04 上海史贝斯健身管理有限公司 交互式健身装置和交互式健身系统
CN108510583B (zh) * 2018-04-03 2019-10-11 北京华捷艾米科技有限公司 人脸图像的生成方法和人脸图像的生成装置
CN108549873B (zh) * 2018-04-19 2019-12-24 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统
CN109325993B (zh) * 2018-08-10 2023-01-06 华北电力大学（保定） 一种基于类八叉树索引的显著性特征强化采样方法
CN110889315B (zh) * 2018-09-10 2023-04-28 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备及系统
CN110210322A (zh) * 2019-05-06 2019-09-06 深圳市华芯技研科技有限公司 一种通过3d原理进行人脸识别的方法
CN110222630A (zh) * 2019-06-03 2019-09-10 中国农业大学 一种猪身份识别系统
CN110460772B (zh) * 2019-08-14 2021-03-09 广州织点智能科技有限公司 摄像头自动调节方法、装置、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091162B (zh) * 2014-07-17 2017-06-23 东南大学 基于特征点的三维人脸识别方法
CN104504410A (zh) * 2015-01-07 2015-04-08 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置和方法
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
CN105335722B (zh) * 2015-10-30 2021-02-02 商汤集团有限公司 一种基于深度图像信息的检测系统及方法

Also Published As

Publication number Publication date
CN107423712A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
CN107423712B (zh) 一种3d人脸识别方法
CN106919941B (zh) 一种三维手指静脉识别方法及系统
Yan et al. Biometric recognition using 3D ear shape
Cherabit et al. Circular hough transform for iris localization
Lemaire et al. Fully automatic 3D facial expression recognition using differential mean curvature maps and histograms of oriented gradients
WO2017059591A1 (zh) 手指静脉识别方法及装置
CN104573634A (zh) 一种三维人脸识别方法
CN108182397B (zh) 一种多姿态多尺度的人脸验证方法
CN108171201B (zh) 基于灰度形态学的睫毛快速检测方法
CN109948399A (zh) 一种智能手机的人脸支付方法及装置
CN106326841A (zh) 一种快速虹膜识别算法
Luo et al. Gait recognition using GEI and AFDEI
CN103984922A (zh) 一种基于稀疏表示和形状约束的人脸识别方法
CN110647782A (zh) 三维人脸重建与多姿态人脸识别方法及装置
Bastias et al. A method for 3D iris reconstruction from multiple 2D near-infrared images
Wang et al. Hand vein recognition based on improved template matching
CN104537334B (zh) 一种改善在非理想环境下虹膜识别性能的方法
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
CN105404883B (zh) 一种异质三维人脸识别方法
Roy et al. Iris segmentation using game theory
Zhang et al. Face recognition using SIFT features under 3D meshes
Connor et al. Iris recognition using level set and local binary pattern
Ming et al. Gait recognition based on multiple views fusion of wavelet descriptor and human skeleton model
CN108197529A (zh) 一种融合DLDP与sobel的表情特征提取方法
Ramadan et al. 3D Face compression and recognition using spherical wavelet parametrization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant