CN110458142A - 一种融合2d与3d的人脸识别方法及系统 - Google Patents

一种融合2d与3d的人脸识别方法及系统 Download PDF

Info

Publication number
CN110458142A
CN110458142A CN201910772557.XA CN201910772557A CN110458142A CN 110458142 A CN110458142 A CN 110458142A CN 201910772557 A CN201910772557 A CN 201910772557A CN 110458142 A CN110458142 A CN 110458142A
Authority
CN
China
Prior art keywords
face
recognition result
recognition
image
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910772557.XA
Other languages
English (en)
Inventor
王跃明
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Genjian Intelligent Technology Co Ltd
Original Assignee
Qingdao Genjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Genjian Intelligent Technology Co Ltd filed Critical Qingdao Genjian Intelligent Technology Co Ltd
Priority to CN201910772557.XA priority Critical patent/CN110458142A/zh
Publication of CN110458142A publication Critical patent/CN110458142A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开公开了一种融合2D与3D的人脸识别方法及系统，该方法包括：接收2D图像数据和3D图像数据，分别进行图像预处理；将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。

Description

一种融合2D与3D的人脸识别方法及系统
技术领域
本公开属于人脸识别的技术领域，涉及一种融合2D与3D的人脸识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
2D与3D人脸识别是多学科交叉的研究课题，同属计算机视觉领域。2D人脸识别的发展历史较长，取得了较多的研究成果并已经被广泛应用。然而，发明人在研究过程中发现，3D人脸识别的仍是一个待解决的难题，分析和识别3D人脸已经成为三维数据处理的一个重要分支。由于2D图像是三维物体在平面上的投影，2D人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。因此，如何充分利用人脸的二维和三维信息，提高系统的识别性能是近年来的研究热点。
在现有技术中，通常的人脸识别手段以2D图像为主，分为局部的人脸识别方法与全局的人脸识别方法。局部的人脸识别通常需要进行人脸关键点定位，提取关键点周围的图像块进行识别。全局的人脸识别则直接输入整个人脸所在的矩形区域进行识别，可以包括背景。
在现有技术中还有部分研究通过2D图像来恢复3D人脸结构信息，如三维人脸主动形变模型，通过统计三维人脸空间中的典型样本进行线性组合，恢复出带有二维纹理的三维面片。相较直接获取深度信息的方式，这种估计方法的误差较大，带来的识别性能提升有限。
发明人在研究过程中发现，现有的人脸识别方法主要存在以下问题：
1)2D图像是三维物体在平面上的简约投影，算法对光照、表情变化或附属物对人脸的遮挡不具有稳定性，会影响识别效果；
2)没有充分利用人脸的三维信息，在实际应用中容易被照片、视频等手段欺骗，无法做到静态的活体识别，识别准确率较低。
发明内容
针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种融合2D与3D的人脸识别方法及系统，通过融合2D与3D的数据自动预处理和识别结果融合，包括精准3D人脸对齐、深度图差值快速分类等步骤，有效解决2D人脸识别中光照、姿态、表情等外界因素的干扰问题，同时能够区分目标是否为活体目标，保持系统良好的人脸识别性能。
根据本公开的一个或多个实施例的一个方面，提供一种融合2D与3D的人脸识别方法。
一种融合2D与3D的人脸识别方法，该方法包括：
接收2D图像数据和3D图像数据，分别进行图像预处理；
将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
进一步地，在该方法中，所述2D图像数据和3D图像数据均包括彩色图像和深度数据，且按照深度信息逐像素对应；所述2D图像数据的图像预处理和所述3D图像数据的图像预处理同时在两个线程进行。
进一步地，在该方法中，所述2D图像数据的图像预处理为JPEG格式的图像压缩；所述3D图像数据的图像预处理为3D图像的平滑去燥，具体步骤包括：
采用高斯滤波核对三维点云数据进行平滑滤波，剔除滤波后结果数据和原始3D图像数据差值超过预设阈值的外点；
采用相同的高斯滤波核，根据周围有效点计算当前深度值期望，进行空洞填充；
采用不同的高斯滤波核对对空洞填充厚度三维点云数据进行平滑滤波，得到预处理后的3D图像。
进一步地，在该方法中，所述2D图像的人脸识别的具体步骤包括：
采用训练好的卷积神经网络对预处理后的2D图像进行人脸检测，同时预测人脸所在矩形框位置和类别；
根据预测的人脸所在矩形框位置和类别，进行2D人脸关键点定位；
根据定位的2D人脸关键点估计刚性变换，并在预处理后的2D图像的每个像素应用该变换，进行2D人脸对齐将人脸矫正到标准位置；
根据2D人脸对齐结果提取关键点周围的图像块，进行2D人脸识别得到2D识别结果。
进一步地，在该方法中，所述3D图像的人脸识别的具体步骤包括：
根据2D识别结果从预处理后的3D图像的深度数据中分割出人脸所在区域；
采用ICP算法匹配轴对称的人脸，计算人脸中轴所在平面的位置，进行3D人脸中轴定位；
根据中轴位置将距离中轴基线最远且位于中轴基线最上方的点确定为鼻尖点，进行3D人脸鼻尖定位；
根据鼻尖点将其附近靠近眉心侧的点确定为鼻梁，进行3D人脸鼻梁定位；
根据定位的鼻尖点和鼻梁确定3D人脸姿态，进行3D人脸对齐将3D人脸矫正到标准的位置，并重新采样，缩放到统一大小，得到当前待识别人脸的深度图；
计算当前待识别人脸的深度图与预先存储的深度图计算差值图，采用级联分类器分类差值图得到的分类器分数较高的作为3D识别结果。
进一步地，在该方法中，所述人脸所在区域的分割方法的具体步骤包括：
根据2D识别结果中2D人脸框内的三维点，拟合一个平面，区分预处理后的3D图像脸前部和后部的点；
根据在人脸框中间三分之二区域距离平面距离最大的点，初步确定为预处理后的3D图像的鼻尖点；
距离鼻尖点距离小于预设阈值的所有三维点，为三维人脸的所在区域。
进一步地，在该方法中，所述将2D识别结果和3D识别结果进行结果融合的具体步骤包括：将2D识别结果和3D识别结果与其对应的分类器权重的乘积之和作为最终的识别结果。
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种融合2D与3D的人脸识别方法。
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种融合2D与3D的人脸识别方法。
根据本公开的一个或多个实施例的一个方面，提供一种融合2D与3D的人脸识别装置。
一种融合2D与3D的人脸识别装置，基于所述的一种融合2D与3D的人脸识别方法，包括：
人脸数据采集模块，被配置为接收2D图像数据和3D图像数据，分别进行图像预处理；
2D人脸识别模块，被配置为将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
3D人脸识别模块，被配置为将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
识别结果融合模块，被配置为将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
本公开的有益效果：
(1)本公开提供的一种融合2D与3D的人脸识别方法及系统，将快速有效的3D人脸识别方法与2D人脸识别的结果相结合，减弱外界环境对系统性能的影响，能够有效避免2D人脸识别中光照、姿态、表情等外界因素的干扰，保持系统良好的人脸识别性能。
(2)本公开提供的一种融合2D与3D的人脸识别方法及系统，充分利用了人脸的三维信息，解决2D人脸识别中光照、姿态、表情等外界因素的干扰问题，同时能够区分目标是否为活体目标，保持系统良好的人脸识别性能。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1是本公开一个或多个实施例提供的一种融合2D与3D的人脸识别方法流程图；
图2是本公开一个或多个实施例提供的一种融合2D与3D的人脸识别方法处理三维人脸数据的过程与结果图；
图3是本公开一个或多个实施例提供的二维人脸检测和关键点定位示意图；
图4是本公开一个或多个实施例提供的一种融合2D与3D的人脸识别方法具体流程图。
具体实施方式：
下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合，下面结合附图与实施例对本公开作进一步说明。
实施例一
如图1所示，一种融合2D与3D的人脸识别方法，该方法包括：
一种融合2D与3D的人脸识别方法，该方法包括：
步骤S1：接收2D图像数据和3D图像数据，分别进行图像预处理；
步骤S2：将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
步骤S3：将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
步骤S4：将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
本实施例的一种融合2D与3D的人脸识别方法进行处理三维人脸数据的过程与结果图如图2所示。
步骤S1：数据采集与预处理
在该方法中，所述2D图像数据和3D图像数据均包括彩色图像和深度数据，且按照深度信息逐像素对应；所述2D图像数据的图像预处理和所述3D图像数据的图像预处理同时在两个线程进行。
数据采集部分使用包括彩色和深度数据的视频采集设备收集人脸信息。设备同时输出彩色图和深度数据，并能够按照深度信息逐像素对应。只要能采集纹理和深度信息的设备均可以使用，种类包括但不限于激光扫描仪、结构光传感器、TOF(Time Of Flight，光飞时间)相机等。本实施例的图像采集单元采用基于结构光的RGBD传感器PrimeSenseCarmine 1.09，其特点为成像距离0.35m-1.4m，0.5m处的深度精度误差为1mm，输出的彩色图和深度图分辨率为640x480。
数据采集模块由客户端进行调用，在采集到彩色和深度数据后，客户端会同时开启两个线程，同时针对数据进行预处理。
2D图像数据的图像预处理：
所述2D图像数据的图像预处理为JPEG格式的图像压缩；
针对2D图像的预处理为JPEG格式的图像压缩，由于人脸识别模块通常部署在服务器，压缩图片可以大大减少数据传输时间。
3D图像数据的图像预处理：
所述3D图像数据的图像预处理为3D图像的平滑去燥，具体步骤包括：
1)外点剔除：采用高斯滤波核对三维点云数据进行平滑滤波，剔除滤波后结果数据和原始3D图像数据差值超过预设阈值的外点；
首先使用一个19x19的高斯滤波核对三维点云数据进行平滑滤波，针对滤波后的结果和原始的数据相差达到一定的阈值，可以认为该点是外点，进行剔除。其中高斯滤波核的定义如下：
其中，r为高斯滤波核的半径，σ为与r相关的常数，i与j分别代表当前滤波核下标所处位置的行与列。
2)空洞填充：采用相同的高斯滤波核，根据周围有效点计算当前深度值期望，进行空洞填充；
由于3D图像的成像特性，在深度图中存在大量的无效点，以及上一步处理剔除的外点。由于这些点的有效数据缺失，导致在深度图中会有大量的空洞产生。针对空洞的填充使用与上一步相同的高斯滤波核，根据周围有效的点计算当前的深度值期望，并予以替代，从而填充形成的空洞。
3)平滑滤波：
采用不同的高斯滤波核对对空洞填充厚度三维点云数据进行平滑滤波，得到预处理后的3D图像。该步骤使用一个11x11的高斯滤波核对三维点云数据进行平滑滤波，得到数据与处理的最终结果。
步骤S2：2D人脸识别
在该方法中，所述2D图像的人脸识别的具体步骤包括：
1)2D图像人脸检测，采用训练好的卷积神经网络对预处理后的2D图像进行人脸检测，同时预测人脸所在矩形框位置和类别；
根据设备采集的彩色图片，在其中找到所有人脸所在的矩形框。本专利使用卷积神经网络来同时预测人脸框所在的位置(角点，宽高)以及包围框所属的类别(即人脸、非人脸)。
2)基于2D人脸检测结果的关键点定位：根据预测的人脸所在矩形框位置和类别，进行2D人脸关键点定位；如图3所示。
2D人脸的关键点包括眉毛、眼镜、鼻梁、嘴巴、脸颊轮廓等，本专利使用的是68点的关键点方案，定位到的关键点用于进行人脸对齐的操作，从而便于后续的人脸识别操作。
3)基于2D人脸关键点定位的人脸对齐：根据定位的2D人脸关键点估计刚性变换，并在预处理后的2D图像的每个像素应用该变换，进行2D人脸对齐将人脸矫正到标准位置；
根据关键点估计了一个刚性变换，并针对图像中的每一个像素应用该变换。其中刚性变换的定义如下所示：
其中，矩阵的前两列代表了针对每个像素位置的旋转和和缩放，sx和sy分别表示两个方向的缩放尺度，θ表示了像素位置变换的旋转角，tx与ty分别代表了两个方向的位移。通过这种变换可以将2D人脸矫正到标准的位置。
4)根据2D人脸对齐结果提取关键点周围的图像块，进行2D人脸识别得到2D识别结果。
步骤S3：3D人脸识别
在该方法中，所述3D图像的人脸识别采用一种快速有效的3D人脸识别方法的具体步骤包括：
1)3D人脸区域分割，根据2D识别结果从预处理后的3D图像的深度数据中分割出人脸所在区域；
所述人脸所在区域的分割方法的具体步骤包括：
根据2D识别结果中2D人脸框内的三维点，拟合一个平面，区分预处理后的3D图像脸前部和后部的点；
根据在人脸框中间三分之二区域距离平面距离最大的点，初步确定为预处理后的3D图像的鼻尖点；
距离鼻尖点距离小于预设阈值的所有三维点，为三维人脸的所在区域。
在本实施例中，根据2D人脸检测结果，从深度数据中分割出人脸所在区域：在该步骤中，会利用在2D人脸框内的三维点，拟合一个平面，用于区分脸前部和后部的点，并初步确定鼻尖点。鼻尖点的初步定为是，在人脸框中间三分之二的区域，找到距离平面距离最大的点。距离这个点距离小于95毫米的所有三维点，就是三维人脸的所在区域。
2)3D人脸中轴定位，采用ICP算法匹配轴对称的人脸，计算人脸中轴所在平面的位置，进行3D人脸中轴定位；
中轴被定义为将人脸分割成左右相等区域的3D轮廓。利用人脸的左右自对称性，找到人脸中轴所在平面，中轴为该平面与3D人脸数据的交集。该步骤使用ICP算法(Iterative Closest Point，迭代最近点法)来对轴对称的人脸进行匹配，并计算对称面(人脸中轴所在平面)所在的位置，从而求出中轴。
3)3D人脸鼻尖定位，根据中轴位置将距离中轴基线最远且位于中轴基线最上方的点确定为鼻尖点，进行3D人脸鼻尖定位；在中轴中找到人脸的鼻尖所在点，该点被定义为距离中轴基线最远，且位于中轴基线最上方的点。中轴基线被定义为中轴两端点的连线；
4)3D人脸鼻梁定位，根据鼻尖点将其附近靠近眉心侧的点确定为鼻梁，进行3D人脸鼻梁定位；在鼻尖点附近找到鼻梁所在方向，鼻梁所在方向由鼻尖点附近靠近眉心侧的点确定；
5)3D人脸对齐，根据定位的鼻尖点和鼻梁确定3D人脸姿态，进行3D人脸对齐将3D人脸矫正到标准的位置，并重新采样，缩放到统一大小，得到当前待识别人脸的深度图；
在本实施例中，根据步骤3)和步骤4)的结果，可以确定3D人脸姿态，将3D人脸矫正到标准的位置，并重新采样，缩放到统一的大小，得到一个长宽固定的深度图；
6)3D人脸识别，计算当前待识别人脸的深度图与预先存储的深度图计算差值图，采用级联分类器分类差值图得到的分类器分数较高的作为3D识别结果。
根据3D人脸对齐结果，进行3D人脸识别，得到一个识别结果。其中，差值图的计算方式如下:
D1＝I-Ip (6)
D2＝Ip-I (7)
其中，I为当前待识别的人脸得到的深度图，Ip为数据库中存储的预先注册的深度图。D为待分类的差值图。计算两张差值图，得到的分类器分数较高的作为最终的结果。
3D人脸对齐步骤的特征在于：1)找到3D人脸所在的姿态，并进行准确的矫正；2)自动进行，无需人工干预。3D人脸识别步骤包括：1)计算深度图和数据库中深度图的差值；2)将3D人脸识别转化为二分类问题，即判断差值图是本人的还是与不同人的；3)利用级联分类器对差值图进行快速分类，得到准确的识别结果。
步骤S4：识别结果融合
在该方法中，所述将2D识别结果和3D识别结果进行结果融合的具体步骤包括：将2D识别结果和3D识别结果与其对应的分类器权重的乘积之和作为最终的识别结果。
识别结果融合的功能为线性组合2D人脸识别和3D人脸识别得到的识别结果，基于以下公式：
Hfinal(RGBD)＝αH2D(RGB)+βH3D(D) (6)
其中Hfinal(RGBD)表示最终的识别结果，H2D(RGB)表示模块(2)得到的识别结果，H3D(D)表示模块(3)得到的识别结果，RGB表示2D彩色图片，D表示3D深度图片，α和β分别表示两个模块的分类器权重。
本实施例中的一种融合2D与3D的人脸识别方法具体流程示意图如图4所示。
实施例二
根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。
一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种融合2D与3D的人脸识别方法。
实施例三
根据本公开的一个或多个实施例的一个方面，提供一种终端设备。
一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种融合2D与3D的人脸识别方法。
这些计算机可执行指令在设备中运行时使得该设备执行根据本公开中的各个实施例所描述的方法或过程。
在本实施例中，计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
本公开所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开内容操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开内容的各个方面。
实施例四
根据本公开的一个或多个实施例的一个方面，提供一种融合2D与3D的人脸识别装置。
一种融合2D与3D的人脸识别装置，基于所述的一种融合2D与3D的人脸识别方法，包括：
人脸数据采集模块，被配置为接收2D图像数据和3D图像数据，分别进行图像预处理；
2D人脸识别模块，被配置为将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
3D人脸识别模块，被配置为将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
识别结果融合模块，被配置为将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
应当注意，尽管在上文的详细描述中提及了设备的若干模块或子模块，但是这种划分仅仅是示例性而非强制性的。实际上，根据本公开的实施例，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
在本实施例中，所述人脸数据采集模块，被配置为使用包括彩色和深度数据的视频采集设备收集人脸信息，并能够按照深度信息逐像素对应。同时进行2D图像压缩，3D图像平滑去噪的预处理。
在本实施例中，2D人脸识别模块被配置为：1)2D图像人脸检测，根据设备采集的彩色图片，在其中找到所有人脸所在的矩形框；2)基于2D人脸检测结果的关键点定位；3)基于2D人脸关键点定位的人脸对齐，根据关键点位置计算2D变形，将2D人脸矫正到标准的位置；4)根据2D人脸对齐结果，进行2D人脸识别，得到一个识别结果。
其中，根据关键点进行人脸对齐时，是根据关键点估计了一个刚性变换，并针对图像中的每一个像素应用该变换。其中刚性变换的定义如下所示：
其中，矩阵的前两列代表了针对每个像素位置的旋转和和缩放，sx和sy分别表示两个方向的缩放尺度，θ表示了像素位置变换的旋转角，tx与ty分别代表了两个方向的位移。通过这种变换可以将2D人脸矫正到标准的位置。
在本实施例中，3D人脸识别模块被配置为：1)3D人脸区域分割，根据2D人脸检测结果，从深度数据中分割出人脸所在区域；2)3D人脸中轴定位，中轴被定义为将人脸分割成左右相等区域的3D轮廓。利用人脸的左右自对称性，找到人脸中轴所在平面，中轴为该平面与3D人脸数据的交集；3)3D人脸鼻尖定位，在中轴中找到人脸的鼻尖所在点，该点被定义为距离中轴基线最远，且位于中轴基线最上方的点。中轴基线被定义为中轴两端点的连线；4)3D人脸鼻梁定位，在鼻尖点附近找到鼻梁所在方向，鼻梁所在方向由鼻尖点附近靠近眉心侧的点确定；5)3D人脸对齐，根据步骤3)和步骤4)的结果，可以确定3D人脸姿态，将3D人脸矫正到标准的位置，并重新采样，缩放到统一的大小，得到一个长宽固定的深度图；6)3D人脸识别，根据3D人脸对齐结果，进行3D人脸识别，得到一个识别结果。
3D人脸对齐步骤的特征在于：1)找到3D人脸所在的姿态，并进行准确的矫正；2)自动进行，无需人工干预。3D人脸识别步骤包括：1)计算深度图和数据库中深度图的差值；2)将3D人脸识别转化为二分类问题，即判断差值图是本人的还是与不同人的；3)利用级联分类器对差值图进行快速分类，得到准确的识别结果。
识别结果融合模块的功能为线性组合模块(2)和模块(3)得到的识别结果，基于以下公式：
Hfinal(RGBD)＝αH2D(RGB)+βH3D(D) (1)
其中Hfinal(RGBD)表示最终的识别结果，H2D(RGB)表示模块(2)得到的识别结果，规范到0到1之间，H3D(D)表示模块(3)得到的识别结果，规范到0到1之间，RGB表示2D彩色图片，D表示3D深度图片，α和β分别表示两个模块的分类器权重。
在本实施例中上述方法基于服务调度，具体包括以下步骤：
1)建立端口监听，为请求人脸识别服务的程序提供支持，建立连接；
2)调用2D人脸识别模块和3D人脸识别模块，得到人脸识别结果；
3)将2)中的识别结果打包并调用识别结果融合模块，得到最终结果；
4)通过建立的连接发回识别结果；
5)根据用户客户端程序的不同需求，使用不同功能，进行识别或数据处理、储存等不同操作。
在本实施例中用户客户端进行用户交互，用户交互包括以下功能：
1)提供图形交互界面，接受用户指令，展示执行结果；
2)调用人脸数据采集模块进行数据采集；
3)与识别结果融合模块的端口建立连接，并发送2)收集的数据；
4)根据用户的不同需求，向识别结果融合模块发送识别、数据处理、储存等不同指令。
2D人脸识别的发展历史较长，取得了较多的研究成果并已经被广泛应用。而3D人脸识别的仍是一个待解决的难题，分析和识别3D人脸已经成为三维数据处理的一个重要分支。由于2D图像是三维物体在平面上的投影，2D人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。
本公开的一个或多个实施例的有益效果：
本公开的一个或多个实施例设计了一种快速有效的3D人脸识别方法，并与2D人脸识别的结果相结合，减弱外界环境对系统性能的影响，能够有效避免2D人脸识别中光照、姿态、表情等外界因素的干扰，保持系统良好的人脸识别性能。
本发明有益的效果是充分利用了人脸的三维信息，解决2D人脸识别中光照、姿态、表情等外界因素的干扰问题，同时能够区分目标是否为活体目标，保持系统良好的人脸识别性能。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。因此，本公开将不会被限制于本公开所示的这些实施例，而是要符合与本公开所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种融合2D与3D的人脸识别方法，其特征在于，该方法包括：
接收2D图像数据和3D图像数据，分别进行图像预处理；
将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
2.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像数据和3D图像数据均包括彩色图像和深度数据，且按照深度信息逐像素对应；所述2D图像数据的图像预处理和所述3D图像数据的图像预处理同时在两个线程进行。
3.如权利要求2所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像数据的图像预处理为JPEG格式的图像压缩；所述3D图像数据的图像预处理为3D图像的平滑去燥，具体步骤包括：
采用高斯滤波核对三维点云数据进行平滑滤波，剔除滤波后结果数据和原始3D图像数据差值超过预设阈值的外点；
采用相同的高斯滤波核，根据周围有效点计算当前深度值期望，进行空洞填充；
采用不同的高斯滤波核对对空洞填充厚度三维点云数据进行平滑滤波，得到预处理后的3D图像。
4.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述2D图像的人脸识别的具体步骤包括：
采用训练好的卷积神经网络对预处理后的2D图像进行人脸检测，同时预测人脸所在矩形框位置和类别；
根据预测的人脸所在矩形框位置和类别，进行2D人脸关键点定位；
根据定位的2D人脸关键点估计刚性变换，并在预处理后的2D图像的每个像素应用该变换，进行2D人脸对齐将人脸矫正到标准位置；
根据2D人脸对齐结果提取关键点周围的图像块，进行2D人脸识别得到2D识别结果。
5.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述3D图像的人脸识别的具体步骤包括：
根据2D识别结果从预处理后的3D图像的深度数据中分割出人脸所在区域；
采用ICP算法匹配轴对称的人脸，计算人脸中轴所在平面的位置，进行3D人脸中轴定位；
根据中轴位置将距离中轴基线最远且位于中轴基线最上方的点确定为鼻尖点，进行3D人脸鼻尖定位；
根据鼻尖点将其附近靠近眉心侧的点确定为鼻梁，进行3D人脸鼻梁定位；
根据定位的鼻尖点和鼻梁确定3D人脸姿态，进行3D人脸对齐将3D人脸矫正到标准的位置，并重新采样，缩放到统一大小，得到当前待识别人脸的深度图；
计算当前待识别人脸的深度图与预先存储的深度图计算差值图，采用级联分类器分类差值图得到的分类器分数较高的作为3D识别结果。
6.如权利要求5所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述人脸所在区域的分割方法的具体步骤包括：
根据2D识别结果中2D人脸框内的三维点，拟合一个平面，区分预处理后的3D图像脸前部和后部的点；
根据在人脸框中间三分之二区域距离平面距离最大的点，初步确定为预处理后的3D图像的鼻尖点；
距离鼻尖点距离小于预设阈值的所有三维点，为三维人脸的所在区域。
7.如权利要求1所述的一种融合2D与3D的人脸识别方法，其特征在于，在该方法中，所述将2D识别结果和3D识别结果进行结果融合的具体步骤包括：将2D识别结果和3D识别结果与其对应的分类器权重的乘积之和作为最终的识别结果。
8.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行如权利要求1-7任一项所述的一种融合2D与3D的人脸识别方法。
9.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行如权利要求1-7任一项所述的一种融合2D与3D的人脸识别方法。
10.一种融合2D与3D的人脸识别装置，其特征在于，基于如权利要求1-7任一项所述的一种融合2D与3D的人脸识别方法，包括：
人脸数据采集模块，被配置为接收2D图像数据和3D图像数据，分别进行图像预处理；
2D人脸识别模块，被配置为将预处理后的2D图像进行2D人脸检测与对齐，进行人脸识别得到2D识别结果；
3D人脸识别模块，被配置为将预处理后的3D图像和2D识别结果进行自动3D人脸对齐与识别，得到3D识别结果；
识别结果融合模块，被配置为将2D识别结果和3D识别结果进行结果融合，得到最终的人脸识别结果。
CN201910772557.XA 2019-08-21 2019-08-21 一种融合2d与3d的人脸识别方法及系统 Withdrawn CN110458142A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910772557.XA CN110458142A (zh) 2019-08-21 2019-08-21 一种融合2d与3d的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910772557.XA CN110458142A (zh) 2019-08-21 2019-08-21 一种融合2d与3d的人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN110458142A true CN110458142A (zh) 2019-11-15

Family

ID=68488077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910772557.XA Withdrawn CN110458142A (zh) 2019-08-21 2019-08-21 一种融合2d与3d的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN110458142A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN112465889A (zh) * 2021-01-04 2021-03-09 广东工业大学 一种基于二维-三维集成的植株点云分割方法、系统和存储介质
CN112651279A (zh) * 2020-09-24 2021-04-13 深圳福鸽科技有限公司 基于近距离应用的3d人脸识别方法及系统
CN113837106A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、系统、电子设备及存储介质
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111080657A (zh) * 2019-12-13 2020-04-28 北京小白世纪网络科技有限公司 基于卷积神经网络多维度融合的ct图像器官分割方法
CN112651279A (zh) * 2020-09-24 2021-04-13 深圳福鸽科技有限公司 基于近距离应用的3d人脸识别方法及系统
CN112465889A (zh) * 2021-01-04 2021-03-09 广东工业大学 一种基于二维-三维集成的植株点云分割方法、系统和存储介质
CN112465889B (zh) * 2021-01-04 2021-12-10 广东工业大学 一种基于二维-三维集成的植株点云分割方法、系统和存储介质
CN113837106A (zh) * 2021-09-26 2021-12-24 北京的卢深视科技有限公司 人脸识别方法、系统、电子设备及存储介质
CN114820584A (zh) * 2022-05-27 2022-07-29 北京安德医智科技有限公司 肺部病灶定位装置
CN116631022A (zh) * 2023-04-11 2023-08-22 广东德融汇科技有限公司 一种人脸精准识别方法、装置、设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110458142A (zh) 一种融合2d与3d的人脸识别方法及系统
CN112949565B (zh) 基于注意力机制的单样本部分遮挡人脸识别方法及系统
KR102319177B1 (ko) 이미지 내의 객체 자세를 결정하는 방법 및 장치, 장비, 및 저장 매체
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN108053449A (zh) 双目视觉系统的三维重建方法、装置及双目视觉系统
TW202026948A (zh) 活體檢測方法、裝置以及儲存介質
CN109544501A (zh) 一种基于无人机多源图像特征匹配的输电设备缺陷检测方法
CN113962274B (zh) 一种异常识别方法、装置、电子设备及存储介质
CN109840982B (zh) 排队推荐方法及装置、计算机可读存储介质
CN111462128A (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN110532959B (zh) 基于双通道三维卷积神经网络的实时暴力行为检测系统
WO2020207172A1 (zh) 基于三维光场技术的光学无人机监测方法及系统
CN112990232B (zh) 面向多种高空作业施工现场的安全带佩戴识别与检测方法
CN115082254A (zh) 一种变电站精益管控数字孪生系统
CN113052066A (zh) 三维目标检测中基于多视图和图像分割的多模态融合方法
WO2024051067A1 (zh) 红外图像处理方法、装置及设备、存储介质
CN109784230A (zh) 一种人脸视频图像质量寻优方法、系统及设备
CN114219855A (zh) 点云法向量的估计方法、装置、计算机设备和存储介质
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN112101195A (zh) 人群密度预估方法、装置、计算机设备和存储介质
CN111784658A (zh) 一种用于人脸图像的质量分析方法和系统
CN115222884A (zh) 一种基于人工智能的空间对象分析及建模优化方法
CN114842466A (zh) 目标检测方法、计算机程序产品和电子设备
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191115

WW01 Invention patent application withdrawn after publication