CN110580451A - 一种基于三维优化子曲面的人脸识别方法及系统 - Google Patents

一种基于三维优化子曲面的人脸识别方法及系统 Download PDF

Info

Publication number
CN110580451A
CN110580451A CN201910749911.7A CN201910749911A CN110580451A CN 110580451 A CN110580451 A CN 110580451A CN 201910749911 A CN201910749911 A CN 201910749911A CN 110580451 A CN110580451 A CN 110580451A
Authority
CN
China
Prior art keywords
face
dimensional
sub
difference
dimensional face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910749911.7A
Other languages
English (en)
Inventor
王跃明
王海滨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Genjian Intelligent Technology Co Ltd
Original Assignee
Qingdao Genjian Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Genjian Intelligent Technology Co Ltd filed Critical Qingdao Genjian Intelligent Technology Co Ltd
Priority to CN201910749911.7A priority Critical patent/CN110580451A/zh
Publication of CN110580451A publication Critical patent/CN110580451A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种基于三维优化子曲面的人脸识别方法，采集三维人脸数据，将三维人脸转化为标准姿态的三维人脸；将标准姿态的三维人脸投影后采样得到当前每张人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；对于输入的每张三维人脸计算差值图，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果；有效的减弱了外界环境对系统性能的影响，能够有效避免人脸识别中光照、姿态、表情等外界因素的干扰。

Description

一种基于三维优化子曲面的人脸识别方法及系统
技术领域
本公开涉及人脸识别技术领域，特别涉及一种基于三维优化子曲面的人脸识别方法及系统，尤其涉及一种快速三维人脸对齐、三维子曲面选择与最优化的三维人脸识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。
人脸识别是多学科交叉的研究课题。二维人脸识别的发展历史较长，取得了较多的研究成果并已经被广泛应用。由于二维图像是三维物体在平面上的投影，人脸识别的性能会受到光照、姿态、表情等外界因素干扰，从而影响准确性。因此，如何充分利用人脸的三维信息，提高系统的识别性能是近年来的研究热点。三维人脸识别通过采集三维的人脸数据与数据库预存储的数据进行匹配，从而识别人脸的身份。采集的三维人脸数据不易受光照、姿态、表情等外界因素干扰，同时由于具有深度信息，相较二维图像有更加丰富的信息量。
目前主流的三维人脸识别方法主要分为基于空域直接匹配、基于局部特征匹配、基于整体特征匹配三大类，基于空域直接匹配的方法不提取特征，直接进行曲面相似度匹配，一般分为对齐和相似度计算两步，常用的方法有ICP(Interative Closest Point，迭代最近点算法)和Hausdorff(豪斯多夫)距离法；基于局部特征匹配的方法着眼于从三维面部曲面中提取有效的形状集合特征，以保证特征在人脸模型旋转、平移、镜像等变化下都保持完备性和紧凑性，局部特征主要包括局部描述符、曲线特征以及其他一些局部几何特征或统计特征；基于整体特征匹配的方法注重三维模型的整体特征，如将三维人脸统一用深度图表示，或映射为EGI(扩展高斯图)并匹配。
本公开发明人在研究中发现，现有的三维人脸识别方法主要存在以下问题：(1)准确识别率不高，无法应用到现实场景中；(2)算法对光照、表情变化或附属物对人脸的遮挡不具有稳定性，会影响识别效果；(3)三维数据的数据量高于二维数据，常用算法需要针对库中每一个三维人脸进行处理和匹配，计算量较高，识别速度较低。
发明内容
为了解决现有技术的不足，本公开提供了一种基于三维优化子曲面的人脸识别方法及系统，包括快速三维人脸对齐和三维子曲面选择与最优化的三维人脸识别，解决了现有的三维人脸识别方法识别准确率不高且效率较低的问题。
为了实现上述目的，本公开采用如下技术方案：
第一方面，本公开提供了一种基于三维优化子曲面的人脸识别方法；
一种基于三维优化子曲面的人脸识别方法，步骤如下：
采集三维人脸数据，将三维人脸转化为标准姿态；
将标准姿态的三维人脸投影后采样得到当前人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；
对于输入的每张三维人脸计算差值图，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
作为可能的一些实现方式，将三维人脸转化为标准姿态，进行三维人脸的自对齐，具体为：利用人脸的自对称性找到人脸中轴面、鼻尖点和鼻梁，进而自动将三维人脸矫正到标准姿态。
作为进一步的限定，所述三维人脸的自对齐，具体为：
(3-1)进行三维人脸的分割，根据二维人脸检测结果，从三维人脸中分割出人脸所在区域；
(3-2)进行三维人脸的中轴定位，所述中轴用于将人脸分割成左右相等区域的三维轮廓，利用人脸的左右自对称性，找到人脸中轴所在平面，中轴为该平面与三维人脸的交集；
(3-3)进行三维人脸鼻尖定位，在中轴中找到人脸的鼻尖所在点，鼻尖所在点为距离中轴基线最远，且位于中轴基线最上方的点，所述中轴基线为中轴两端点的连线；
(3-4)进行三维人脸鼻梁定位，在鼻尖点附近找到鼻梁所在方向，鼻梁所在方向由鼻尖点附近靠近眉心侧的点确定；
(3-5)进行三维人脸对齐，根据步骤(3-3)和步骤(3-4)的结果，确定3D人脸姿态，将三维人脸矫正到标准的位置。
作为可能的一些实现方式，所述差值图的获取，具体为：在鼻尖点周围一定区域内进行采样，将规则化的三维人脸投影到二维平面，形成一张标准的深度图，并与库中预先存储的深度图进行差值计算，得到两张互反的差值图。
作为可能的一些实现方式，根据得到的差值图进行特征选择与最优化分类器的训练，具体为：
(5-1)计算单人脸类内差值图与不同人脸类间差值图，作为训练使用的数据集，其中类内差值图数量较少，全部使用，类间差值图根据样本的权重和分类器表现进行替换；
(5-2)初始情况下所有数据的权重相同，根据样本权重选择表现最好的特征进行训练；
(5-3)根据所有分类器的加权预测结果更新样本权重，若分类器预测表现为全部正确，则替换部分权重较小的类间样本；
(5-4)重复步骤(5-2)和步骤(5-3)，直至达到指定的特征数目，得到对应的分类器模型和相应的权重。
作为可能的一些实现方式，采用Haar特征作为分类器分类差值图时使用的特征，针对每个Haar特征，计算深度图的积分图子区域加权和，由于加权和是实数，最外围使用基于Real Boosting的框架，根据加权和划分成不同的子区间，子区间对应的输出根据落在该子区间内的训练样本权重计算，每个Haar特征作为一个子分类器，根据其表现赋予权重，并更新样本权重，替换部分类间样本；在实际测试时，只需根据加权和进行查表，因此计算十分迅速。
作为可能的一些实现方式，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，具体计算方式为：
其中Ii表示库中的深度图，Ip表示需要识别的三维人脸经处理得到的深度图，HT表示训练得到的分类器，Si表示当前库中样本的最终得分，得分最高的为识别结果。
作为可能的一些实现方式，采集三维人脸数据后，对三维人脸图像进行平滑去噪预处理，具体为：
(7-1)利用一个19×19的高斯滤波核对三维点云数据进行平滑滤波，针对滤波后的结果和原始的数据相差达到一定的阈值，认为该点是外点并进行剔除；
(7-2)利用(7-1)所述的高斯滤波核，根据周围有效的点计算当前的深度值期望，并予以替代，填充形成的空洞；
(7-3)利用一个11×11的高斯滤波核对三维点云数据进行平滑滤波，得到数据平滑去噪预处理的最终结果。
第二方面，本公开提供了一种基于三维优化子曲面的人脸识别系统；
一种基于三维优化子曲面的人脸识别系统，包括：
数据采集和预处理模块，被配置为：采集三维人脸数据，对三维人脸图像进行平滑去噪预处理，将三维人脸转化为标准姿态的三维人脸；
数据处理模块，被配置为：将标准姿态的三维人脸投影后采样得到当前每张人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
分配器构建模块，被配置为：根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；
人脸识别模块，被配置为：对于输入的每张测试的三维人脸，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
第三方面，本公开提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现本公开所述的基于三维优化子曲面的人脸识别方法的步骤。
第四方面，本公开提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本公开所述的基于三维优化子曲面的人脸识别方法的步骤。
与现有技术相比，本公开的有益效果是：
本公开提出了一种快速有效的三维人脸识别方法，有效的减弱了外界环境对系统性能的影响，能够有效避免人脸识别中光照、姿态、表情等外界因素的干扰。
本公开所述的人脸识别方法由于只在二维的深度差值图上进行分类，计算迅速，保持了系统良好的人脸识别性能。
本公开所述的内容对采集到的三维图像进行平滑去噪预处理，通过对图像的预处理，能够更好的对图像进行姿态标准化，从而在初始环节就减少一定的干扰因素的影响。
附图说明
图1为本公开实施例1所述的基于三维优化子曲面的人脸识别方法流程图。
图2为本公开实施例1所述的基于三维优化子曲面的人脸识别方法中进行三维人脸姿态标准化的步骤与结果。
图3为本公开实施例1所述的基于三维优化子曲面的人脸识别方法中进行三维人脸数据处理的过程与结果。
图4为本公开实施例1所述的基于三维优化子曲面的人脸识别方法进行三维人脸识别的运行演示图。
具体实施方式
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1：
如图1-4所示，本公开实施例1提供了一种基于三维优化子曲面的人脸识别方法，具体包括如下几个方面：
(一)数据采集与预处理
数据采集部分使用包括彩色和深度数据的视频采集设备收集人脸信息，设备同时输出彩色图和深度数据，并能够按照深度信息逐像素对应。只要能采集纹理和深度信息的设备均可以使用，种类包括但不限于激光扫描仪、结构光传感器、TOF(Time Of Flight，光飞时间)相机等。
本实施例采用基于结构光的RGBD传感器Prime Sense Carmine 1.09，其特点为成像距离0.35m-1.4m，0.5m处的深度精度误差为1mm，输出的彩色图和深度图分辨率为640x480。
针对彩色图像的预处理为JPEG格式的图像压缩，由于人脸识别模块通常部署在服务器，压缩图片可以大大减少数据传输时间。
针对三维图像的平滑去噪预处理，包括如下三个步骤：
(1)外点剔除：首先使用一个19×19的高斯滤波核对三维点云数据进行平滑滤波，针对滤波后的结果和原始的数据相差达到一定的阈值，可以认为该点是外点，进行剔除。其中高斯滤波核的定义如下：
其中，r为高斯滤波核的半径，σ为与r相关的常数，i与j分别代表当前滤波核下标所处位置的行与列。
(2)空洞填充：由于三维图像的成像特性，在深度图中存在大量的无效点，以及上一步处理剔除的外点。由于这些点的有效数据缺失，导致在深度图中会有大量的空洞产生。针对空洞的填充使用与上一步相同的高斯滤波核，根据周围有效的点计算当前的深度值期望，并予以替代，从而填充形成的空洞。
(3)平滑滤波：该步骤使用一个11×11的高斯滤波核对三维点云数据进行平滑滤波，得到数据与处理的最终结果。
(二)三维人脸差值图分类器训练
本实施例提出的方案，通过计算三维人脸差值图，将三维人脸识别转化为一个二分类问题，即判断差值图是本人的还是与不同人的。
分类器的训练即基于差值图的子曲面选择与最优化，包括如下步骤：
(1)计算单人脸类内(正样本)与不同人脸类间(负样本)的差值图，作为训练使用的数据集，其中类内差值图数量较少，全部使用，类间差值图根据样本的权重和分类器表现进行替换；
(2)特征选择：初始情况下所有数据的权重相同，根据样本权重选择表现最好的特征进行训练；
(3)根据所有分类器的加权预测结果更新样本权重，若分类器预测表现为全部正确，则替换部分权重较小的类间样本；
(4)重复步骤(2)和步骤(3)，直至达到指定的特征数目，得到对应的分类器和相应的权重。
本实施例采用Haar特征作为分类器分类差值图时使用的特征。针对每个Haar特征，计算深度图的积分图子区域加权和，由于加权和是实数，最外围使用基于RealBoosting的框架，根据加权和划分成不同的子区间(Bin)，子区间对应的输出根据落在该子区间内的训练样本权重计算，每个Haar特征作为一个子分类器，根据其表现赋予权重，并更新样本权重，替换部分类间样本。在实际测试时，只需要根据加权和进行查表，因此计算十分迅速。
(三)三维人脸识别
基于三维优化子曲面的人脸识别方法，包括如下步骤：
(1)三维人脸区域分割，根据二维人脸检测结果，从深度数据中分割出人脸所在区域：在该步骤中，会利用在人脸框内的三维点，拟合一个平面，用于区分脸前部和后部的点，并初步确定鼻尖点。鼻尖点的初步定为是，在人脸框中间三分之二的区域，找到距离平面距离最大的点。距离这个点距离小于95毫米的所有三维点，就是三维人脸的所在区域。
(2)人脸中轴定位，中轴被定义为将人脸分割成左右相等区域的三维轮廓。利用人脸的左右自对称性，找到人脸中轴所在平面，中轴为该平面与三维人脸数据的交集。该步骤使用ICP算法(Iterative Closest Point，迭代最近点法)来对轴对称的人脸进行匹配，并计算对称面(人脸中轴所在平面)所在的位置，从而求出中轴。
(3)三维人脸鼻尖定位，在中轴中找到人脸的鼻尖所在点，该点被定义为距离中轴基线最远，且位于中轴基线最上方的点。中轴基线被定义为中轴两端点的连线；
(4)三维人脸鼻梁定位，在鼻尖点附近找到鼻梁所在方向，鼻梁所在方向由鼻尖点附近靠近眉心侧的点确定；
(5)三维人脸对齐，根据步骤(3)和步骤(4)的结果，可以确定人脸姿态，将三维人脸矫正到标准的位置，并重新采样，缩放到统一的大小，得到一个长宽固定的深度图；
矫正人脸姿态所使用的公式如下所示，坐标系为右手系：
其中，TA用于将三维数据转移到以鼻尖为原点的坐标系下，pt代表鼻尖点；R1用于根据中轴与鼻梁方向旋转人脸，其中的所有矢量都是单位矢量，np表示中轴所在平面的法向量，是最终坐标系的x轴正方向，ny表示鼻梁所在方向，正方向指向额头，表示y轴正方向；R2用于将人脸放置到便于投影采样的位置，其中α的值默认为
针对三维人脸数据中的所有点，经过矫正后的坐标pc如下所示：
pc＝R2R1TAp (5)
(6)三维人脸识别：根据人脸对齐结果，将标准姿态的三维人脸投影后采样得到当前每张人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
其中，差值图的计算方式如下:
其中Ii表示库中的深度图，Ip表示需要识别的三维人脸经处理得到的深度图。
对于输入的每张三维人脸计算差值图，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
所述的计算子曲面特征加权得分是基于以下公式：
HT表示训练得到的分类器，Si表示当前库中样本的最终得分，得分最高的为识别结果。
如图3所示，为实施例所述的基于三维优化子曲面的人脸识别方法中进行三维人脸数据处理的过程与结果，采用三维人脸数据集BU-3DFE(Binghamton University 3DFacial Expression Database)作为训练集，其中包括100个人的2500张图片，分为7种表情类型，采用三维人脸数据集FRGC v2.0(Face Recognition Grand Challenge v2.0)作为测试数据集，其中包括466个人的4007张图片，其中自然的表情占比为59％。FRGC v2.0使用的ROC曲线(接受者操作特性曲线，或感受性曲线)，横坐标为误报率(FAR)，即错误识别为正样本的负样本占比(False Positive rate/False Accept Rate)；纵坐标为召回率(Recall/Verification Rate)。
根据在FRGC v2.0上的测试结果，数据为误报率为0.1％时的召回率，如表1所示：
表1：在FRGC v2.0上的测试结果
图4为本实施例所述的基于三维优化子曲面的人脸识别方法进行三维人脸识别的运行演示图，其中左侧是待识别的三维人脸处理后的结果，右侧为数据库中预先存储的人脸数据，按照识别的置信度从高到低排序。
实施例2：
本公开实施例2提供了一种基于三维优化子曲面的人脸识别系统，包括：
数据采集和预处理模块，被配置为：采集三维人脸数据，对三维人脸图像进行平滑去噪预处理，将三维人脸转化为标准姿态的三维人脸；
数据处理模块，被配置为：将标准姿态的三维人脸投影后采样得到当前每张人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
分配器构建模块，被配置为：根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；
人脸识别模块，被配置为：对于输入的每张测试的三维人脸，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
实施例3：
本公开实施例3提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现本公开实施例1所述的基于三维优化子曲面的人脸识别方法的步骤。
实施例4：
本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本公开实施例1所述的基于三维优化子曲面的人脸识别方法的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (10)

1.一种基于三维优化子曲面的人脸识别方法，其特征在于，步骤如下：
采集三维人脸数据，将三维人脸转化为标准姿态；
将标准姿态的三维人脸投影后采样得到当前人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；
对于输入的每张三维人脸计算差值图，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
2.如权利要求1所述的基于三维优化子曲面的人脸识别方法，其特征在于，将三维人脸转化为标准姿态，进行三维人脸的自对齐，具体为：利用人脸的自对称性找到人脸中轴面、鼻尖点和鼻梁，进而自动将三维人脸矫正到标准姿态。
3.如权利要求2所述的基于三维优化子曲面的人脸识别方法，其特征在于，三维人脸的自对齐，具体为：
(3-1)进行三维人脸的分割，根据二维人脸检测结果，从三维人脸中分割出人脸所在区域；
(3-2)进行三维人脸的中轴定位，所述中轴用于将人脸分割成左右相等区域的三维轮廓，利用人脸的左右自对称性，找到人脸中轴所在平面，中轴为该平面与三维人脸的交集；
(3-3)进行三维人脸鼻尖定位，在中轴中找到人脸的鼻尖所在点，鼻尖所在点为距离中轴基线最远，且位于中轴基线最上方的点，所述中轴基线为中轴两端点的连线；
(3-4)进行三维人脸鼻梁定位，在鼻尖点附近找到鼻梁所在方向，鼻梁所在方向由鼻尖点附近靠近眉心侧的点确定；
(3-5)进行三维人脸对齐，根据步骤(3-3)和步骤(3-4)的结果，确定3D人脸姿态，将三维人脸矫正到标准的位置。
4.如权利要求1所述的基于三维优化子曲面的人脸识别方法，其特征在于，所述差值图的获取，具体为：在鼻尖点周围一定区域内进行采样，将规则化的三维人脸投影到二维平面，形成一张标准的深度图，并与库中预先存储的深度图进行差值计算，得到两张互反的差值图；
或，根据得到的差值图进行特征选择与最优化分类器的训练，具体为：
(5-1)计算单人脸类内差值图与不同人脸类间差值图，作为训练使用的数据集，其中类内差值图数量较少，全部使用，类间差值图根据样本的权重和分类器表现进行替换；
(5-2)初始情况下所有数据的权重相同，根据样本权重选择表现最好的特征进行训练；
(5-3)根据所有分类器的加权预测结果更新样本权重，若分类器预测表现为全部正确，则替换部分权重较小的类间样本；
(5-4)重复步骤(5-2)和步骤(5-3)，直至达到指定的特征数目，得到对应的分类器模型和相应的权重。
5.如权利要求4所述的基于三维优化子曲面的人脸识别方法，其特征在于，采用Haar特征作为分类器分类差值图时使用的特征，针对每个Haar特征，计算深度图的积分图子区域加权和，根据加权和划分成不同的子区间，子区间对应的输出根据落在该子区间内的训练样本权重计算，每个Haar特征作为一个子分类器，根据其表现赋予权重，并更新样本权重，替换部分类间样本，在实际测试时，根据加权和进行查表。
6.如权利要求1所述的基于三维优化子曲面的人脸识别方法，其特征在于，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，具体计算方式为：
其中Ii表示库中的深度图，Ip表示需要识别的三维人脸经处理得到的深度图，HT表示训练得到的分类器，Si表示当前库中样本的最终得分，得分最高的为识别结果。
7.如权利要求1所述的基于三维优化子曲面的人脸识别方法，其特征在于，采集三维人脸数据后，对三维人脸图像进行平滑去噪预处理，具体为：
(7-1)利用一个19×19的高斯滤波核对三维点云数据进行平滑滤波，针对滤波后的结果和原始的数据相差达到一定的阈值，认为该点是外点并进行剔除；
(7-2)利用(7-1)所述的高斯滤波核，根据周围有效的点计算当前的深度值期望，并予以替代，填充形成的空洞；
(7-3)利用一个11×11的高斯滤波核对三维点云数据进行平滑滤波，得到数据平滑去噪预处理的最终结果。
8.一种基于三维优化子曲面的人脸识别系统，其特征在于，包括：
数据采集和预处理模块，被配置为：采集三维人脸数据，对三维人脸图像进行平滑去噪预处理，将三维人脸转化为标准姿态的三维人脸；
数据处理模块，被配置为：将标准姿态的三维人脸投影后采样得到当前每张人脸的二维深度图，与预存储的深度图进行差值计算，得到两张互反的差值图；
分配器构建模块，被配置为：根据得到的差值图进行特征选择与最优化分类器的训练，得到基于差值图的不同子曲面的特征选择与最优化分类器模型；
人脸识别模块，被配置为：对于输入的每张测试的三维人脸，根据计算得到的差值图和特征选择与最优化分类器模型，计算子曲面特征加权得分，找到得分最高的预存储深度图，得到人脸识别结果。
9.一种存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于三维优化子曲面的人脸识别方法的步骤。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于三维优化子曲面的人脸识别方法的步骤。
CN201910749911.7A 2019-08-14 2019-08-14 一种基于三维优化子曲面的人脸识别方法及系统 Withdrawn CN110580451A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910749911.7A CN110580451A (zh) 2019-08-14 2019-08-14 一种基于三维优化子曲面的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910749911.7A CN110580451A (zh) 2019-08-14 2019-08-14 一种基于三维优化子曲面的人脸识别方法及系统

Publications (1)

Publication Number Publication Date
CN110580451A true CN110580451A (zh) 2019-12-17

Family

ID=68811218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910749911.7A Withdrawn CN110580451A (zh) 2019-08-14 2019-08-14 一种基于三维优化子曲面的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN110580451A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309124A (zh) * 2023-02-15 2023-06-23 霖鼎光学(江苏)有限公司 一种光学曲面模具的修正方法、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309124A (zh) * 2023-02-15 2023-06-23 霖鼎光学(江苏)有限公司 一种光学曲面模具的修正方法、电子设备及存储介质
CN116309124B (zh) * 2023-02-15 2023-10-20 霖鼎光学(江苏)有限公司 一种光学曲面模具的修正方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
JP5121506B2 (ja) 画像処理装置、画像処理方法、プログラム及び記憶媒体
CN109960742B (zh) 局部信息的搜索方法及装置
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
WO2017219391A1 (zh) 一种基于三维数据的人脸识别系统
US9626553B2 (en) Object identification apparatus and object identification method
CN110659582A (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
WO2015149696A1 (en) Method and system for extracting characteristic of three-dimensional face image
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
WO2023024766A1 (zh) 物体尺寸识别方法、可读存储介质及物体尺寸识别系统
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
CN112200056B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN112668374A (zh) 图像处理方法、装置、重识别网络的训练方法及电子设备
CN112446322A (zh) 眼球特征检测方法、装置、设备及计算机可读存储介质
CN113436251B (zh) 一种基于改进的yolo6d算法的位姿估计系统及方法
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
CN110580451A (zh) 一种基于三维优化子曲面的人脸识别方法及系统
CN112070077A (zh) 一种基于深度学习的食物识别方法和装置
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム
Farhani et al. Object recognition approach based on generalized hough transform and color distribution serving in generating arabic sentences
CN112183215B (zh) 一种结合多特征级联svm与人眼模板的人眼定位方法及系统
WO2021056531A1 (zh) 人脸性别识别方法、人脸性别分类器的训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20191217

WW01 Invention patent application withdrawn after publication