CN110675487B - 基于多角度二维人脸的三维人脸建模、识别方法及装置 - Google Patents

基于多角度二维人脸的三维人脸建模、识别方法及装置 Download PDF

Info

Publication number
CN110675487B
CN110675487B CN201910866438.0A CN201910866438A CN110675487B CN 110675487 B CN110675487 B CN 110675487B CN 201910866438 A CN201910866438 A CN 201910866438A CN 110675487 B CN110675487 B CN 110675487B
Authority
CN
China
Prior art keywords
face
feature
dimensional
model
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910866438.0A
Other languages
English (en)
Other versions
CN110675487A (zh
Inventor
温峻峰
李鑫
杜海江
江志伟
谢巍
张浪文
夏欢
翁冠碧
陈庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Tianwang Guangdong Technology Co ltd
Original Assignee
Zhongke Tianwang Guangdong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Tianwang Guangdong Technology Co ltd filed Critical Zhongke Tianwang Guangdong Technology Co ltd
Priority to CN201910866438.0A priority Critical patent/CN110675487B/zh
Publication of CN110675487A publication Critical patent/CN110675487A/zh
Application granted granted Critical
Publication of CN110675487B publication Critical patent/CN110675487B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种三维人脸识别方法及其装置，所述方法包括：提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；根据所述输出特征得到三维人脸识别的结果。

Description

基于多角度二维人脸的三维人脸建模、识别方法及装置
技术领域
本发明涉及人脸识别技术领域，尤其涉及一种基于多角度二维人脸的三维人脸建模、识别方法及装置。
背景技术
目前，用于人脸识别的方法一般都是二维人脸识别，但是二维人脸识别存在由于易受化装和光照等影响而导致的识别精度不够理想的缺点。为了解决这一缺点而提高人脸识别的准确性，目前采取的方法是通过三维人脸识别技术来进行人脸识别，即通过对人脸进行三维建模，然后再对三维人脸模型进行识别。并且，三维人脸模型的构建正是基于三维人脸模型的人像识别法的核心与关键。目前，构建三维人脸模型的方法主要是：通过表面轮廓扫描的方式来构建三维人脸模型。这种方法虽然在一定程度上重构了三维人脸模型，但是需要用到昂贵的扫描人脸表面轮廓的扫描器，从而导致传统三维人脸建模的成本较高。
发明内容
本发明实施例提供一种基于多角度二维人脸数据的三维脸模重组方法及系统，以降低三维人脸建模成本。
本发明实施例提供一种基于多角度二维人脸图片的三维人脸建模方法，包括：
识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的。
作为上述方案的改进，所述人脸关键特征信息点包括眼角、嘴角、瞳孔中心、嘴中心以及眼部边缘，则所述识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点，具体为：
利用RGB颜色空间分析法识别出多张不同拍摄角度的人脸图像中的人脸区域；
利用Prewitt算子提取出其中的瞳孔边缘信息，根据所述瞳孔边缘信息确定对应的所述人脸区域的瞳孔中心，并利用SUSAN算子检测出所述人脸区域中的眼角、嘴角及眼部边缘。
作为上述方案的改进，所述根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型，具体为：
按照所述多张人脸图像的人脸姿态的角度，逐次旋转所述标准人脸三维模型，以使旋转后的所述标准人脸三维模型的人脸姿态的角度与对应的人脸图像的人脸姿态的角度相同；
计算每次旋转后的所述标准人脸三维模型相对于对应的所述人脸图像的缩放比例因子与位置平移因子；
根据所述缩放比例因子调节所述标准人脸三维模型的人脸大小，并根据所述位置平移因子将所述标准人脸三维模型扣在对应的所述人脸图像的人脸区域上，从而得到三维人脸网格模型。
本发明另一实施例对应提供了一种基于多角度二维人脸图片的三维人脸建模装置，包括：
识别提取模块，用于识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
特征信息点匹配模块，用于将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
三维模型调整模块，用于根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
三维人脸图像生成模块，用于基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的。
与现有技术相比，本发明实施例公开的基于多角度二维人脸图片的三维人脸建模方法及装置，首先，通过识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；接着，将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一匹配调节；然后，根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；最后，基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像。由此可见，本发明实施例只需要利用多张不同拍摄角度的人脸图像，就可以构建出三维人脸模型，无需用到人脸扫描器，因此可以降低建模成本。此外，由于是利用多张不同拍摄角度的人脸图像来建立三维人脸模型，这样可以提高建模精度。
本发明另一实施例提供了一种三维人脸识别方法，包括：
提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；
通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
根据所述输出特征得到三维人脸识别的结果。
作为上述方案的改进，所述认知模型为：
F(x)＝a1f1(x)+a2f2(x)；
其中，a1和a2分别为所述人脸全局特征和所述人脸局部特征的加权权重，f1(x)为所述人脸全局特征的特征匹配结果的输出，f2(x)为所述人脸局部特征的特征匹配结果的输出；
f1(x)和f2(x)均由以下模型得到：
f(x)＝wTx+b；其中，x为输入的人脸特征数据，w，b为预先设定的模型参数，上标T表示矩阵的转矩。
作为上述方案的改进，所述通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，具体为：
利用ICP匹配算法将所述人脸局部特征与预设的人脸特征库中预存有的人脸局部特征样本进行匹配，并基于欧氏距离函数计算出所述人脸特征库中相对于所述人脸局部特征的欧氏距离最相近的人脸局部特征样本；
将所述人脸局部特征样本的所有像素点相对于所述人脸局部特征的对应像素点的欧氏距离从小到大排列，并获取所述人脸局部特征样本的欧氏距离排在前面预设比例或预设数量的像素点，以作为所述人脸局部特征的特征匹配结果。
作为上述方案的改进，所述人脸全局特征是通过2D-PCA算法对所述三维人脸图像进行提取的；
所述人脸关键轮廓线包括过鼻尖的中分轮廓线和水平轮廓线。
本发明另一实施例对应提供了一种三维人脸识别装置，包括：
特征提取模块，用于提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
特征匹配模块，用于通过欧氏距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；
特征融合模块，用于通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
识别模块，用于根据所述输出特征得到三维人脸识别的结果。
与现有技术相比，本发明实施例公开的所述三维人脸识别方法及装置，首先，通过提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；接着，通过欧氏距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；然后，通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；最后根据所述输出特征得到三维人脸识别的结果。由此可见，相比于单纯的局部特征识别或者全局特征识别，本发明实施例通过提取三维人脸图像的全局特征及局部特征，并在将提取到的全局特征及局部特征进行融合后再得到识别结果，这样可以将全局特征及局部特征的识别优点有机结合起来，从而提高三维人脸图像的识别精度。
本发明另一实施例提供了一种三维人脸识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的三维人脸识别方法。
附图说明
图1是本发明实施例一提供的一种基于多角度二维人脸图片的三维人脸建模方法的流程示意图；
图2a～2c是用不同拍摄角度的人脸图像对标准人脸三维模型进行匹配调整的示意图；
图3是通过对多张人脸图像进行人脸图片拼接而生成的人脸纹理图；
图4是本发明实施例二提供的一种基于多角度二维人脸图片的三维人脸建模装置的结构示意图；
图5是本发明实施例三提供的一种三维人脸识别方法的流程示意图；
图6是本发明实施例四提供的一种三维人脸识别方法的技术路线图；
图7是本发明实施例五提供的一种三维人脸识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
参见图1，是本发明实施例提供的一种基于多角度二维人脸图片的三维人脸建模方法的流程示意图，包括步骤S10至步骤S13：
S10，识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
具体地，首先在一个比较短的时间内对人脸进行不同角度的拍摄，以确保得到的多张具有不同拍摄角度的人脸图像具有人脸一致性。其中，得到的多张人脸图像中优选至少包括正脸的人脸图像、左侧脸的人脸图像及右侧脸的人脸图像。当得到多张不同拍摄角度的人脸图像后，对所述多张人脸图像进行人脸区域检测，以识别出所述多张人脸图像中的人脸区域，并提取每一张人脸图像中的人脸区域的人脸关键特征信息点。
优选地，所述人脸关键特征信息点包括眼角、嘴角、瞳孔中心、嘴中心以及眼部边缘。
进一步地，所述步骤S10具体包括步骤S100至步骤S101：
S100，利用RGB颜色空间分析法识别出多张不同拍摄角度的人脸图像中的人脸区域；
即，该步骤为人脸区域检测步骤。其中，本实施例的人脸区域检测技术介绍如下：
肤色是人脸的一个重要色彩信息，肤色区域是彩色人脸图像中数值相对稳定的区域，并且很容易区别于大多数背景物的颜色，同时颜色信息对方向不敏感，可以对旋转、缩放的人脸进行检测，而且不依赖于面部的细节特征，对表情等变化都能适用。鉴于肤色在图像中的这些特点，利用肤色作为特征来检测图像中的人脸区域很符合实际应用的要求。本发明实施例考虑采用二维的单高斯模型来对肤色进行建模。它不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的错误；由于不同色彩空间的肤色分布形状各不相同，要确保人脸初定位具有较高的准确性，就必须寻找肤色分布最为理想的色彩空间作为进行人脸定位的肤色空间。
本发明实施例采用RGB颜色空间分析法，对所述多张人脸图像的肤色块进行肤色检测和分类，统计出每张人脸图像的肤色的分布，并以此识别出多张不同拍摄角度的人脸图像中的人脸区域。优选的，通过RGB颜色空间分析法分析出所述人脸图像中的局部人脸区域，其中，所述局部人脸区域包括嘴部区域及眼部区域。
S101，利用Prewitt算子提取出其中的瞳孔边缘信息，根据所述瞳孔边缘信息确定对应的所述人脸区域的瞳孔中心，并利用SUSAN算子检测出所述人脸区域中的眼角、嘴角及眼部边缘。
即，该步骤为特征信息点提取步骤。其中，本实施例的特征信息点提取技术介绍如下：
为了计算三维人脸模型(具体为下文的标准三维人脸模型)的调整参数并估计人脸图像中的人脸姿态，需要在人脸区域上定义一组特征信息点来使三维人脸模型与人脸图像中的人脸相关联，从而计算调整模型的参数，使模型与人脸图像中的人脸相匹配。特征信息点的选择不仅要能够反映人脸特征的最重要特征、具有代表性，而且要容易提取。考虑到三维人脸模型构建的真实性与效率，特征信息点的个数既要包含足够的信息，又不能太多。因为眼睛、嘴巴等特征集中了人脸的大部分信息，为此，这里选取了眼角、嘴角、瞳孔中心、嘴中心以及眼睛处人脸边缘为特征信息点，其关键步骤包括瞳孔检测、眼睛特征的提取和嘴部特征提取。
具体地，利用Prewitt操作数对每张人脸图像的人脸区域(优选为眼部区域)进行灰度值处理，并提取其中的瞳孔边缘信息，然后基于提取到的瞳孔边缘信息确定每张人脸图像的瞳孔中心。此外，由于SUSAN操作数检测出所述人脸区域(优选为眼部区域与嘴部区域)中的眼角、嘴角及眼部边缘。
当得到上述特征信息点后，就需要对标准三维人脸模型进行模型调整。因为，标准三维人脸模型由113个三维顶点及184个三角面片来表示人脸表面的，它不具有任何一个人脸的特点，而人脸面部特征差异是客观存在的，对于一个特定的人，他的眼睛大小、鼻子高低、嘴唇形状以及相互之间的位置都刻画了这个人的面部特征。因此，将标准模型个性化是生成虚拟人脸的一个重要步骤。模型调整是基于模型人脸合成技术的关键步骤，获得的虚拟人脸能否逼真地模拟真实人脸，其特征区域的调整是非常重要的。
其中，模型调整的过程请参考下文的步骤S11及步骤S12：
S11，将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
具体地，当得到上述人脸关键特征信息点后，根据所述人脸关键特征信息点，对标准人脸三维模型的对应的特征信息点进行一一对应匹配调节，从而使所述标准三维人脸模型与每张人脸图像建立关联，并初步调整好所述标准三维人脸模型的特征信息点的坐标位置。
S12，根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
示例性地，所述步骤S12具体包括步骤S120至步骤S122：
S120，按照所述多张人脸图像的人脸姿态的角度，逐次旋转所述标准人脸三维模型，以使旋转后的所述标准人脸三维模型的人脸姿态的角度与对应的人脸图像的人脸姿态的角度相同；
S121，计算每次旋转后的所述标准人脸三维模型相对于对应的所述人脸图像的缩放比例因子与位置平移因子；
其中，在计算所述标准人脸三维模型相对于对应的所述人脸图像的位置平移因子时，标准三维人脸模型的坐标原点为双眼中心和嘴巴中心所组成的三角形中心，而所述人脸图像的坐标原点为人脸图像二值化灰度值矩阵的中心位置，然后通过人脸图像的仿射线性变换计算得到标准人脸三维模型的位置平移因子。
S122，根据所述缩放比例因子调节所述标准人脸三维模型的人脸大小，并根据所述位置平移因子将所述标准人脸三维模型扣在对应的所述多张人脸图像的人脸区域上，从而得到三维人脸网格模型，具体请参阅图2a～图2c。
S13，基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的，具体请参阅图3。
由于人脸图像是三维物体在二维平面上的投影，在采集数据的过程中必然会丢失一部分被遮挡的三维信息，所以一幅人脸图像不可能准确地表示物体的真实表面信息，它反映的只是人脸在一个角度的表面特征。本发明期望将多张不同角度的二维人脸图像中的信息结合起来，具体地，采用几何模型切分的人脸纹理图像生成算法，生成一幅与视点无关的人脸纹理图，即：通过对人脸几何模型对所述多张人脸图像进行切分，将切分后的图像轮廓作为边界，裁剪人脸图片，实现交界线的拼接，能够表示人脸各个角度的表面信息，从而克服一幅人脸图像信息不足的缺点。
当得到人脸纹理图后，利用柱面纹理映射方法将生成的人脸纹理图映射到三维人脸网格模型上，以对三维人脸网格模型进行纹理映射，来达到真实显示特定人脸的目的，完成了三维人脸模型的纹理显示，最终得到三维人脸图像。
由上分析可知，与现有技术相比，本发明实施例只需要利用多张不同拍摄角度的人脸图像，就可以构建出三维人脸模型，无需用到人脸扫描器，因此可以降低建模成本。此外，由于是利用多张不同拍摄角度的人脸图像来建立三维人脸模型，这样可以提高建模精度。
实施例二：
参见图4，是本发明实施例提供的一种基于多角度二维人脸图片的三维人脸建模装置的结构示意图，包括：
识别提取模块10，用于识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
特征信息点匹配模块11，用于将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
三维模型调整模块12，用于根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
三维人脸图像生成模块13，用于基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的。
与现有技术相比，本发明实施例公开的所述基于多角度二维人脸图片的三维人脸建模装置，通过所述识别提取模块10，识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；通过所述特征信息点匹配模块11，将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一匹配调节；通过所述三维人脸图像生成模块12，根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；通过所述三维人脸图像生成模块13，基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像。由此可见，本发明实施例只需要利用多张不同拍摄角度的人脸图像，就可以构建出三维人脸模型，无需用到人脸扫描器，因此可以降低建模成本。此外，由于是利用多张不同拍摄角度的人脸图像来建立三维人脸模型，这样可以提高建模精度。
具体地，所述人脸关键特征信息点包括眼角、嘴角、瞳孔中心、嘴中心以及眼部边缘。
优选地，所述识别提取模块包括：
人脸区域识别单元，用于利用RGB颜色空间分析法识别出多张不同拍摄角度的人脸图像中的人脸区域；
特征提取单元，用于利用Prewitt算子提取出其中的瞳孔边缘信息，根据所述瞳孔边缘信息确定对应的所述人脸区域的瞳孔中心，并利用SUSAN算子检测出所述人脸区域中的眼角、嘴角及眼部边缘。
优选地，所述三维模型调整模块包括：
旋转单元，用于按照所述多张人脸图像的人脸姿态的角度，逐次旋转所述标准人脸三维模型，以使旋转后的所述标准人脸三维模型的人脸姿态的角度与对应的人脸图像的人脸姿态的角度相同；
计算单元，用于计算每次旋转后的所述标准人脸三维模型相对于对应的所述人脸图像的缩放比例因子与位置平移因子；
模型调整单元，用于根据所述缩放比例因子调节所述标准人脸三维模型的人脸大小，并根据所述位置平移因子将所述标准人脸三维模型扣在对应的所述人脸图像的人脸区域上，从而得到三维人脸网格模型。
实施例三：
本发明实施例提供了一种基于多角度二维人脸图片的三维人脸建模设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现发明实施例一所述的基于多角度二维人脸图片的三维人脸建模方法。
在现有技术中，三维人脸的识别方式一般有以下两种：一种是通过提取三维人脸的局部特征来进行识别，另一种是通过提取三维人脸的全局特征来进行识别。其中，全局特征指的是能够有效表征人脸整体轮廓的特征，全局特征对复杂背景非常敏感。与全局特征不同的是，局部特征反应的是人脸的部分属性，它侧重的是人脸的细节特征，它对人脸的姿态、表情和光照等变化具有一定的鲁棒性。不过，不论是人脸局部特征识别方式还是人脸全局特征识别方式，都存在各自的识别局限性，所以，单纯的局部特征识别或者单纯的全局特征识别，均不利于提高三维人脸的识别精度。为了解决这一技术问题，本发明还提供以下实施例：
实施例四：
参见图5，是本发明实施例提供的一种三维人脸识别方法的流程示意图，包括步骤S20至步骤S23：
S20，提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
三维人脸图像是一种深度图像，即中每个像素点灰度值分别代表的人脸表面上的对应点到摄像头焦点之间的相对距离。因此所谓的深度图像即是，将代表深度距离的点云数据(包括图像几何位置和颜色的数据)以某个角度(一般都是以正面人脸的角度)进行映射，得到经过插值处理后的二维平面图像，因此对应的像素点能够有效地反映原始距离。
其中，人脸全局特征的提取方式如下：
由于2D-PCA(二维主成分分析)算法直接采用二维图像的矩阵表示人脸样本并进行特征提取，而不是将其转化为一维向量，这样能准确的计算协方差矩阵，且所需时间较少。
此外，人脸局部特征的提取方式如下：
人脸轮廓线能有效的表示人脸曲面的有效特征，而且人脸轮廓线为二维曲线，因此可以将三维人脸曲面形状的匹配转化为二维曲线的匹配问题，从而大大的降低数据量及问题的复杂性。人脸的过鼻尖的中分轮廓线和水平轮廓线可以有效的反映人脸的几何特征，且受人脸模型姿势因素的影响较小，因此提取人脸的中分和水平轮廓线作为人脸局部特征。
S21，通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；
其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；所述人脸特征库中人脸全局特征样本和人脸局部特征样本均为在训练阶段时预先采集到的。
优选地，本发明实施例通过欧氏距离函数来计算出所述人脸局部特征与所述人脸全局特征各自相对于预设的人脸特征库中距离最相近的目标特征，当然还可以通过其他距离函数来算出，例如曼哈顿距离函数。
具体地，″通过距离函数，计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果″的具体过程如下：
当采用2D-PCA算法直接对三维人脸图像进行特征提取而得到深度图像特征矩阵后，设所述人脸特征库中三维图像样本采样后的深度图像矩阵构成训练样本集M＝{X1，X2，…，XN}，且对应的样本均值可表示为：
Figure BDA0002201402840000201
对应的协方差为：
Figure BDA0002201402840000202
其中N为训练样本的个数，求协方差矩阵s前d个最大特征值λ1，λ2，…，λd，对应协方差矩阵s的特征向量a1，a2，…，ad，将前d个特征向量扩张成特征子空间，构成投影矩阵U＝[a1，a2，…，ad]。将样本图像Xk向特征空间投影得到投影值：
Qk＝XkU，k＝1，2，…，N
将人脸测试样本X(即待识别的所述三维人脸图像的深度图像矩阵)以类似的方式投影到特征空间内得到投影值Q。因此可以计算人脸测试样本X与所述人脸特征库中各三维图像样本的人脸全局特征样本Xk投影之间的欧氏距离函数：
dgk＝||Qk-Q||2 k＝1，2，…，N
并以欧氏距离dgk衡量测试样本X与人脸全局特征样本Xk之间的相似度，其中所述人脸特征库中欧氏距离最小的人脸全局特征样本即为所述人脸全局特征的的目标特征。
具体地，所述通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，具体为：
利用ICP匹配算法将所述人脸局部特征与预设的人脸特征库中预存有的人脸局部特征样本进行匹配，并基于欧氏距离函数计算出所述人脸特征库中相对于所述人脸局部特征的欧氏距离最相近的人脸局部特征样本；
将所述人脸局部特征样本的所有像素点相对于所述人脸局部特征的对应像素点的欧氏距离从小到大排列，并获取所述人脸局部特征样本的欧氏距离排在前面预设比例(优选为前80％)或预设数量的像素点，以作为所述人脸局部特征的特征匹配结果。
本实施例利用ICP匹配算法进行轮廓线匹配，并将数据点之间的欧氏距离从小到大排列，保留前欧氏距离排在前面预设比例(优选为前80％)或预设数量的像素点以用于后续识别时的计算旋转矩阵和平移矩阵，从而使得运算量减小，收敛速度也得到大幅度的提高。
S22，通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
具体地，所述认知模型为：
F(x)＝a1f1(x)+a2f2(x)；
其中，a1和a2分别为所述人脸全局特征和所述人脸局部特征的加权权重，为在对训练样本进行训练时而设定的，f1(x)为所述人脸全局特征的特征匹配结果的输出，f2(x)为所述人脸局部特征的特征匹配结果的输出；
f1(x)和f2(x)均由以下模型得到：
f(x)＝wTx+b；其中，x为输入的人脸特征数据，w，b为预先设定的模型参数，T表示矩阵(即特征矩阵，如人脸全局特征的深度图像特征矩阵、人脸局部特征的人脸关键轮廓线的特征矩阵)的转矩。
对于一个给定的人脸样本特征数据A(即上述得到的目标特征)，其对应的认知模型为
f(x)＝wTx+b
其中f(x)为特征匹配结果输出，x为输入特征数据，w，b为模型参数，本实施通过求解如下的优化问题获得模型参数w，b：
Figure BDA0002201402840000231
s.t. Y-(Aw+be)≤εe+ξ，ξ≥0
(Aw+be)-Y≤εe+ξ*，ξ≥0
C＞0
其中A为输入人像样本特征矩阵，Y为输出人像样本特征矩阵，ξ和ξ*为松弛变量，e为有n维数据的向量，ε和C分别是松弛因子和惩罚系数。
通过所述认知模型实现所述人脸全局特征与人脸局部特征的融合，对得到的全局特征认知模型输出(记为f1(x))、局部特征认知模型输出(记为f2(x))进行加权和方式融合，即得到实际输出特征为F(x)＝a1f1(x)+a2f2(x)。
S23，根据所述输出特征得到三维人脸识别的结果。
即，当得到加权后的结果后，对该测试人脸的输出特征采用最近邻方法作为人脸识别的分类策略，即依据最短欧氏距离作为判定准则，在预设的样本空间中搜索与测试样本距离最近的训练样本，该训练样本对应的人脸，即是测试人脸对应的识别结果。
由上分析可知，相比于现有技术的单纯的局部特征识别或者全局特征识别，本发明实施例提供的三维人脸识别方法，参见图6，通过提取三维人脸图像的全局特征及局部特征，并将提取到的全局特征及局部特征进行融合后再得到识别识别结果，这样可以将全局特征及局部特征的识别优点有机结合起来，从而提高三维人脸图像的识别精度。
实施例五：
参见图7，是本发明实施例提供的一种三维人脸识别装置的结构示意图，包括：
特征提取模块20，用于提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
特征匹配模块21，用于通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；
特征融合模块22，用于通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
识别模块23，用于根据所述输出特征得到三维人脸识别的结果。
相比于现有技术的单纯的局部特征识别或者全局特征识别技术，本发明实施例公开的所述三维人脸识别装置，参见图6，通过提取三维人脸图像的全局特征及局部特征，并在将提取到的全局特征及局部特征进行融合后再得到识别识别结果，这样可以将全局特征及局部特征的识别优点有机结合起来，从而提高三维人脸图像的识别精度。
实施例六：
本发明另一实施例提供了一种三维人脸识别设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现发明实施例四所述的三维人脸识别方法。
需要说明的是，在上述实施例中，示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述基于多角度二维人脸图片的三维人脸建模装置、基于多角度二维人脸图片的三维人脸建模设备、三维人脸识别装置或三维人脸识别设备中的执行过程。
所述基于多角度二维人脸图片的三维人脸建模设备/三维人脸识别设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于多角度二维人脸图片的三维人脸建模设备/三维人脸识别设备可包括，但不仅限于，处理器、存储器。例如还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述基于多角度二维人脸图片的三维人脸建模设备/三维人脸识别设备的控制中心，利用各种接口和线路连接整个基于多角度二维人脸图片的三维人脸建模设备/三维人脸识别设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于多角度二维人脸图片的三维人脸建模设备/三维人脸识别设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中，所述基于多角度二维人脸图片的三维人脸建模装置、基于多角度二维人脸图片的三维人脸建模设备、三维人脸识别装置或三维人脸识别设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (6)

1.一种三维人脸识别方法，其特征在于，包括：
提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；
通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
根据所述输出特征得到三维人脸识别的结果；
所述三维人脸图像的识别流程为：
步骤S10，识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
所述步骤S10具体为：
S100，利用RGB颜色空间分析法识别出多张不同拍摄角度的人脸图像中的人脸区域；
S101，利用Prewitt算子提取出其中的瞳孔边缘信息，根据所述瞳孔边缘信息确定对应的所述人脸区域的瞳孔中心，并利用SUSAN算子检测出所述人脸区域中的眼角、嘴角及眼部边缘；
步骤S11，将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
步骤S12，根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
所述步骤S12具体为：
S120，按照所述多张人脸图像的人脸姿态的角度，逐次旋转所述标准人脸三维模型，以使旋转后的所述标准人脸三维模型的人脸姿态的角度与对应的人脸图像的人脸姿态的角度相同；
S121，计算每次旋转后的所述标准人脸三维模型相对于对应的所述人脸图像的缩放比例因子与位置平移因子；
S122，根据所述缩放比例因子调节所述标准人脸三维模型的人脸大小，并根据所述位置平移因子将所述标准人脸三维模型扣在对应的所述多张人脸图像的人脸区域上，从而得到三维人脸网格模型；
S13，基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的。
2.如权利要求1所述的三维人脸识别方法，其特征在于，所述认知模型为：
F(x)＝a1f1(x)+a2f2(x)；
其中，a1和a2分别为所述人脸全局特征和所述人脸局部特征的加权权重，f1(x)为所述人脸全局特征的特征匹配结果的输出，f2(x)为所述人脸局部特征的特征匹配结果的输出；
f1(x)和f2(x)均由以下模型得到：
f(x)＝wTx+b；其中，x为输入的人脸特征数据，w,b为预先设定的模型参数，T表示矩阵的转矩。
3.如权利要求2所述的三维人脸识别方法，其特征在于，所述通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，具体为：
利用ICP匹配算法将所述人脸局部特征与预设的人脸特征库中预存有的人脸局部特征样本进行匹配，并基于欧氏距离函数计算出所述人脸特征库中相对于所述人脸局部特征的欧氏距离最相近的人脸局部特征样本；
将所述人脸局部特征样本的所有像素点相对于所述人脸局部特征的对应像素点的欧氏距离从小到大排列，并获取所述人脸局部特征样本的欧氏距离排在前面预设比例或预设数量的像素点，以作为所述人脸局部特征的特征匹配结果。
4.如权利要求1至3任一项所述的三维人脸识别方法，其特征在于，所述人脸全局特征是通过2D-PCA算法对所述三维人脸图像进行提取的；
所述人脸关键轮廓线包括过鼻尖的中分轮廓线和水平轮廓线。
5.一种三维人脸识别装置，其特征在于，包括：
特征提取模块，用于提取待识别的三维人脸图像中的深度图像特征矩阵以作为人脸全局特征，并提取所述三维人脸图像中的人脸关键轮廓线以作为人脸局部特征；
特征匹配模块，用于通过距离函数，计算出所述人脸局部特征相对于预设的人脸特征库中距离最相近的目标特征，并计算出所述人脸全局特征相对于所述人脸特征库中距离最相近的目标特征，以得到所述人脸全局特征与所述人脸局部特征各自的特征匹配结果；其中，所述人脸特征库中预存有多张三维人脸图像样本的人脸全局特征样本和人脸局部特征样本；
特征融合模块，用于通过预设的用于人脸特征融合的认知模型，对所述人脸全局特征与人脸局部特征各自的特征匹配结果进行加权和融合，以得到融合后的用于人脸识别的输出特征；
识别模块，用于根据所述输出特征得到三维人脸识别的结果；
识别提取模块，用于识别出多张不同拍摄角度的人脸图像中的人脸区域，并提取所述人脸区域的人脸关键特征信息点；
具体为：
利用RGB颜色空间分析法识别出多张不同拍摄角度的人脸图像中的人脸区域；
利用Prewitt算子提取出其中的瞳孔边缘信息，根据所述瞳孔边缘信息确定对应的所述人脸区域的瞳孔中心，并利用SUSAN算子检测出所述人脸区域中的眼角、嘴角及眼部边缘；
特征信息点匹配模块，用于将所述人脸关键特征信息点与标准人脸三维模型的对应的特征信息点进行一一对应匹配调节；
三维模型调整模块，用于根据所述多张人脸图像，对所述标准人脸三维模型进行人脸大小与形状的匹配调整，以得到三维人脸网格模型；
具体为：
按照所述多张人脸图像的人脸姿态的角度，逐次旋转所述标准人脸三维模型，以使旋转后的所述标准人脸三维模型的人脸姿态的角度与对应的人脸图像的人脸姿态的角度相同；
计算每次旋转后的所述标准人脸三维模型相对于对应的所述人脸图像的缩放比例因子与位置平移因子；
根据所述缩放比例因子调节所述标准人脸三维模型的人脸大小，并根据所述位置平移因子将所述标准人脸三维模型扣在对应的所述多张人脸图像的人脸区域上，从而得到三维人脸网格模型；
三维人脸图像生成模块，用于基于与视点无关的人脸纹理图，对所述三维人脸网格模型进行纹理映射，以生成三维人脸图像；其中，人脸纹理图是通过对所述多张人脸图像进行人脸图片拼接而生成的。
6.一种三维人脸识别设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4中任意一项所述的三维人脸识别方法。
CN201910866438.0A 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置 Active CN110675487B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910866438.0A CN110675487B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811521949.0A CN109859305B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN201910866438.0A CN110675487B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201811521949.0A Division CN109859305B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置

Publications (2)

Publication Number Publication Date
CN110675487A CN110675487A (zh) 2020-01-10
CN110675487B true CN110675487B (zh) 2023-05-09

Family

ID=66891096

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201811521949.0A Active CN109859305B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN201910866438.0A Active CN110675487B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811521949.0A Active CN109859305B (zh) 2018-12-13 2018-12-13 基于多角度二维人脸的三维人脸建模、识别方法及装置

Country Status (1)

Country Link
CN (2) CN109859305B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112836545A (zh) * 2019-11-22 2021-05-25 北京新氧科技有限公司 一种3d人脸信息处理方法、装置及终端
CN113301242A (zh) * 2020-02-21 2021-08-24 中兴通讯股份有限公司 拍摄方法、终端以及计算机可读存储介质
CN112001360B (zh) * 2020-09-09 2021-06-04 深圳市集互共享科技有限公司 一种基于智能调节的人脸识别监控系统
CN112528902B (zh) * 2020-12-17 2022-05-24 四川大学 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
CN112613551A (zh) * 2020-12-17 2021-04-06 东风汽车有限公司 汽车零部件识别方法、存储介质及系统
CN112598576B (zh) * 2020-12-24 2021-10-08 中标慧安信息技术股份有限公司 基于人脸识别的安全验证方法和系统
CN112801001B (zh) * 2021-02-05 2021-10-22 读书郎教育科技有限公司 一种平板内置人脸识别安全系统
CN112883870A (zh) * 2021-02-22 2021-06-01 北京中科深智科技有限公司 一种人脸影像映射方法及系统
CN113506220B (zh) * 2021-07-16 2024-04-05 厦门美图之家科技有限公司 3d顶点驱动的人脸姿态编辑方法、系统及电子设备
CN114035482A (zh) * 2021-11-25 2022-02-11 佛山市川东磁电股份有限公司 一种楼宇智能监控系统及监控方法
CN114267068B (zh) * 2021-12-24 2022-11-01 合肥的卢深视科技有限公司 基于连续帧信息的人脸识别方法、电子设备及存储介质
CN115272587B (zh) * 2022-09-26 2023-05-30 深圳市纵维立方科技有限公司 用于3d打印的模型文件生成方法、介质及电子设备
CN115409953B (zh) * 2022-11-02 2023-03-28 汉斯夫(杭州)医学科技有限公司 基于多相机颜色一致性的颌面重建方法、设备及介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101593365A (zh) * 2009-06-19 2009-12-02 电子科技大学 一种通用三维人脸模型的调整方法
CN101739719B (zh) * 2009-12-24 2012-05-30 四川大学 二维正面人脸图像的三维网格化方法
CN103116902A (zh) * 2011-11-16 2013-05-22 华为软件技术有限公司 三维虚拟人头像生成方法、人头像运动跟踪方法和装置
CN102663810B (zh) * 2012-03-09 2014-07-16 北京航空航天大学 一种基于相位偏移扫描的三维人脸全自动建模方法
CN104157010B (zh) * 2014-08-29 2017-04-12 厦门幻世网络科技有限公司 一种3d人脸重建的方法及其装置
CN104376594B (zh) * 2014-11-25 2017-09-29 福建天晴数码有限公司 三维人脸建模方法和装置
US9817248B2 (en) * 2014-12-23 2017-11-14 Multimedia Image Solution Limited Method of virtually trying on eyeglasses
CN104598873A (zh) * 2014-12-24 2015-05-06 苏州福丰科技有限公司 一种门锁三维人脸识别方法
KR102146398B1 (ko) * 2015-07-14 2020-08-20 삼성전자주식회사 3차원 컨텐츠 생성 장치 및 그 3차원 컨텐츠 생성 방법
CN106652025B (zh) * 2016-12-20 2019-10-01 五邑大学 一种基于视频流与人脸多属性匹配的三维人脸建模方法和打印装置
KR20180097915A (ko) * 2017-02-24 2018-09-03 트라이큐빅스 인크. 개인 맞춤형 3차원 얼굴 모델 생성 방법 및 그 장치
CN108549873B (zh) * 2018-04-19 2019-12-24 北京华捷艾米科技有限公司 三维人脸识别方法和三维人脸识别系统

Also Published As

Publication number Publication date
CN110675487A (zh) 2020-01-10
CN109859305A (zh) 2019-06-07
CN109859305B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109359538B (zh) 卷积神经网络的训练方法、手势识别方法、装置及设备
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
CN111243093B (zh) 三维人脸网格的生成方法、装置、设备及存储介质
CN110147721B (zh) 一种三维人脸识别方法、模型训练方法和装置
WO2020103700A1 (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN105740780B (zh) 人脸活体检测的方法和装置
CN111160269A (zh) 一种人脸关键点检测方法及装置
Liu et al. Real-time robust vision-based hand gesture recognition using stereo images
CN109934847B (zh) 弱纹理三维物体姿态估计的方法和装置
EP2339507B1 (en) Head detection and localisation method
JP2016161569A (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
JP2023545200A (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
CN111553284A (zh) 人脸图像处理方法、装置、计算机设备和存储介质
JP2009020761A (ja) 画像処理装置及びその方法
US20190333242A1 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
WO2019228471A1 (zh) 指纹识别方法、设备及计算机可读存储介质
Ozbay et al. A hybrid method for skeleton extraction on Kinect sensor data: Combination of L1-Median and Laplacian shrinking algorithms
Colombo et al. Gappy PCA classification for occlusion tolerant 3D face detection
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras
Guo et al. Hand gesture recognition and interaction with 3D stereo camera
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
CN113012030A (zh) 图像拼接方法、装置及设备
CN115345927A (zh) 展品导览方法及相关装置、移动终端和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant