CN116704622B - 一种基于重建3d模型的智能机柜人脸识别方法 - Google Patents

一种基于重建3d模型的智能机柜人脸识别方法 Download PDF

Info

Publication number
CN116704622B
CN116704622B CN202310682710.6A CN202310682710A CN116704622B CN 116704622 B CN116704622 B CN 116704622B CN 202310682710 A CN202310682710 A CN 202310682710A CN 116704622 B CN116704622 B CN 116704622B
Authority
CN
China
Prior art keywords
control module
central control
landmark
shape
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310682710.6A
Other languages
English (en)
Other versions
CN116704622A (zh
Inventor
徐毓皓
丁超
徐�明
于景路
李红艳
毕成林
王欢
王琢
张浩博
刘胤
徐菲
张晓宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiamusi Power Supply Co Of State Grid Heilongjiang Electric Power Co ltd
State Grid Corp of China SGCC
Original Assignee
Jiamusi Power Supply Co Of State Grid Heilongjiang Electric Power Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiamusi Power Supply Co Of State Grid Heilongjiang Electric Power Co ltd, State Grid Corp of China SGCC filed Critical Jiamusi Power Supply Co Of State Grid Heilongjiang Electric Power Co ltd
Priority to CN202310682710.6A priority Critical patent/CN116704622B/zh
Publication of CN116704622A publication Critical patent/CN116704622A/zh
Application granted granted Critical
Publication of CN116704622B publication Critical patent/CN116704622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50—Maintenance of biometric data or enrolment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人脸技术领域，尤其是涉及一种基于重建3D模型的智能机柜人脸识别方法，包括，步骤S1、选取人像面部具备代表性的面部地标点；步骤S2、建立点分布模型；步骤S3、建立点分布模型映射给定对象算法；步骤S4、完成主动形状模型的建立；步骤S5、输入至编码器网络以恢复三维人脸形状的身份和剩余形状分量；步骤S6、所述中控模块将所述三维人脸形状的身份和所述剩余形状分量进行线性组合以获得示例集，并导出3D可变形人脸模型。解决了现有技术中建模的过程过于冗杂且精准度不够的问题。

Description

一种基于重建3D模型的智能机柜人脸识别方法
技术领域
本发明涉及人脸技术领域，尤其是涉及一种基于重建3D模型的智能机柜人脸识别方法。
背景技术
在互联网技术迅速发展的今天，信息共享一方面为人们的生活和工作提供了便利，另一方面则对个人隐私的安全性带来了威胁，因此完善身份认证技术、保障信息安全成为目前的重点工作。作为一种通过获取人面部的特征信息进行身份确认的技术，人脸识别近年来一直是人工智能、计算机视觉、心理学等领域的热门研究问题，同时在电力系统的识别认证中起着重要作用。如何确保对人像的精准识别是系统企业管理亟待解决的问题。为了提高企业识别认证系统的精准度，为身份识别提供稳定的条件，国内外积极研究有关人脸识别认证的技术。虽然人脸的幅度动作只是很轻微的角度不同，但是大部分算法的精确度都会下降超过10％，企业希望在这种情况下也能对员工的身份进行精准的识别认证。在此背景下，提出了多角度人脸识别认证方法。与传统的人脸识别认证不同，这种人脸识别技术可以克服角度变化而导致识别率降低的问题。
对于这种多角度人脸识别现有的方法，一般可以分为三类：一是直接提取人脸的鲁棒性特征；二是先对非正脸进行人脸正面化，再进行人脸识别；三是生成多角度人脸数据库，利用多角度人脸进行识别，现有的方法有很多局限性和不足。首先，目前利用3D方法生成的人脸正面图效果都比较理想，但需要大量的数据作为支撑，获取3D数据的设备非常昂贵，优化和训练都十分复杂耗时。其次，现有技术使用3D扫描仪或立体图像、多视图图像或单视图图像进行3D人脸建模，也使建模的过程过于冗杂。第三，现在的3D重建试图恢复尽可能多的面部细节，不管细节是否有利于或分散面部身份识别。
发明内容
为此，本发明提供，用以克服现有技术中建模的过程过于冗杂且精准度不够的问题。
为实现上述目的，本发明提供一种基于重建3D模型的智能机柜人脸识别方法，包括：
步骤S1，中控模块选取人像面部具备代表性的面部地标点，并提取面部地标点对应的特征以形成对应的标志组；
步骤S2，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量，并计算重建的地标检测轮廓向量，中控模块将计算的向量存储在预设矩阵中以建立点分布模型；
步骤S3，所述中控模块建立点分布模型映射给定对象算法，并控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式以规范所述点分布模型；
步骤S4，所述中控模块计算原始轮廓和重建轮廓之间的距离，以完成主动形状模型的建立；
步骤S5，所述中控模块将所述主动形状模型输入至编码器网络以恢复三维人脸形状的身份和剩余形状分量；
步骤S6，所述中控模块将所述三维人脸形状的身份和所述剩余形状分量进行线性组合以获得示例集，并导出3D可变形人脸模型。
进一步地，所述步骤S1中，所述面部地标点包括：右眼外角、右眼内角、左眼内角、左眼外角、鼻尖、右嘴上角、左嘴上角以及下巴尖；所述中控模块选取所述右眼外角、所述右眼内角、所述左眼内角、所述左眼外角、所述鼻尖、所述右嘴上角、所述左嘴上角以及所述下巴尖，并提取对应的特征以形成人脸正视标志组；所述中控模块选取所述右眼外角、所述右眼内角、所述鼻尖、所述右嘴上角以及所述下巴尖，并提取对应的特征以形成人脸右视标志组。
进一步地，所述步骤S2中，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量g0，设定其中，g为地标点检测轮廓，/>为地标点检测平均轮廓，为地标点检测轮廓中心化后协方差矩阵中特征值对应的前t个特征向量；所述中控模块计算重建的地标检测轮廓向量gr，设定/>其中pg为/>的转置，g'为中心化后的地标点检测轮廓。
进一步地，所述步骤S3包括：
步骤S31、初始化所述地标点的平均形状，以获得地标点检测平均轮廓设定其中，gi为人脸图像训练集中的第i张人脸地标点检测轮廓；
步骤S32、使用KNN分类器进行评估，通过改变角度将所述地标点移动到新位置，通过计算为重建的地标检测轮廓向量gr寻找对应类别标签样本，根据少数服从多数的原则，采用投票表决方式选出重建轮廓所属类别，其数学式为其中，I(g)是指示函数，当为真的时候，输出为1，否则输出为0，两个样本点之间距离度量用来衡量空间上的差异性；
步骤S33、将形状模型与置换的地标相匹配，将S32中重建的地标检测轮廓向量建立为具体形状模型；
步骤S34、迭代重复步骤S32和步骤S33；
步骤S35、中控模块控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式。
进一步地，所述步骤S4中，所述中控模块计算原始轮廓和重建轮廓之间的距离f(g)，设定其中c是加权常数，I＝0是地标点不位于索贝尔边缘的强度，I＝1是地标点位于索贝尔边缘的强度，Sg为灵敏度。
进一步地，所述步骤S5中，所述编码器网络由若干个卷积层和一个完全连接(FC)层组成，所述中控模块将FC层的512dim输出作为三维人脸形状的身份和剩余形状分量。
进一步地，所述步骤S6中，所述中控模块通过计算重投影错误值Erp确定剩余形状分量的精度，设定其中，α∈Rs用于创建形状，R为旋转矩阵，t为平移矩阵，s为形状矩阵，SOP为比例正交投影，Pi为主成分，为平均形状，Xi为形状分量，i＝1，2，3，...L，L为面部地标点对应的特征总数。
进一步地，在所述步骤S35中，若其中点分布模型映射给定对象算法不符合预设标准，中控模块将所述步骤S32中的所述角度增大至对应值，或，将所述步骤S34中迭代的次数增加至对应值。
进一步地，在所述步骤S35中，所述中控模块分辨率比对为通过对应分辨率确定，其中：
若所述分辨率小于所述中控模块中设置的第一预设分辨率，则判定所述步骤S32中的所述角度的调节方式；
若所述分辨率大于等于所述第一预设分辨率且小于所述中控模块中设置的第二预设分辨率，则判定所述步骤S34中迭代的次数的调节方式。
进一步地，所述中控模块在第一预设条件下增加所述步骤S34中迭代的次数的若干调节方式，其中，每种调节方式对迭代的次数的调节大小不同；所述第一预设条件满足所述分辨率大于等于所述第一预设分辨率且小于所述中控模块中设置的第二预设分辨率。
与现有技术相比，本发明的有益效果在于，本发明通过两大部分完成了3D人脸模型的识别，即通过建立主动形状模型和3D可变形人脸模型。首先，主动形状模型用于根据形状获取人脸上的地标点，而3D可变形人脸模型用于利用这些点重建三维人脸模型，克服现有技术中建模的过程过于冗杂且精准度不够的问题。
进一步地，由于在机房管理人员人脸识别过程中细致到每个细节会产生大量的冗杂信息，并且这些冗余信息会降低系统的识别认证速度，通过选取具有代表性的地标点，只根据面部敏感特征就可以实现精准识别，不仅在保证精度的同时也达到了节省时间的目的。
进一步地，模型的变化需基于训练集中每个地标位置的变化，每个图像中的形状都应该用相应的地标点进行标记，并且在训练集应包含不同形式的图像，因此建立点分布模型，对地标点的变化分布进行建模，保证了建模的准确度。
进一步地，通过建立点分布模型映射给定对象算法可以确保形状的变化不超过预定义的阈值，有力地收敛了此对齐过程，实现了角度的规范化。
进一步地，为训练图像的多分辨率版本中的每个地标点生成灰度轮廓，相应地建立起主动形状模型，其可根据形状获取人脸上的地标点，从而达到仅使用一张正面人脸图就可以重建3D人脸模型的目的。
进一步地，中控模块将所述主动形状模型输入至编码器网络以恢复三维人脸形状的身份和剩余形状分量可以从单个二维图像中分离3D人脸重建过程中的形状特征，从而可以同时完成重建精确的3D人脸形状和学习用于人脸识别的判别形状特征的任务。
进一步地，将所述三维人脸形状的身份和所述剩余形状分量进行线性组合以获得示例集，并导出3D可变形人脸模型，同时中控模块通过计算重投影错误值确定剩余形状分量的精度，实现了从片段到连续的过渡，从而导出了3D可变形人脸模型，达到了3D人脸模型重建的目的。
进一步地，当中控模块建立点分布模型映射给定对象算法时，如果点分布模型映射给定对象算法不符合预设标准，中控模块将所述步骤S32中的所述角度增大至对应值或将所述步骤S34中迭代的次数增加至对应值，以保证点分布模型的分辨精度。
进一步地，中控模块总结了测得的点分布模型的分辨率与计算过程的规律，通过分辨率的比对进行相应的角度和迭代次数的相应调节。
进一步地，当经过点分布模型映射给定对象算法计算后的点分布模型的分辨率不达标时，中控模块将步骤S34中迭代的次数增加至对应值，以解决点分布模型的分辨率不达标的问题，最终克服现有技术中建模的过程过于冗杂且精准度不够的问题。
附图说明
图1为本发明实施例所述基于重建3D模型的智能机柜人脸识别方法的流程图；
图2为本发明实施例所述点分布模型映射给定对象算法的流程图；
图3为本发明实施例所述点分布模型映射给定对象算法的判定方式的流程图；
图4为本发明实施例所述解码器网络图结构示意图；
图5A为本发明实施例所述生成三维模型的草图；
图5B为本发明实施例所述检测到的各个标志点；
图5C为本发明实施例所述生成的重建3D模型。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要指出的是在本实施例中的数据均为通过本发明所述方法在本次重建3D模型前三个月的历史检测数据以及对应的历史检测结果中综合分析评定得出。
本发明所述方法在本次重建3D模型前根据前三个月中累计进行的1224次对算法修正和模型分辨率的检测综合确定针对本次重建模型的各项预设参数标准的数值。本领域的技术人员可以理解的是，本发明所述系统针对单项上述参数的确定方式可以为根据数据分布选取占比最高的数值作为预设标准参数、使用加权求和以将求得的数值作为预设标准参数、将各历史数据代入至特定公式并将利用该公式求得的数值作为预设标准参数或其他选取方式，只要满足本发明所述系统能够通过获取的数值明确界定单项判定过程中的不同特定情况即可。
请参阅图1、图2、图3以及图4所示，其分别本发明所述基于重建3D模型的智能机柜人脸识别方法的流程图；所述点分布模型映射给定对象算法的流程图；所述点分布模型映射给定对象算法的判定方式的流程图；所述解码器网络图结构示意图。
本发明实施例：
一种基于重建3D模型的智能机柜人脸识别方法，包括：
步骤S1，中控模块选取人像面部具备代表性的面部地标点，并提取面部地标点对应的特征以形成对应的标志组；
步骤S2，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量，并计算重建的地标检测轮廓向量，中控模块将计算的向量存储在预设矩阵中以建立点分布模型；
步骤S3，所述中控模块建立点分布模型映射给定对象算法，并控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式以规范所述点分布模型；
步骤S4，所述中控模块计算原始轮廓和重建轮廓之间的距离，以完成主动形状模型的建立；
步骤S5，所述中控模块将所述主动形状模型输入至编码器网络以恢复三维人脸形状的身份和剩余形状分量；
步骤S6，所述中控模块将所述三维人脸形状的身份和所述剩余形状分量进行线性组合以获得示例集，并导出3D可变形人脸模型。
具体而言，所述步骤S1中，所述面部地标点包括：右眼外角、右眼内角、左眼内角、左眼外角、鼻尖、右嘴上角、左嘴上角以及下巴尖；所述中控模块选取所述右眼外角、所述右眼内角、所述左眼内角、所述左眼外角、所述鼻尖、所述右嘴上角、所述左嘴上角以及所述下巴尖，并提取对应的特征以形成人脸正视标志组；所述中控模块选取所述右眼外角、所述右眼内角、所述鼻尖、所述右嘴上角以及所述下巴尖，并提取对应的特征以形成人脸右视标志组。
具体而言，所述步骤S2中，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量g0，设定其中，g为地标点检测轮廓，/>为地标点检测平均轮廓，/>为地标点检测轮廓中心化后协方差矩阵中特征值对应的前t个特征向量；所述中控模块计算重建的地标检测轮廓向量gr，设定/>其中pg为/>的转置，g'为中心化后的地标点检测轮廓。
具体而言，所述步骤S3包括：
步骤S31、初始化所述地标点的平均形状，以获得地标点检测平均轮廓设定其中，gi为人脸图像训练集中的第i张人脸地标点检测轮廓；
步骤S32、使用KNN分类器进行评估，通过改变角度将所述地标点移动到新位置；
KNN算法又被称为k近邻算法，人脸训练集Ω＝{g1，g2，...gn}相当于类别标签。根据设定好的距离度量规则，通过计算为重建的地标检测轮廓向量gr寻找对应类别标签样本。根据少数服从多数的原则，采用投票表决方式选出重建轮廓所属类别，其数学式为其中，I(g)是指示函数，当为真的时候，输出为1，否则输出为0。两个样本点之间距离度量用来衡量空间上的差异性，相似度随着距离的变短和增高。
具体而言，将步骤S32总结如下：
(1)将已知类别人脸轮廓向量作为已知样本数据点，计算到未知类别标签的样本数据点距离，并记录下来；
(2)把上一步计算好的所有距离按照从小到大的顺序依次排序；
(3)选择前个距离最近的已知类别标签的样本数据点，统计它们所属类别出现的频率；
(4)将出现频率最高的类别当作未知样本数据的预测类别标签。
步骤S33、将形状模型与置换的地标相匹配，将S32中重建的地标检测轮廓向量建立为具体形状模型；
步骤S34、迭代重复步骤S32和步骤S33；
步骤S35、中控模块控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式。
具体而言，所述步骤S4中，所述中控模块计算原始轮廓和重建轮廓之间的距离f(g)，设定其中c是加权常数，I＝0是地标点不位于索贝尔边缘的强度，I＝1是地标点位于索贝尔边缘的强度，Sg为灵敏度。
具体而言，所述步骤S5中，所述编码器网络由若干个卷积层和一个完全连接(FC)层组成，所述中控模块将FC层的512dim输出作为三维人脸形状的身份和剩余形状分量。
具体而言，所述步骤S6中，所述中控模块通过计算重投影误差Erp确定剩余形状分量的精度，设定其中，α∈Rs用于创建形状，R为旋转矩阵，t为平移矩阵，s为形状矩阵，SOP为比例正交投影，Pi为主成分，/>为平均形状，Xi为形状分量，i＝1，2，3，...L，L为面部地标点对应的特征总数。
具体而言，所述步骤S35中，所述中控模块控制检测模块检测所述点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式，其中：
第一判定方式为所述中控模块判定所述点分布模型映射给定对象算法不符合预设标准，并根据所述中控模块中设置的第一预设分辨率与测得的分辨率的差值将所述步骤S32中的所述角度增大至对应值；所述第一判定方式满足所述点分布模型的分辨率小于所述第一预设分辨率1/36；
第二判定方式为所述中控模块判定所述点分布模型映射给定对象算法不符合预设标准，并根据测得的分辨率与所述第一预设分辨率的差值将所述步骤S34中迭代的次数增加至对应值；所述第二判定方式满足所述点分布模型的分辨率大于等于第一预设分辨率且小于所述中控模块中设置的第二预设分辨率1/24，第一预设分辨率小于第二预设分辨率；
第三判定方式为所述中控模块判定所述点分布模型映射给定对象算法符合预设标准，并完成分布模型映射给定对象的计算；所述第三判定方式满足所述点分布模型的分辨率大于第二预设分辨率。
进一步地，所述中控模块第二判定方式下计算所述所述测得的所述点分布模型的分辨率与第一预设分辨率之间的差值，并将该差值记为迭代差值，中控模块根据迭代差值确定针对所述步骤S34中迭代的次数的调节方式，其中：
第一调节方式为所述中控模块使用第一预设调节系数1.2将所述迭代的次数增加至对应值，若不为整，则向上取整；所述第一调节方式满足所述迭代差值小于所述中控模块中设置的第一预设迭代差值1/216；
第二调节方式为所述中控模块使用第二预设调节系数1.4将所述迭代的次数增加至对应值，若不为整，则向上取整；所述第二调节方式满足所述迭代差值大于等于所述第一预设迭代差值且小于所述中控模块中设置的第二预设迭代差值2/216，第一预设迭代差值小于第二预设迭代差值；
第三调节方式为所述中控模块使用第三预设调节系数1.8将所述迭代的次数增加至对应值，若不为整，则向上取整；所述第三调节方式满足所述迭代差值大于等于所述第二预设迭代差值。
实施例1
通过使用轮廓图像，在草图上检测到的总地标点为68。为了获得轮廓图像，我们首先获得与地标点相对应的平均轮廓向量。然后，我们分离出对应于各自特征值的特征向量，这些特征值负责最大的变化。这些值存储在pg中。对地标检测轮廓g进行投影，获得的一组特征向量和投影系数向量g0如下所示:
其中基于投影系数向量可进行重建轮廓向量的求取：/>为了正确定位点，我们使用加权函数。通过使用边缘信息，加权函数计算马氏距离该距离是草图点的原始轮廓和重建轮廓之间的距离，并且该计算是在面部标志点位于强边缘的假设下执行的。其中I是草图点处的边缘强度。I的值可以是0(对于不位于边上的点)或1(对于位于边上),此举可以确保更好的拟合。
3D变形模型表示为通过3D扫描和称为α的参数创建的可变形网格模型，其中α∈RS用于创建形状。通过使用主成分分析(P)，通过从数据中学习的线性模型生成形状矩阵S,R是旋转矩阵。
对于我们需要的生成变形模型，a)shape PC，它是3n乘k矩阵；b)shape MU，它是包含平均形状的顶点的3n乘1向量；c)shape EV，它是包括每个主分量的排序标准偏差的k乘1向量。d)tl是包含模型的面部列表的1乘3矩阵。这里，n是模型顶点的数量，k是主分量的数量。
假设输入草图中的第i个二维位置平行于变形模型中的第i个顶点。将三维变形模型拟合到该假设的主要目的是获得形状参数。这将最大限度地减少重新投影误差Erp。在观察到的2D位置和预测的2D位置之间需要最小化重投影误差：
t为平移矩阵，R代表轴角矩阵，s为形状矩阵，SOP为比例正交投影，Pi为主成分，为平均形状，Xi为形状分量，i＝1，2，3，...L，L为面部地标点对应的特征总数。为了最小化Erp，使用Matlab中Lsqnonlin函数对对α、s、t和R进行非线性优化。
结果分为两部分，第一部分，定量评价；是关于在基于正确性的结果中实现的准确性。第二部分，定性评价是对观察结果的解释。
定量评价：
生成三维模型的草图，如图5A，
显示检测到的各个标志点，如图5B，
生成的重建3D模型，如图5C。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于重建3D模型的智能机柜人脸识别方法，其特征在于，包含：
步骤S1，中控模块选取人像面部具备代表性的面部地标点，并提取面部地标点对应的特征以形成对应的标志组；
步骤S2，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量，并计算重建的地标检测轮廓向量，中控模块将计算的向量存储在预设矩阵中以建立点分布模型；
步骤S3，所述中控模块建立点分布模型映射给定对象算法，并控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式以规范所述点分布模型；
步骤S4，所述中控模块计算原始轮廓和重建轮廓之间的距离，以完成主动形状模型的建立；
步骤S5，所述中控模块将所述主动形状模型输入至编码器网络以恢复三维人脸形状的身份和剩余形状分量；
步骤S6，所述中控模块将所述三维人脸形状的身份和所述剩余形状分量进行线性组合以获得示例集，并导出3D可变形人脸模型；
所述步骤S3包括：
步骤S31、初始化所述地标点的平均形状，以获得地标点检测平均轮廓设定其中，gi为人脸图像训练集中的第i张人脸地标点检测轮廓；
步骤S32、使用KNN分类器进行评估，通过改变角度将所述地标点移动到新位置，通过计算为重建的地标检测轮廓向量gr寻找对应类别标签样本，根据少数服从多数的原则，采用投票表决方式选出重建轮廓所属类别，其数学式为其中，I(g)是指示函数，当为真的时候，输出为1，否则输出为0，两个样本点之间距离度量用来衡量空间上的差异性；
步骤S33、将形状模型与置换的地标相匹配，将S32中重建的地标检测轮廓向量建立为具体形状模型；
步骤S34、迭代重复步骤S32和步骤S33；
步骤S35、中控模块控制检测模块检测点分布模型的分辨率，并根据测得的分辨率确定针对所述点分布模型映射给定对象算法的判定方式。
2.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述步骤S1中，所述面部地标点包括：右眼外角、右眼内角、左眼内角、左眼外角、鼻尖、右嘴上角、左嘴上角以及下巴尖；所述中控模块选取所述右眼外角、所述右眼内角、所述左眼内角、所述左眼外角、所述鼻尖、所述右嘴上角、所述左嘴上角以及所述下巴尖，并提取对应的特征以形成人脸正视标志组；所述中控模块选取所述右眼外角、所述右眼内角、所述鼻尖、所述右嘴上角以及所述下巴尖，并提取对应的特征以形成人脸右视标志组。
3.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述步骤S2中，所述中控模块计算所述标志组中对应的所述地标点的投影系数向量g0，设定其中，g为地标点检测轮廓，/>为地标点检测平均轮廓，/>为地标点检测轮廓中心化后协方差矩阵中特征值对应的前t个特征向量；所述中控模块计算重建的地标检测轮廓向量gr，设定/>其中pg为/>的转置，g'为中心化后的地标点检测轮廓。
4.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述步骤S4中，所述中控模块计算原始轮廓和重建轮廓之间的距离f(g)，设定其中c是加权常数，I＝0是地标点不位于索贝尔边缘的强度，I＝1是地标点位于索贝尔边缘的强度，Sg为灵敏度。
5.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述步骤S5中，所述编码器网络由若干个卷积层和一个完全连接(FC)层组成，所述中控模块将FC层的512dim输出作为三维人脸形状的身份和剩余形状分量。
6.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述步骤S6中，所述中控模块通过计算重投影错误值Erp确定剩余形状分量的精度，设定其中，α∈Rs用于创建形状，R为旋转矩阵，t为平移矩阵，s为形状矩阵，SOP为比例正交投影，Pi为主成分，/>为平均形状，Xi为形状分量，i＝1，2，3，...L，L为面部地标点对应的特征总数。
7.根据权利要求1所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，在所述步骤S35中，若其中点分布模型映射给定对象算法不符合预设标准，中控模块将所述步骤S32中的所述角度增大至对应值，或，将所述步骤S34中迭代的次数增加至对应值。
8.根据权利要求7所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，在所述步骤S35中，所述中控模块分辨率比对为通过对应分辨率确定，其中：
若所述分辨率小于所述中控模块中设置的第一预设分辨率，则判定所述步骤S32中的所述角度的调节方式；
若所述分辨率大于等于所述第一预设分辨率且小于所述中控模块中设置的第二预设分辨率，则判定所述步骤S34中迭代的次数的调节方式。
9.根据权利要求8所述的基于重建3D模型的智能机柜人脸识别方法，其特征在于，所述中控模块在第一预设条件下增加所述步骤S34中迭代的次数的若干调节方式，其中，每种调节方式对迭代的次数的调节大小不同；所述第一预设条件满足所述分辨率大于等于所述第一预设分辨率且小于所述中控模块中设置的第二预设分辨率。
CN202310682710.6A 2023-06-09 2023-06-09 一种基于重建3d模型的智能机柜人脸识别方法 Active CN116704622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310682710.6A CN116704622B (zh) 2023-06-09 2023-06-09 一种基于重建3d模型的智能机柜人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310682710.6A CN116704622B (zh) 2023-06-09 2023-06-09 一种基于重建3d模型的智能机柜人脸识别方法

Publications (2)

Publication Number Publication Date
CN116704622A CN116704622A (zh) 2023-09-05
CN116704622B true CN116704622B (zh) 2024-02-02

Family

ID=87838768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310682710.6A Active CN116704622B (zh) 2023-06-09 2023-06-09 一种基于重建3d模型的智能机柜人脸识别方法

Country Status (1)

Country Link
CN (1) CN116704622B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254154A (zh) * 2011-07-05 2011-11-23 南京大学 一种基于三维模型重建的人脸身份认证方法
CN105701455A (zh) * 2016-01-05 2016-06-22 安阳师范学院 基于asm算法的人脸特征点采集及三维人脸建模方法
KR20160088223A (ko) * 2015-01-15 2016-07-25 삼성전자주식회사 얼굴 영상의 자세를 보정하는 방법 및 장치
CN111028354A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于图像序列的模型形变人脸三维重建方案
WO2020099338A1 (en) * 2018-11-16 2020-05-22 Kokkinos Iason Three-dimensional object reconstruction
CN111476878A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d人脸生成控制方法、装置、计算机设备及存储介质
CN112002009A (zh) * 2020-08-04 2020-11-27 中国科学技术大学 一种基于生成对抗网络的无监督重建三维人脸方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140043329A1 (en) * 2011-03-21 2014-02-13 Peng Wang Method of augmented makeover with 3d face modeling and landmark alignment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102254154A (zh) * 2011-07-05 2011-11-23 南京大学 一种基于三维模型重建的人脸身份认证方法
KR20160088223A (ko) * 2015-01-15 2016-07-25 삼성전자주식회사 얼굴 영상의 자세를 보정하는 방법 및 장치
CN105701455A (zh) * 2016-01-05 2016-06-22 安阳师范学院 基于asm算法的人脸特征点采集及三维人脸建模方法
CN111028354A (zh) * 2018-10-10 2020-04-17 成都理工大学 一种基于图像序列的模型形变人脸三维重建方案
WO2020099338A1 (en) * 2018-11-16 2020-05-22 Kokkinos Iason Three-dimensional object reconstruction
CN111476878A (zh) * 2019-01-23 2020-07-31 北京奇虎科技有限公司 3d人脸生成控制方法、装置、计算机设备及存储介质
CN112002009A (zh) * 2020-08-04 2020-11-27 中国科学技术大学 一种基于生成对抗网络的无监督重建三维人脸方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
3D face-model reconstruction from a single image: A feature aggregation approach using hierarchical transformer with weak supervision;Shubhajit Basak;Neural Networks;全文 *
Learning Free-Form Deformation for 3D Face Reconstruction from In-The-Wild Images;Harim Jung etc.;arXiv:2105.14857v2;全文 *
徐菲,李玉鑑.改进的ASM 人脸特征定位方法及其应用.计算机与现代化.2013,全文. *
联合多任务学习的人脸超分辨率重建;王欢等;中国图象图形学报;全文 *

Also Published As

Publication number Publication date
CN116704622A (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
CN109800648B (zh) 基于人脸关键点校正的人脸检测识别方法及装置
CN106780906B (zh) 一种基于深度卷积神经网络的人证合一识别方法及系统
JP4928601B2 (ja) オブジェクトの特徴を位置特定する方法
Herbst et al. Toward object discovery and modeling via 3-d scene comparison
Zhu et al. Discriminative 3D morphable model fitting
Zhao et al. Accurate landmarking of three-dimensional facial data in the presence of facial expressions and occlusions using a three-dimensional statistical facial feature model
CN105550657B (zh) 基于关键点的改进sift人脸特征提取方法
CN109408653A (zh) 基于多特征检索和形变的人体发型生成方法
US20040190775A1 (en) Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
Berretti et al. 3d mesh decomposition using reeb graphs
Pan et al. 3D face recognition from range data
CN106778489A (zh) 人脸3d特征身份信息库的建立方法及设备
Berretti et al. Description and retrieval of 3D face models using iso-geodesic stripes
CN109558814A (zh) 一种三维矫正和加权相似性度量学习的无约束人脸验证方法
Ho et al. Facial modeling from an uncalibrated face image using a coarse-to-fine genetic algorithm
Russ et al. 3D facial recognition: a quantitative analysis
Tang et al. 3D face recognition with asymptotic cones based principal curvatures
Gojcic et al. Robust pointwise correspondences for point cloud based deformation monitoring of natural scenes
Perakis et al. Partial matching of interpose 3D facial data for face recognition
Zhang et al. 3d face recognition using multi-level multi-feature fusion
CN116704622B (zh) 一种基于重建3d模型的智能机柜人脸识别方法
SANDOVAL et al. Robust sphere detection in unorganized 3D point clouds using an efficient Hough voting scheme based on sliding voxels
Pan et al. Regressive pseudo label for weakly supervised facial landmark detection
Zhou et al. 3D active shape model for automatic facial landmark location trained with automatically generated landmark points
Wei Review of face recognition algorithms

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant