CN109299643B - 一种基于大姿态对准的人脸识别方法及系统 - Google Patents

一种基于大姿态对准的人脸识别方法及系统 Download PDF

Info

Publication number
CN109299643B
CN109299643B CN201810785065.XA CN201810785065A CN109299643B CN 109299643 B CN109299643 B CN 109299643B CN 201810785065 A CN201810785065 A CN 201810785065A CN 109299643 B CN109299643 B CN 109299643B
Authority
CN
China
Prior art keywords
face
3dmm
parameter
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810785065.XA
Other languages
English (en)
Other versions
CN109299643A (zh
Inventor
杨欧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN201810785065.XA priority Critical patent/CN109299643B/zh
Publication of CN109299643A publication Critical patent/CN109299643A/zh
Application granted granted Critical
Publication of CN109299643B publication Critical patent/CN109299643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于大姿态对准的人脸识别方法及系统。所述方法包括：(1)获取待识别的单张人脸图像；(2)将单张人脸图像与人脸三维模型进行大姿态对准；(3)三维人脸重建模型进行重建，获得人脸3DMM参数；(4)计算余弦相似性判断待识别的人脸与目标人脸是否匹配。所述系统包括：人脸图像获取模块、大姿态对齐模块、三维人脸重建模块、和识别模块。本发明实现了基于不同姿态的单张人脸照片的人脸识别技术，大大扩展了人脸识别技术的应用范围，例如监控摄像头视频源的人脸识别。

Description

一种基于大姿态对准的人脸识别方法及系统
技术领域
本发明属于人脸识别领域，更具体地，涉及一种基于大姿态对准的人脸识别方法及系统。
背景技术
人脸识别技术是一项热门的计算机技术，属于生物特征识别，是对人的面部特征进行个体识别的技术。在安全管理、电子身份证、逃犯追捕、自助服务、信息安全领域都有着广阔的应用前景。
然而目前的人脸识别技术，都是基于特定的姿态的，例如免冠正面照，否则比对的时候，由于姿态不同，因此难以提取到识别算法要求的相应特征，导致识别困难。但是这种对姿态的要求，限制了人脸识别技术的应用领域，例如追捕逃犯的应用中，只能在特定场合进行筛查，而不能通过监控摄像头进行筛查，造成信息浪费。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于大姿态对准的人脸识别方法及系统，其目的在于，通过一张人脸照片，进行大姿态对准后，三维建模提取人脸特征进行识别，降低图片采集要求，扩大人脸识别技术的应用范围，由此解决现有的人脸识别技术，对图像采集时人脸姿态要求严格，造成信息浪费的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于大姿态对准的人脸识别方法，包括以下步骤：
(1)获取待识别的单张人脸图像；
(2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
(3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
(4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
优选地，所述基于大姿态对准的人脸识别方法，其步骤(2)采用基于回归的方法进行对准，优选LPFA、PIFA、CDM、TSPM、或基于卷积神经网络的大姿态人脸对齐方法。
优选地，所述基于大姿态对准的人脸识别方法，其步骤(2)采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。
优选地，所述基于大姿态对准的人脸识别方法，其步骤(3)采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，优选采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
优选地，所述基于大姿态对准的人脸识别方法，其步骤(4)所述余弦相似性按照如下方法计算：
Figure GDA0001909823410000031
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
按照本发明的另一个方面，提供了一种基于大姿态对准的人脸识别系统，包括：
人脸图像获取模块，用于获取待识别的单张人脸图像；
大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
优选地，所述基于大姿态对准的人脸识别系统，其所述大姿态对齐模块采用基于回归的方法进行对准，优选LPFA、PIFA、CDM、TSPM、或基于卷积神经网络的大姿态人脸对齐方法。
优选地，所述基于大姿态对准的人脸识别系统，其所述大姿态对齐模块采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。
优选地，所述基于大姿态对准的人脸识别系统，其所述三维人脸重建模块采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，优选采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
优选地，所述基于大姿态对准的人脸识别系统，其所述识别模块采用的余弦相似性按照如下方法计算：
Figure GDA0001909823410000041
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，，能够取得下列有益效果：
本发明通过对获取的单张人脸照片，首先进行大姿态对准，使得三维人脸重建和相应特征提取成为可能，在此基础之上进行三建模提取人脸特征进行识别，从而精确提取待识别的人脸特征，和目标人脸特征进行匹配，从而实现任意大姿态的人脸识别。总体而言本发明实现了基于不同姿态的单张人脸照片的人脸识别技术，大大扩展了人脸识别技术的应用范围，例如监控摄像头视频源的人脸识别。
附图说明
图1是本发明提供的基于大姿态对准的人脸识别方法流程示意图；
图2是本发明提供的基于大姿态对准的人脸识别系统结构示意图；
图3是本发明实施例提供的大姿态对齐结果示例；
图4是本发明实施例提供的大姿态对准用级联神经网络的可视化块结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供的基于大姿态对准的人脸识别方法，如图1所示，包括以下步骤：
(1)获取待识别的单张人脸图像；
(2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
优选采用基于回归的方法进行对准，例如LPFA(Jourabloo A,Liu X.Large-PoseFace Alignment via CNN-Based Dense 3D Model Fitting[C]//Computer Vision andPattern Recognition.IEEE,2016.)、PIFA(Jourabloo A,Liu X.Pose-Invariant 3D FaceAlignment[J].2015,7:3694-3702.)、CDM(Yu X,Huang J,Zhang S,et al.Pose-FreeFacial Landmark Fitting via Optimized Part Mixtures and Cascaded DeformableShape Model[C]//IEEE International Conference on Computer Vision.IEEE,2014:1944-1951.)、TSPM(Ramanan D.Face detection,pose estimation,and landmarklocalization in the wild[C]//Computer Vision and Pattern Recognition.IEEE,2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型投影得到2D人脸图像，可采用深度缓存技术(Z－buffering)；所述每一个卷积层后面仅接一个批量标准化层(BN层)和一个修正线性单元层(ReLU层)；所述串联的全连接层之间优选具有修正线性单元层(ReLU层)和dropout层，最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计。
所述级联的基于卷积的神经网络中每一可视化块训练收敛条件为：
A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
其中：
W＝diag(w1,w2,…,wn)
wi＝‖V(Od(i))-V(Og)‖/∑wi
Od(i)i＝(O0+ΔO)i
Figure GDA0001909823410000071
其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
E1＝||f(O0+ΔO)-U||2
其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
(3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
优选采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，具体采用LeNet、AlexNet、VGG、ResNet、或ResNet-101(He K,Zhang X,Ren S,et al.Deep ResidualLearning for Image Recognition[J].2015:770-778.)，优选采用ResNet-101模型；
任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
Figure GDA0001909823410000072
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，
Figure GDA0001909823410000073
表示形状参数对应的平均形状向量，
Figure GDA0001909823410000074
表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵；
Figure GDA0001909823410000075
表示形状基向量所对应的组合系数，
Figure GDA0001909823410000081
表示纹理基向量所对应的组合系数；3DMM参数表示为
Figure GDA0001909823410000082
优选，3DMM参数表示为
Figure GDA0001909823410000083
经过主成分分析选择。
所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
Figure GDA0001909823410000084
其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo +＝sing(y).yo；ymax＝max(y+,yo +)，
Figure GDA0001909823410000085
为模型对应的过拟合误差，
Figure GDA0001909823410000086
为欠拟合误差，λ1和λ2为预先设置的调整参数，控制这两个误差的此消彼长。
(4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
所述余弦相似性按照如下方法计算：
Figure GDA0001909823410000087
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
本发明提供的基于大姿态对准的人脸识别系统，如图2所示，包括：
人脸图像获取模块，用于获取待识别的单张人脸图像；
大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
优选采用，基于回归的方法进行对准，例如LPFA(Jourabloo A,Liu X.Large-PoseFace Alignment via CNN-Based Dense 3D ModelFitting[C]//Computer Vision andPattern Recognition.IEEE,2016.)、PIFA(Jourabloo A,Liu X.Pose-Invariant 3D FaceAlignment[J].2015,7:3694-3702.)、CDM(Yu X,Huang J,Zhang S,et al.Pose-FreeFacial Landmark Fitting via Optimized Part Mixtures and Cascaded DeformableShape Model[C]//IEEE International Conference on Computer Vision.IEEE,2014:1944-1951.)、TSPM(Ramanan D.Face detection,pose estimation,and landmarklocalization in the wild[C]//Computer Vision and Pattern Recognition.IEEE,2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型投影得到2D人脸图像，可采用深度缓存技术(Z－buffering)；所述每一个卷积层后面仅接一个批量标准化层(BN层)和一个修正线性单元层(ReLU层)；所述串联的全连接层之间优选具有修正线性单元层(ReLU层)和dropout层，最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计。
所述级联的基于卷积的神经网络中每一可视化块训练收敛条件为：
A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
其中：
W＝diag(w1,w2,…,wn)
wi＝‖V(Od(i))-V(Og)‖/∑wi
Od(i)i＝(O0+ΔO)i
Figure GDA0001909823410000101
其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
El＝||f(O0+ΔO)-U||2
其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
优选采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，具体采用LeNet、AlexNet、VGG、ResNet、和ResNet-101(He K,Zhang X,Ren S,et al.Deep ResidualLearning for Image Recognition[J].2015:770-778.)，优选采用ResNet-101模型；
任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
Figure GDA0001909823410000111
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，
Figure GDA0001909823410000112
表示形状参数对应的平均形状向量，
Figure GDA0001909823410000113
表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵；
Figure GDA0001909823410000114
表示形状基向量所对应的组合系数，
Figure GDA0001909823410000115
表示纹理基向量所对应的组合系数；3DMM参数表示为
Figure GDA0001909823410000116
优选，3DMM参数表示为
Figure GDA0001909823410000117
经过主成分分析选择。
所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
Figure GDA0001909823410000118
其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo +＝sing(y).yo；ymax＝max(y+,yo +)，
Figure GDA0001909823410000119
为模型对应的过拟合误差，
Figure GDA00019098234100001110
为欠拟合误差，λ1和λ2为预先设置的调整参数，控制这两个误差的此消彼长。
识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
所述余弦相似性按照如下方法计算：
Figure GDA0001909823410000121
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
以下为实施例：
实施例1
一种基于大姿态对准的人脸识别方法，如图1所示，包括以下步骤：
(1)获取待识别的单张人脸图像；
(2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置，如图3所示；
采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括六个级联的可视化块，前三个可视化块用于姿态参数更新，后三个可视化块用于度量二位特征点误差；
所述可视化块，如图4所示，包括一个可视化层、两个卷积层、以及两个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的两个卷积层，每一个卷积层后面紧接一个批量标准化层(BN层)和一个ReLU层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入两个串联的全连接层，两个全连接层的长度分别为800和236，在两个全连接层之间，前一个全连接层后面连接着一个ReLU层和一个dropout层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型采用深度缓存技术(Z－buffering)投影得到2D人脸图像；最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
本实施例采用端到端优化，所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计
前三个可视化块训练收敛条件为条件A，后三个可视化块训练收敛条件为条件B：
A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
其中：
W＝diag(w1,w2,…,wn)
wi＝‖V(Od(i))-V(Og)‖/∑wi
Od(i)i＝(O0+ΔO)i
Figure GDA0001909823410000131
其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离E1损失函数的值按照如下方法计算：
El＝||f(O0+ΔO)-U||2
其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
(3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
采用ResNet-101模型；
人脸数据按照如下方法预处理：
I、图像边界处理：对人脸图像样本进行归一化的处理，采用图像边界处理的方式，调用OpenCV库中的copyMakeBorder方法，该方法通过扩充原图像的边缘，将尺寸过小的图像变大，然后以外插值的方式填充图像的边界，采用的插值方式是复制最边缘像素的方式，即将最边缘像素的值复制到扩充边界中。
II、人脸检测：直接使用dlib库中自带的frontal_face_detector作为人脸的特征分类器来检测图像中的人脸。
III、特征点定位：采用所提出的LPFA-CNN方法，完成对输入样本图片的人脸特征点定位。
任意个体的人脸3DMM模型(Smode,Tmodel)可表示为：
Figure GDA0001909823410000141
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，
Figure GDA0001909823410000142
表示形状参数对应的平均形状向量，
Figure GDA0001909823410000143
表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵；
Figure GDA0001909823410000151
表示形状基向量所对应的组合系数，
Figure GDA0001909823410000152
表示纹理基向量所对应的组合系数；3DMM参数表示为
Figure GDA0001909823410000153
3DMM参数表示为
Figure GDA0001909823410000154
经过主成分分析选择
Figure GDA0001909823410000155
和
Figure GDA0001909823410000156
长度均为99。
所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
Figure GDA0001909823410000157
其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo +＝sing(y).yo；ymax＝max(y+,yo +)，
Figure GDA0001909823410000158
为模型对应的过拟合误差，
Figure GDA0001909823410000159
为欠拟合误差，λ1和λ2为预先设置的调整参数，λ1＝1，λ2＝3。
(4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配，所述相似性阈值，设置为70％。
所述余弦相似性按照如下方法计算：
Figure GDA00019098234100001510
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
实施例2
一种基于大姿态对准的人脸识别系统，如图2所示，包括：
人脸图像获取模块，用于获取待识别的单张人脸图像；
大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括六个级联的可视化块，前三个可视化块用于姿态参数更新，后三个可视化块用于度量二位特征点误差；
所述可视化块，如图4所示，包括一个可视化层、两个卷积层、以及两个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的两个卷积层，每一个卷积层后面紧接一个批量标准化层(BN层)和一个ReLU层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入两个串联的全连接层，两个全连接层的长度分别为800和236，在两个全连接层之间，前一个全连接层后面连接着一个ReLU层和一个dropout层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型采用深度缓存技术(Z－buffering)投影得到2D人脸图像；最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
本实施例采用端到端优化，所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计
前三个可视化块训练收敛条件为条件A，后三个可视化块训练收敛条件为条件B：
A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
其中：
W＝diag(w1,w2,…,wn)
wi＝‖V(Od(i))-V(Og)‖/∑wi
Od(i)i＝(O0+ΔO)i
Figure GDA0001909823410000171
其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
El＝||f(O0+ΔO)-U||2
其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
采用ResNet-101模型；
三维人脸重建模块还包括人脸数据预处理子模块，按照如下方法进行人脸数据预处理：
I、图像边界处理：对人脸图像样本进行归一化的处理，采用图像边界处理的方式，调用OpenCV库中的copyMakeBorder方法，该方法通过扩充原图像的边缘，将尺寸过小的图像变大，然后以外插值的方式填充图像的边界，采用的插值方式是复制最边缘像素的方式，即将最边缘像素的值复制到扩充边界中。
II、人脸检测：直接使用dlib库中自带的frontal_face_detector作为人脸的特征分类器来检测图像中的人脸。
III、特征点定位：采用所提出的LPFA-CNN方法，完成对输入样本图片的人脸特征点定位。
任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
Figure GDA0001909823410000181
其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，
Figure GDA0001909823410000182
表示形状参数对应的平均形状向量，
Figure GDA0001909823410000183
表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵；
Figure GDA0001909823410000184
表示形状基向量所对应的组合系数，
Figure GDA0001909823410000185
表示纹理基向量所对应的组合系数；3DMM参数表示为
Figure GDA0001909823410000186
3DMM参数表示为
Figure GDA0001909823410000187
经过主成分分析选择
Figure GDA0001909823410000188
和
Figure GDA0001909823410000189
长度均为99。
所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
Figure GDA00019098234100001810
其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo +＝sing(y).yo；ymax＝max(y+,yo +)，
Figure GDA00019098234100001811
为模型对应的过拟合误差，
Figure GDA00019098234100001812
为欠拟合误差，λ1和λ2为预先设置的调整参数，λ1＝1，λ2＝3。识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。所述相似性阈值，设置为70％。
所述余弦相似性按照如下方法计算：
Figure GDA0001909823410000191
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于大姿态对准的人脸识别方法，其特征在于，包括以下步骤：
(1)获取待识别的单张人脸2D图像；
(2)将步骤(1)中获得的单张人脸2D图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与步骤(1)获取的单张人脸2D图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数；
(3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
(4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
2.如权利要求1所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(3)采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型。
3.如权利要求2所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(3)采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
4.如权利要求1所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(4)所述余弦相似性按照如下方法计算：
Figure FDA0002288882710000021
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
5.一种基于大姿态对准的人脸识别系统，其特征在于，包括：
人脸图像获取模块，用于获取待识别的单张人脸2D图像；
大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；所述大姿态对齐模块采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与人脸图像获取模块获取的单张人脸2D图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数；
三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
6.如权利要求5所述的基于大姿态对准的人脸识别系统，其特征在于，所述三维人脸重建模块采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型。
7.如权利要求6所述的基于大姿态对准的人脸识别系统，其特征在于，所述三维人脸重建模块采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
8.如权利要求5所述的基于大姿态对准的人脸识别系统，其特征在于，所述识别模块采用的余弦相似性按照如下方法计算：
Figure FDA0002288882710000031
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
CN201810785065.XA 2018-07-17 2018-07-17 一种基于大姿态对准的人脸识别方法及系统 Active CN109299643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810785065.XA CN109299643B (zh) 2018-07-17 2018-07-17 一种基于大姿态对准的人脸识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810785065.XA CN109299643B (zh) 2018-07-17 2018-07-17 一种基于大姿态对准的人脸识别方法及系统

Publications (2)

Publication Number Publication Date
CN109299643A CN109299643A (zh) 2019-02-01
CN109299643B true CN109299643B (zh) 2020-04-14

Family

ID=65172255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810785065.XA Active CN109299643B (zh) 2018-07-17 2018-07-17 一种基于大姿态对准的人脸识别方法及系统

Country Status (1)

Country Link
CN (1) CN109299643B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132739B (zh) * 2019-06-24 2023-07-18 北京眼神智能科技有限公司 3d重建以及人脸姿态归一化方法、装置、存储介质及设备
CN112215050A (zh) * 2019-06-24 2021-01-12 北京眼神智能科技有限公司 非线性3dmm人脸重建和姿态归一化方法、装置、介质及设备
CN110531853B (zh) * 2019-08-23 2021-01-19 西安交通大学 一种基于人眼注视点检测的电子书阅读器控制方法及系统
CN110991281B (zh) * 2019-11-21 2022-11-04 电子科技大学 一种动态人脸识别方法
CN113128292A (zh) * 2019-12-31 2021-07-16 Tcl集团股份有限公司 一种图像识别方法、存储介质及终端设备
CN113129425B (zh) * 2019-12-31 2024-07-12 Tcl科技集团股份有限公司 一种人脸图像三维重建方法、存储介质及终端设备
CN111222485A (zh) * 2020-01-15 2020-06-02 北京明略软件系统有限公司 3d人脸识别方法、装置、电子设备和存储介质
US12033428B2 (en) * 2020-02-04 2024-07-09 Grabtaxi Holdings Pte. Ltd. Method, server and communication system of verifying user for transportation purposes
CN112184912B (zh) * 2020-09-29 2024-02-20 南京航空航天大学 一种基于参数化模型和位置图的多度量三维人脸重建方法
CN112287820A (zh) * 2020-10-28 2021-01-29 广州虎牙科技有限公司 人脸检测神经网络及训练方法、人脸检测方法、存储介质
CN112613371A (zh) * 2020-12-16 2021-04-06 上海大学 一种基于密集连接卷积神经网络高光谱图像道路提取方法
CN113313097B (zh) * 2021-07-30 2021-11-16 浙江大华技术股份有限公司 人脸识别方法、终端及计算机可读存储介质
CN115331299B (zh) * 2022-10-17 2023-03-24 恒银金融科技股份有限公司 基于图像特征点匹配的人脸识别方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN108090451A (zh) * 2017-12-20 2018-05-29 湖北工业大学 一种人脸识别方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107122705A (zh) * 2017-03-17 2017-09-01 中国科学院自动化研究所 基于三维人脸模型的人脸关键点检测方法
CN107729806A (zh) * 2017-09-05 2018-02-23 西安理工大学 基于三维人脸重建的单视图多姿态人脸识别方法
CN107832700A (zh) * 2017-11-03 2018-03-23 全悉科技（北京）有限公司 一种人脸识别方法与系统
CN108090451A (zh) * 2017-12-20 2018-05-29 湖北工业大学 一种人脸识别方法及系统

Also Published As

Publication number Publication date
CN109299643A (zh) 2019-02-01

Similar Documents

Publication Publication Date Title
CN109299643B (zh) 一种基于大姿态对准的人脸识别方法及系统
Aldrian et al. Inverse rendering of faces with a 3D morphable model
US7706601B2 (en) Object posture estimation/correlation system using weight information
CN109711366B (zh) 一种基于群组信息损失函数的行人重识别方法
CN109977757B (zh) 一种基于混合深度回归网络的多模态的头部姿态估计方法
CN101563710B (zh) 识别由视频监视摄像机检测到的对象的特性的方法及装置
US20030161500A1 (en) System and method for probabilistic exemplar-based pattern tracking
US20070258627A1 (en) Face recognition system and method
US20040190775A1 (en) Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery
CN110796691B (zh) 一种基于形状上下文和hog特征的异源图像配准方法
CN106446872A (zh) 一种低照度下的视频人脸检测识别方法
CN112529999A (zh) 一种参数估算模型的训练方法、装置、设备和存储介质
CN101964064A (zh) 一种人脸比对方法
CN102831382A (zh) 人脸跟踪设备和方法
CN103080979B (zh) 从照片合成肖像素描的系统和方法
CN102654903A (zh) 一种人脸比对方法
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
CN108470178B (zh) 一种结合深度可信度评价因子的深度图显著性检测方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN108648203A (zh) 一种基于单目摄像头的人体三维姿态估计的方法
Potje et al. Extracting deformation-aware local features by learning to deform
CN106971176A (zh) 基于稀疏表示的红外人体目标跟踪方法
CN113065506B (zh) 一种人体姿态识别方法及系统
CN114494594A (zh) 基于深度学习的航天员操作设备状态识别方法
CN111027350A (zh) 一种基于人脸三维重建的改进pca算法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant