CN112528902A - 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 - Google Patents

一种基于3d人脸模型的视频监控动态人脸识别方法及装置 Download PDF

Info

Publication number
CN112528902A
CN112528902A CN202011501892.5A CN202011501892A CN112528902A CN 112528902 A CN112528902 A CN 112528902A CN 202011501892 A CN202011501892 A CN 202011501892A CN 112528902 A CN112528902 A CN 112528902A
Authority
CN
China
Prior art keywords
dimensional
face
feature vector
feature
face model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011501892.5A
Other languages
English (en)
Other versions
CN112528902B (zh
Inventor
游志胜
傅可人
程鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202011501892.5A priority Critical patent/CN112528902B/zh
Publication of CN112528902A publication Critical patent/CN112528902A/zh
Application granted granted Critical
Publication of CN112528902B publication Critical patent/CN112528902B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于3D人脸模型的视频监控动态人脸识别方法及装置，包括：提取采集端采集到的待识别二维人脸图像的二维特征，并将其转换为三维人脸图像，提取转换得到的三维人脸图像的三维特征，串联得到包含二维信息与三维信息的第一融合特征；同时，提取识别端预存的三维人脸模型的三维信息，并将预存三维人脸模型投影至二维投影图像，提取投影图像的二维特征，串联得到包含二维信息与三维信息的第二融合特征，最后利用两个融合特征进行人脸识别；相应的融合特征在二维纹理信息基础上充分融合了三维形状信息，改善只利用二维纹理信息进行识别所存在的无法在复杂环境下识别成功的问题，有效提高识别的准确率、保证识别算法的鲁棒性。

Description

一种基于3D人脸模型的视频监控动态人脸识别方法及装置
技术领域
本发明涉及计算机视觉与模式识别技术领域，特别涉及一种基于3D人脸模型的视频监控动态人脸识别方法及装置。
背景技术
人脸识别技术已经成为新一代人工智能研究开发和应用的热点和亮点。得益于大数据、深度学习等新一代人工智能技术的迅速发展，基于二维(2D)图片的人脸识别技术在环境可控、用户配合的多个应用领域如安全检查、金融等取得了重要应用，产生了巨大的社会与经济效益。然而，对于更广泛的环境不可控、用户非配合的动态场景下的应用如视频监控动态人脸识别，现有人脸识别技术的性能依然远未满足应用需求。基于三维(3D)人脸模型的人脸识别技术是未来发展的趋势之一，3D人脸模型比2D人脸图片拥有诸如三维形状等更加丰富的信息，可提高环境不可控、用户非配合如大姿态、多光照变化等动态情况下的识别性能。然而对于注册端和识别端都采用3D传感器捕获3D人脸，将目前社会上所有的2D摄像头都改造成3D传感器则是不能短时间内实现。一种实用方案是注册端采集3D人脸模型，而识别端采集一张或多张2D人脸图片进行识别，即利用三维人脸模型识别二维人脸图片的相关技术。
目前涉及利用三维人脸模型识别二维人脸图像的技术较为匮乏，多数还停留在利用三维人脸模型识别三维人脸的阶段，而非利用三维人脸模型去识别二维人脸图像。申请公布号为CN108427871A的中国发明专利申请公开了一种3D人脸快速身份认证方法和装置，其将三维人脸模型旋转到待识别二维图像相同的姿态并投影到二维图像，再将投影后的二维图像与待识别的二维图像进行比对识别。申请公布号为CN109858433A的中国发明专利申请公开了一种基于三维人脸模型识别二维人脸图片的方法及装置，其将三维人脸模型与单张二维图片通过某一准则都投影到多个姿态再分别进行匹配识别。然而，以上方法存在只将三维人脸模型投影到二维图像，利用三维信息进行二维图片的对齐，最后利用对齐后的二维纹理信息进行人脸识别，但是其在特征对比过程中并没有直接利用三维人脸蕴含的三维形状信息进行人脸识别。
发明内容
本发明的目的在于克服现有利用三维人脸模型识别二维人脸图像的技术所存在的未利用三维形状信息进行人脸识别的缺陷，提供一种基于3D人脸模型的视频监控动态人脸识别方法及装置，在提取待识别二维图像的二维信息、预存的三维人脸模型的三维信息对应的二维投影信息的基础上，通过将采集端采集到的待识别二维图像转换为三维人脸模型，并对三维人脸模型做UV转换，得到三维信息，同时利用UV转换提取识别端预存的三维人脸模型的三维信息，再利用二维信息、三维信息的融合特征进行特征对比、人脸识别；通过联合二维纹理信息与三维形状信息进行人脸识别，改善只使用二维投影图像(只利用二维纹理信息)进行识别所存在的无法在复杂环境下识别成功的问题，有效提高识别的准确率。
为了实现上述发明目的，本发明提供了以下技术方案：
一种基于3D人脸模型的视频监控动态人脸识别方法，包括：
A、提取N张待识别二维人脸图像；利用第一特征提取器对N张所述待识别二维人脸图像进行特征提取，得到第一二维特征向量；其中，N为整数且N≥1；
以及，将N张所述待识别二维人脸图像转换为三维人脸模型，对所得三维人脸模型进行UV展开，得到第一UV图，利用第二特征提取器对第一UV图进行特征提取，得到第一三维特征向量；串联所述第一二维特征向量与第一三维特征向量，得到第一融合特征向量；
B、将预存的三维人脸模型分别投影至N张所述待识别二维人脸图像对应的视角，得到N张二维投影人脸图像，利用第一特征提取器对N张所述二维投影人脸图像进行特征提取，得到第二二维特征向量；
以及，对预存的三维人脸模型进行UV展开，得到第二UV图，利用第二特征提取器对第二UV图进行特征提取，得到第二三维特征向量；串联所述第二二维特征向量与第二三维特征向量，得到第二融合特征向量；
C、将所述第一融合三维特征向量与所述第二融合三维特征向量进行特征对比，得到人脸识别结果。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，所述提取N张待识别二维人脸图像包括：对视频监控中人脸进行跟踪识别，得到人脸视频流，基于预设的筛选条件从所述人脸视频流中选出N张所述待识别二维人脸图像。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，当N＞1时，将提取到的N张所述待识别二维人脸图像的N个特征向量进行串联得到所述第一二维特征向量；
当N＞1时，将提取到的N张所述二维投影人脸图像N个特征向量进行串联得到所述第二二维特征向量。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，所述步骤C还包括：利用多层感知器对所述第一融合特征向量、所述第二融合特征向量分别进行特征变换与降维处理，以对将降维处理后的第二融合特征向量与第一融合特征向量进行特征对比，得到人脸识别结果。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，通过计算降维处理后的第二融合特征向量与第一融合特征向量的余弦相似度或者欧式距离来进行特征对比。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，所述UV转换包括：将三维人脸模型的形状信息转换为UV位置图和UV法向量图。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，所述UV位置图上像素的值与所述三维人脸模型上每个三维点的坐标一一对应，UV法向量图上像素的值与所述三维人脸模型上每个三维点的法向量一一对应。
优选的，上述基于3D人脸模型的视频监控动态人脸识别方法中，所述第一特征提取器、所述第二特征提取器为卷积神经网络VGG-16、ResNet-50或ResNet-101中的一种。
在本发明进一步的实施例中，还提供一种基于3D人脸模型的视频监控动态人脸识别装置，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于3D人脸模型的视频监控动态人脸识别方法。
与现有技术相比，本发明的有益效果：
本发明所提供的人脸识别方法通过提取采集端采集到的待识别二维图像的二维特征，并将待识别图像转换为三维人脸模型，提取转换得到的三维人脸模型的三维特征，将二者进行串联得到包含二维信息与三维信息的第一融合特征；同时，提取识别端预存的三维人脸模型的三维信息，并将预存三维人脸模型投影至二维投影图像，提取投影图像的二维特征，将二者进行串联得到包含二维信息与三维信息的第二融合特征，最后可直接利用融合了二维信息与三维信息的特征进行人脸识别；相应的融合特征在二维纹理信息基础上充分融合了三维形状信息，改善只使用二维投影图像(只利用二维纹理信息)进行识别所存在的无法在复杂环境下识别成功的问题，有效提高识别的准确率、保证识别算法的鲁棒性。
在利用多张同一个人的视频监控人脸图像进行人脸跟踪识别的场景中，相较于只利用二维纹理特征的识别方法，本发明所计算的融合特征具有更强的鲁棒性，人脸识别效果更好，相较于现有识别方法适用范围更广，适用场景更具有通用性。
附图说明：
图1为根据本发明示例性实施例1中的基于3D人脸模型的视频监控动态人脸识别方法流程图。
图2为根据本发明示例性实施例2中的基于3D人脸模型的视频监控动态人脸识别方法原理框图。
图3为根据本发明示例性实施例的基于3D人脸模型的视频监控动态人脸识别装置结构图。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
图1示出了根据本发明示例性实施例的基于3D人脸模型的视频监控动态人脸识别方法，包括：
A、提取N张待识别二维人脸图像；利用第一特征提取器对N张所述待识别二维人脸图像进行特征提取，得到第一二维特征向量；其中，N为整数且N≥1；
以及，将N张所述待识别二维人脸图像转换为三维人脸模型，对所得三维人脸模型进行UV展开，得到第一UV图，利用第二特征提取器对第一UV图进行特征提取，得到第一三维特征向量；串联所述第一二维特征向量与第一三维特征向量，得到第一融合特征向量；
B、将预存的三维人脸模型分别投影至N张所述待识别二维人脸图像对应的视角，得到N张二维投影人脸图像，利用第一特征提取器对N张所述二维投影人脸图像进行特征提取，得到第二二维特征向量；
以及，对预存的三维人脸模型进行UV展开，得到第二UV图，利用第二特征提取器对第二UV图进行特征提取，得到第二三维特征向量；串联所述第二二维特征向量与第二三维特征向量，得到第二融合特征向量；
C、将所述第一融合三维特征向量与所述第二融合三维特征向量进行特征对比，得到人脸识别结果。
具体的，以选取3个视角的待识别二维人脸图像对本发明利用二维、三维融合特征进行人脸识别的方法进行说明，如图2所示，本方法包括：
S1：对视频监控中人脸进行跟踪，对待识别的某人挑选特定数量(N张，N为≥1的整数)代表性二维人脸图像用于后续识别。
具体地，人脸检测及跟踪为本领域技术人员熟知的方法，现有此类技术方法有许多，可对监控视频中的人脸进行跟踪得到每个人脸的连续序列。在得到某个待识别人脸的连续序列后，本实施例通过算法对人脸分辨率、图像质量、姿态角等进行综合分析后自动选取固定特定数量(N张)代表性二维人脸图像用于后续识别。本实施例中，所选取的代表性二维人脸图像尽可能的代表人脸在不同角度和姿态下的特性。在本发明中N为≥1的整数，N＝1即表示单视，N>1表示多视，一般只有多视角二维图像才能重建出比较好的三维人脸模型，因此优选N>1，但是如果选取的单视图像质量能够满足三维重建的要求，那么也可以选择单视即N＝1。而本实施例以N＝3进行说明。
S2：利用神经网络提取所述N张二维人脸图像的二维特征向量，再进行特征串联，得到第一二维特征向量；
具体的，对每张待识别人脸图像(共3张)，分别用第一特征提取器即卷积神经网络F提取人脸特征向量，再将分别提取的人脸特征向量进行串联。同样，该步骤最终得到的向量为256*3＝768维。F为训练好的用于人脸特征提取的神经网络，可以为VGG-16，ResNet-50，ResNet-101等常见的用于人脸特征提取的网络结构。
S3：利用单张或多张二维图像生成三维人脸模型的方法，从单视或多视二维人脸图像中生成三维人脸模型，对于该生成的三维人脸模型进行UV转换，转换为UV位置图和UV法向量图。
具体的，从单张或多张二维人脸图像生成三维人脸模型，为本领域技术人员熟知的方法。此类方法有许多，如文献《3D Face Reconstruction Using a Single orMultiple Views》、《Examplar coherent 3D face reconstruction from forensicmugshot database》、《Automated 3D Face Reconstruction from Multiple Imagesusing Quality Measures》、《Fast,Approximate 3D Face Reconstruction fromMultiple Views》等提出的方法都可以使用。对于该生成的三维人脸模型，将三维人脸模型通过文献《Deep 3D Facial Landmark Localization on position maps》中所述的方法转换为UV位置图(UV position map)，UV位置图上的每个点的RGB颜色值代表对应三维人脸模型上三维点的归一化(X,Y,Z)坐标，三维点与像素坐标为一一对应的关系。同理,计算每个三维点的法向量(NX,NY,NZ)，以类似的方式转换为UV法向量图。即将生成的三维人脸模型映射到UV坐标系(或称为将人脸三维人脸模型进行UV展开)，转换为第一UV图，包括：第一UV位置图和第一UV法向量图。
S4：将从S3得到的UV位置图和UV法向量图在通道上串联得到第一UV图，利用神经网络提取第一UV图的第一三维特征向量。
具体的，利用第二特征提取器提取第一UV图中的第一三维特征向量。所用第二特征提取器为神经网络G，G为训练好的用于从UV图提取三维人脸特征向量的神经网络，可以为VGG-16，ResNet-50,ResNet-101等常见的用于人脸特征提取的网络结构,本实施例中提取向量为512维。其中，第一特征提取器与第二特征提取器在网络架构是保持一致，同为VGG-16，ResNet-50或ResNet-101中的一种。最后将S2得到的第一二维特征向量和S4得到的第一三维特征向量在通道上进行串联得到第一融合特征向量。
同时，对识别端预存的三维人脸模型进行特征提取，包括：S5，将预存的三维人脸模型投影到所述N张人脸图像相应的姿态，并利用神经网络提取每张投影图片的特征向量，再进一步进行特征串联，得到第二二维特征向量
具体地，待识别N张人脸图像是二维图像，而识别库里面是三维人脸模型，本实施例中的人脸识别问题是回答待识别图像与属于库里面的某个三维人脸模型是否匹配，并得到匹配分数，即用三维人脸模型识别单张或多张二维人脸图像。首先估计所述待识别人脸图像中人脸的姿态角
Figure BDA0002843716930000091
(这里采用文献《Fine-Grained Head Pose EstimationWithout Keypoints》提出的方法估计人脸的姿态角)，其中ω表示偏航角(yaw)，θ表示翻滚角(roll)，
Figure BDA0002843716930000092
表示俯仰角(pitch)。本实施例中N＝3，则用该方法估计每一张二维人脸图像的姿态角。在获得每张图片的姿态角后，将三维人脸模型分别投影至所述每张待识别人脸图像相应的姿态角，三维人脸模型投影到二维图像为本领域技术人员熟知的方法。之后，每一张投影图像分别通过同一卷积神经网络F提取人脸特征向量，本实施例中所提取向量维256维。因本实施例中N＝3，则将分别提取的人脸特征向量进行串联，最终得到的第二二维特征向量为256*3＝768维。
S6：将预存的三维人脸模型的形状信息转换为UV位置图和UV法向量图，UV位置图上像素的值为对应三维人脸模型上三维点的(X,Y,Z)坐标，UV法向量图上像素的值为对应三维人脸模型上三维点的法向量(NX,NY,NZ)。
具体的，将三维人脸模型通过文献《Deep 3D Facial Landmark Localization onposition maps》中所述的方法转换为UV位置图(UV position map)，UV位置图上的每个点的RGB颜色值代表对应三维人脸模型上三维点的归一化(X,Y,Z)坐标。同理,计算每个三维点的法向量(NX，NY，NZ)，以类似的方式转换为UV法向量图。将人脸三维人脸模型映射到UV坐标系(或称为将人脸三维人脸模型进行UV展开)。
S7：将从S6得到的UV位置图和UV法向量图在通道上串联，之后利用神经网络提取三维特征向量。
具体地，利用前述的神经网络G从串联的UV位置图和UV法向量图提取第二三维人脸特征向量，本实施例中提取向量维512维。将第二二维特征向量与第二三维特征向量在通道上进行串联，得到第二融合特征向量。
S8：将两个串联后的特征，分别通过共享的多层感知器(MLP)进行特征变换与降维，最终得到用于匹配识别的第一特征向量和第二特征向量。
具体地，将S2所述得到的768维二维特征和S4中所述得到的512维三维特征进行串联，得到1280维特征A。同时，将S5所述得到的768维二维特征和S7中所述得到的512维三维特征进行串联，得到1280维特征B。使用训练好的三层感知机M(其三层分别包含1024,1024,256个神经元)将1280维特征转换为最终的256维特征；亦即将A和B分别输入M，得到用于匹配识别的第一特征向量和第二特征向量。
S9：将根据三维人脸模型得到的第一特征向量和根据N张代表性二维人脸图像到的第二特征向量进行比对，得到匹配分数用于人脸验证或识别。
可以通过计算s8中处理后两个256维向量间的余弦相似度或者欧式距离来进行对比，得到匹配分数。
在本发明进一步的实施例中，步骤S1～S4与S5～S7可以分先后顺序进行操作，也可以同时进行提取，操作顺序不分先后。
上述实施例中，通过将三维信息转换为UV位置图和UV法向量进行识别，因此能够提取到三维形状信息，再与提取到的二维信息进行融合，得到融合特征信息，利用融合信息进行人脸识别改善只使用投影图像和单张视频监控人脸图像进行识别在复杂环境可能出现的无法识别或识别错误的问题，提高系统的准确率。而且本发明所提供的识别方法，对于人脸视频流跟踪识别的场景具有更强的鲁棒性，相较于只利用二维纹理信息的识别方法，具有更广的适用范围更广、适用场景更具有通用性，识别效果更好。
实施例2
图3示出了根据本发明示例性实施例的一种基于三维人脸模型识别二维人脸图片的装置，即电子设备310(例如具备程序执行功能的计算机服务器)，其包括至少一个处理器311，电源314，以及与所述至少一个处理器311通信连接的存储器312和输入输出接口313；所述存储器312存储有可被所述至少一个处理器311执行的指令，所述指令被所述至少一个处理器311执行，以使所述至少一个处理器311能够执行前述任一实施例所公开的方法；所述输入输出接口313可以包括显示器、键盘、鼠标、以及USB接口，用于输入输出数据；电源314用于为电子设备310提供电能。
本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于3D人脸模型的视频监控动态人脸识别方法，其特征在于，包括：
A、提取N张待识别二维人脸图像；利用第一特征提取器对N张所述待识别二维人脸图像进行特征提取，得到第一二维特征向量；其中，N为整数且N≥1；
以及，将N张所述待识别二维人脸图像转换为三维人脸模型，对所得三维人脸模型进行UV展开，得到第一UV图，利用第二特征提取器对第一UV图进行特征提取，得到第一三维特征向量；串联所述第一二维特征向量与第一三维特征向量，得到第一融合特征向量；
B、将预存的三维人脸模型分别投影至N张所述待识别二维人脸图像对应的视角，得到N张二维投影人脸图像，利用第一特征提取器对N张所述二维投影人脸图像进行特征提取，得到第二二维特征向量；
以及，对预存的三维人脸模型进行UV展开，得到第二UV图，利用第二特征提取器对第二UV图进行特征提取，得到第二三维特征向量；串联所述第二二维特征向量与第二三维特征向量，得到第二融合特征向量；
C、将所述第一融合三维特征向量与所述第二融合三维特征向量进行特征对比，得到人脸识别结果。
2.如权利要求1所述的方法，其特征在于，所述提取N张待识别二维人脸图像包括：对视频监控中人脸进行跟踪识别，得到人脸视频流，基于预设的筛选条件从所述人脸视频流中选出N张所述待识别二维人脸图像。
3.如权利要求1所述的方法，其特征在于，当N＞1时，将提取到的N张所述待识别二维人脸图像的N个特征向量进行串联得到所述第一二维特征向量；当N＞1时，将提取到的N张所述二维投影人脸图像N个特征向量进行串联得到所述第二二维特征向量。
4.如权利要求1所述的方法，其特征在于，所述步骤C还包括：利用多层感知器对所述第一融合特征向量、所述第二融合特征向量分别进行特征变换与降维处理，以对将降维处理后的第二融合特征向量与第一融合特征向量进行特征对比，得到人脸识别结果。
5.如权利要求4所述的方法，其特征在于，通过计算降维处理后的第二融合特征向量与第一融合特征向量的余弦相似度或者欧式距离来进行特征对比。
6.如权利要求1-5任一所述的方法，其特征在于，所述UV转换包括：将三维人脸模型的形状信息转换为UV位置图和UV法向量图。
7.如权利要求6所述的方法，其特征在于，所述UV位置图上像素的值与所述三维人脸模型上每个三维点的坐标一一对应，UV法向量图上像素的值与所述三维人脸模型上每个三维点的法向量一一对应。
8.如权利要求1所述的方法，其特征在于，所述第一特征提取器、所述第二特征提取器为卷积神经网络VGG-16、ResNet-50或ResNet-101中的一种。
9.一种基于3D人脸模型的视频监控动态人脸识别装置，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8中任一项所述的方法。
CN202011501892.5A 2020-12-17 2020-12-17 一种基于3d人脸模型的视频监控动态人脸识别方法及装置 Expired - Fee Related CN112528902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011501892.5A CN112528902B (zh) 2020-12-17 2020-12-17 一种基于3d人脸模型的视频监控动态人脸识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011501892.5A CN112528902B (zh) 2020-12-17 2020-12-17 一种基于3d人脸模型的视频监控动态人脸识别方法及装置

Publications (2)

Publication Number Publication Date
CN112528902A true CN112528902A (zh) 2021-03-19
CN112528902B CN112528902B (zh) 2022-05-24

Family

ID=75001305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011501892.5A Expired - Fee Related CN112528902B (zh) 2020-12-17 2020-12-17 一种基于3d人脸模型的视频监控动态人脸识别方法及装置

Country Status (1)

Country Link
CN (1) CN112528902B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986163A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸图像选择方法和装置
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113808274A (zh) * 2021-09-24 2021-12-17 福建平潭瑞谦智能科技有限公司 人脸识别模型构建方法及系统及识别方法
CN114120404A (zh) * 2021-11-16 2022-03-01 北京百度网讯科技有限公司 人脸识别方法和装置
CN115082991A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、装置及电子设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN103745209A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别方法及系统
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
CN109859305A (zh) * 2018-12-13 2019-06-07 中科天网（广东）科技有限公司 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109858433A (zh) * 2019-01-28 2019-06-07 四川大学 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN110020620A (zh) * 2019-03-29 2019-07-16 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
CN110032927A (zh) * 2019-02-27 2019-07-19 视缘(上海)智能科技有限公司 一种人脸识别方法
CN110287776A (zh) * 2019-05-15 2019-09-27 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备
CN111401157A (zh) * 2020-03-02 2020-07-10 中国电子科技集团公司第五十二研究所 一种基于三维特征的人脸识别方法和系统
WO2020215283A1 (zh) * 2019-04-25 2020-10-29 深圳市汇顶科技股份有限公司 人脸识别方法、处理芯片以及电子设备
WO2020243967A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的方法、装置和电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101320484A (zh) * 2008-07-17 2008-12-10 清华大学 一种基于人脸全自动定位的三维人脸识别方法
CN103745209A (zh) * 2014-01-27 2014-04-23 中国科学院深圳先进技术研究院 一种人脸识别方法及系统
WO2016110005A1 (zh) * 2015-01-07 2016-07-14 深圳市唯特视科技有限公司 基于灰度和深度信息的多层融合的多模态人脸识别装置及方法
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109859305A (zh) * 2018-12-13 2019-06-07 中科天网（广东）科技有限公司 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109858433A (zh) * 2019-01-28 2019-06-07 四川大学 一种基于三维人脸模型识别二维人脸图片的方法及装置
CN109670487A (zh) * 2019-01-30 2019-04-23 汉王科技股份有限公司 一种人脸识别方法、装置及电子设备
CN110032927A (zh) * 2019-02-27 2019-07-19 视缘(上海)智能科技有限公司 一种人脸识别方法
CN110020620A (zh) * 2019-03-29 2019-07-16 中国科学院深圳先进技术研究院 一种大姿态下的人脸识别方法、装置及设备
WO2020215283A1 (zh) * 2019-04-25 2020-10-29 深圳市汇顶科技股份有限公司 人脸识别方法、处理芯片以及电子设备
CN110287776A (zh) * 2019-05-15 2019-09-27 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
WO2020243967A1 (zh) * 2019-06-06 2020-12-10 深圳市汇顶科技股份有限公司 人脸识别的方法、装置和电子设备
CN110569768A (zh) * 2019-08-29 2019-12-13 四川大学 人脸模型的构建方法、人脸识别方法、装置及设备
CN111401157A (zh) * 2020-03-02 2020-07-10 中国电子科技集团公司第五十二研究所 一种基于三维特征的人脸识别方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SURANJAN GANGULY 等: ""3D face recognition from complement component range face images"", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER GRAPHICS, VISION AND INFORMATION SECURITY (CGVIS)》 *
孙艳丰等: "基于二维、三维信息融合的人脸识别", 《北京工业大学学报》 *
游志胜 等: ""一种基于三维模型投影的人脸识别新方法"", 《光电工程》 *
王雪峤 等: ""二维Gabor特征与三维NP-3DHOG特征融合的人脸识别算法"", 《计算机科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986163A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸图像选择方法和装置
CN112966670A (zh) * 2021-04-08 2021-06-15 北京的卢深视科技有限公司 人脸识别方法、电子设备及存储介质
CN113808274A (zh) * 2021-09-24 2021-12-17 福建平潭瑞谦智能科技有限公司 人脸识别模型构建方法及系统及识别方法
CN114120404A (zh) * 2021-11-16 2022-03-01 北京百度网讯科技有限公司 人脸识别方法和装置
CN115082991A (zh) * 2022-06-27 2022-09-20 平安银行股份有限公司 人脸活体检测方法、装置及电子设备

Also Published As

Publication number Publication date
CN112528902B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN112528902B (zh) 一种基于3d人脸模型的视频监控动态人脸识别方法及装置
KR102147052B1 (ko) 얼굴 영상 기반의 감정 인식 시스템 및 방법
Kusakunniran et al. A new view-invariant feature for cross-view gait recognition
JP5629803B2 (ja) 画像処理装置、撮像装置、画像処理方法
JP4743823B2 (ja) 画像処理装置、撮像装置、画像処理方法
Lee et al. Accurate and robust face recognition from RGB-D images with a deep learning approach.
CN112037320B (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
Medioni et al. Identifying noncooperative subjects at a distance using face images and inferred three-dimensional face models
Ansari et al. Automatic facial feature extraction and 3D face modeling using two orthogonal views with application to 3D face recognition
CN111428689B (zh) 一种多池化信息融合的人脸图像特征提取方法
CN109858433B (zh) 一种基于三维人脸模型识别二维人脸图片的方法及装置
Weber et al. High-level geometry-based features of video modality for emotion prediction
CN111582155A (zh) 活体检测方法、装置、计算机设备和存储介质
Chen et al. 3d face mask anti-spoofing via deep fusion of dynamic texture and shape clues
CN111325252B (zh) 图像处理方法、装置、设备、介质
JP2013218605A (ja) 画像認識装置、画像認識方法及びプログラム
CN112232221A (zh) 用于人物图像处理的方法、系统和程序载体
Bourbakis et al. Skin-based face detection-extraction and recognition of facial expressions
CN115620403A (zh) 活体检测方法、电子设备及存储介质
Luo et al. Alignment and tracking of facial features with component-based active appearance models and optical flow
CN112380966B (zh) 基于特征点重投影的单眼虹膜匹配方法
CN115482285A (zh) 图像对齐方法、装置、设备及存储介质
CN112016495A (zh) 人脸识别的方法、装置和电子设备
Tran et al. Significant trajectories and locality constrained linear coding for hand gesture representation
CN115830517B (zh) 基于视频的考场异常帧提取方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220524