CN113313097B - 人脸识别方法、终端及计算机可读存储介质 - Google Patents

人脸识别方法、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113313097B
CN113313097B CN202110874911.7A CN202110874911A CN113313097B CN 113313097 B CN113313097 B CN 113313097B CN 202110874911 A CN202110874911 A CN 202110874911A CN 113313097 B CN113313097 B CN 113313097B
Authority
CN
China
Prior art keywords
face
image
dimensional
model
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110874911.7A
Other languages
English (en)
Other versions
CN113313097A (zh
Inventor
朱婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110874911.7A priority Critical patent/CN113313097B/zh
Publication of CN113313097A publication Critical patent/CN113313097A/zh
Application granted granted Critical
Publication of CN113313097B publication Critical patent/CN113313097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人脸识别方法、终端及计算机可读存储介质,该人脸识别方法通过获取人脸图像;根据人脸图像在三维人脸模板上重建对应的三维人脸模型;将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理,得到每张人脸图像对应的投影归一化图像;根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型;通过三维模型获取目标人脸的二维特征图像并进行识别,进而根据获取目标人脸的三维模型确定对应的二维特征图像,通过识别人脸图像的二维特征图提升人脸识别系统的识别精度,进而提升大角度下人脸识别的精度。

Description

人脸识别方法、终端及计算机可读存储介质
技术领域
本发明涉及图像识别技术领域,特别是涉及一种人脸识别方法、终端及计算机可读存储介质。
背景技术
随着计算机网络技术的发展,人脸的识别和比对技术飞速发展,但是当前在某种场景下我们无法准确获取目标图像的特征值,导致再使用该特征值和预设固定目标人脸图像比对准确率不高。例如商场等人流量大的场景,由于玩手机或者聊天等场景,我们获取到的是目标的侧脸。
在智能监控系统中,一般会采用单摄像头获取包含待识别人脸的视频流,然后通过人脸检测技术检测视频流中的人脸,使用人脸跟踪技术记录单一人脸的帧序列号,从跟踪的人脸序列中抽取特定的帧进行人脸识别与验证。由于安防监控场景较为复杂,光线、遮挡、人脸姿态等因素对人脸识别的识别精度影响较大。其中,智能视频监控系统中大姿态角人脸导致人脸识别的识别精度降低是一个亟待解决的问题。
发明内容
本发明主要解决的技术问题是提供一种人脸识别方法、终端及计算机可读存储介质,解决现有技术中人脸识别系统的识别精度低的问题。
为解决上述技术问题,本发明采用的第一个技术方案是:提供一种人脸识别方法,该人脸识别方法包括:获取人脸图像;根据人脸图像在三维人脸模板上重建对应的三维人脸模型;将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理,得到每张人脸图像对应的投影归一化图像;根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型;通过三维模型获取目标人脸的二维特征图像并进行识别。
其中,根据人脸图像在三维人脸模板上重建对应的三维人脸模型的步骤具体包括:对人脸图像分别进行特征点检测,并获取特征点的位置信息;根据每张人脸图像对应的特征点的位置信息在三维人脸模板上重建每张人脸图像对应的三维人脸模型。
其中,将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理的步骤具体包括:对三维人脸模板进行归一化处理,以得到归一化形变模板;将每张人脸图像对应的三维人脸模型分别与归一化形变模板进行Z-buffer处理。
其中,根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型的步骤具体包括:对获取的人脸图像进行剪裁,以去除人脸图像中的空白区域;根据剪裁后的人脸图像与投影归一化图像估计每张人脸图像对应的模型形状参数;计算所有人脸图像对应的模型形状参数的平均值;根据模型形状参数的平均值确定目标人脸的三维模型。
其中,通过三维模型获取目标人脸的二维特征图像并进行识别的步骤具体包括:根据每张人脸图像的顶点纹理对目标人脸的三维模型进行纹理映射贴图,得到目标人脸的最终三维人脸模型;将最终三维人脸模型进行正向二维映射,获取目标人脸的二维正面图像;对目标人脸的二维正面图像进行人脸识别。
其中,对目标人脸的二维正面图像进行人脸识别的步骤具体包括:将二维正面图像与预先建立的数据库中的注册人脸进行比对;若确定二维正面图像与数据库中注册人脸匹配,则目标人脸被识别。
其中,获取人脸图像的步骤具体包括:通过主图像采集设备获取一张人脸图像;判断人脸图像是否符合预设条件;若确定人脸图像不符合预设条件,则通过至少一个辅助图像采集设备获取与主图像采集设备获取的人脸图像对应的其它视角的人脸图像;其中,主图像采集设备与辅助图像采集设备关联。
其中,通过主图像采集设备获取一张人脸图像的步骤具体包括:通过主图像采集设备采集视频信息;视频信息包括包含人脸的图像帧;检测图像帧中的人脸信息;在视频信息中对目标人脸进行跟踪,以使目标人脸与包含目标人脸的所有图像帧关联;根据人脸信息提取图像帧中的人脸图像;对提取的人脸图像进行质量分评估,并选取质量分最高的人脸图像。
其中,检测多张图像帧中的人脸信息的步骤具体包括:通过人脸检测模型检测多张图像帧中的人脸位置和人脸尺寸。
其中,判断人脸图像是否符合预设条件的步骤之前还包括:检测人脸图像中人脸的姿态角;判断人脸图像是否符合预设条件的步骤包括:判断人脸图像中的人脸的姿态角是否符合预设角度。
其中,姿态角包括俯仰角、偏航角和翻滚角;判断人脸图像中的人脸的姿态角是否符合预设角度的步骤具体包括:判断人脸图像中的人脸的俯仰角是否超过预设俯仰角或人脸的翻滚角是否超过预设翻滚角。
为解决上述技术问题,本发明采用的第二个技术方案是:提供一种终端,终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序,处理器用于实现上述人脸识别方法的步骤。
为解决上述技术问题,本发明采用的第三个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述人脸识别方法中的步骤。
本发明的有益效果是:区别于现有技术的情况,提供的人脸识别方法、终端及计算机可读存储介质,该人脸识别方法通过获取人脸图像;根据人脸图像在三维人脸模板上重建对应的三维人脸模型;将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理,得到每张人脸图像对应的投影归一化图像;根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型;通过三维模型获取目标人脸的二维特征图像并进行识别,进而根据获取目标人脸的三维模型确定对应的二维特征图像,通过识别人脸图像的二维特征图提升人脸识别系统的识别精度,进而提升大角度下人脸识别的精度。
附图说明
图1是本发明提供的人脸识别方法一实施例的流程示意图;
图2是本发明提供的人脸识别方法中步骤S1一具体实施例的流程示意图;
图3是本发明提供的人脸识别方法中步骤S11一具体实施例的流程示意图;
图4是本发明提供的人脸识别方法中人脸姿态角的示意图;
图5是本发明提供的人脸识别方法中步骤S2一具体实施例的流程示意图;
图6是本发明提供的人脸识别方法中步骤S3一具体实施例的流程示意图;
图7是本发明提供的人脸识别方法中步骤S4一具体实施例的流程示意图;
图8是本发明提供的人脸识别方法中步骤S5一具体实施例的流程示意图;
图9是本发明提供的终端一实施方式的示意框图;
图10是本发明提供的计算机可读存储介质一实施方式的示意框图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明所提供的一种人脸识别方法做进一步详细描述。
请参阅图1,图1是本发明提供的人脸识别方法一实施例的流程示意图。本实施例中提供一种人脸识别方法,该人脸识别方法包括如下步骤。
S1:获取人脸图像。
具体地,后端服务器接收主图像采集设备发送的人脸图像以及辅助图像采集设备发送的目标人脸多个视角的人脸图像。其中,人脸图像为包含目标人脸的局部图像。即人脸图像包括一个目标人脸以及部分留白或背景图像。
具体地,请参阅图2,图2是本发明提供的人脸识别方法中步骤S1一具体实施例的流程示意图。本实施例中获取人脸图像包括如下步骤。
S11:通过主图像采集设备获取一张人脸图像。
具体地,首先在需要进行监控的场所中安装图像采集设备。监控的场所可以为商场、地铁站等场所。具体在监控空间的主要方位角度进行图像采集设备的安装,图像采集设备的视角尽量覆盖整个监控场所的整个场景。安装的图像采集设备包括主图像采集设备和辅助图像采集设备,主图像采集设备和辅助图像采集设备相互关联。其中,主图像采集设备为一个,辅助图像采集设备至少为一个。在本实施例中,辅助图像采集设备为多个。主图像采集设备进行主智能功能分析,辅助图像采集设备提供多角度的人脸图像。其中,主图像采集设备和辅助图像采集设备可以为摄像头。请参阅图3,图3是本发明提供的人脸识别方法中步骤S11一具体实施例的流程示意图。主图像采集设备获取一张人脸图像的具体步骤如下。
S111:通过主图像采集设备采集视频信息。
具体地,主图像采集设备对监控场所的视频信息进行采集,视频信息包括包含人脸的图像帧。其中,视频信息包括多张连续包含人脸的图像帧。
S112:检测图像帧中的人脸信息。
具体地,通过人脸检测技术对包含人脸的图像帧进行人脸检测,进而得到图像帧中的人脸信息。其中,人脸信息包括图像帧中人脸的位置信息和大小尺寸。在本实施例中,通过人脸检测模型检测多张图像帧中包含的人脸的位置和尺寸。
S113:在视频信息中对目标人脸进行跟踪,以使目标人脸与包含目标人脸的所有图像帧关联。
具体地,通过人脸跟踪技术对检测得到的各个目标人脸分别进行动态跟踪,以使目标人脸与包含的目标人脸的所有图像帧进行关联。在本实施例中,将上一帧出现的人脸与当前帧出现的人脸进行比对,当当前帧出现的人脸与上一帧人脸比对为同一人时,将当前帧以及上一帧图像与该跟踪目标进行关联,并记录该跟踪目标的帧序列号。
S114:根据人脸信息提取图像帧中的人脸图像。
具体地,上述步骤S112得到了各图像帧中包含的人脸信息,根据与目标人脸关联的所有图像帧包含的人脸信息,从图像帧中提取得到包含人脸的局部图像,进而得到与目标人脸关联的所有图像帧对应的人脸图像,将帧序列号与提取到的人脸图像关联。目标人脸与提取得到的人脸图像进行关联。其中,提取的人脸图像可以为矩形,人脸图像包括一张人脸和部分的留白或背景。
S115:对提取的人脸图像进行质量分评估,并选取质量分最高的人脸图像。
具体地,上述步骤S114得到与目标人脸关联的所有人脸图像。通过人脸质量评估技术对与目标人脸关联的所有人脸图像进行质量分评估。其中,进行质量分评估需要考量的角度可以包括人脸大小、人脸清晰度、人脸角度和光照等。通过对每张人脸图像进行质量分评估后,将与目标人脸关联的所有人脸图像按照质量分的大小进行排序,选出质量分最高的一张人脸图像。
S12:判断人脸图像是否符合预设条件。
具体地,检测主图像采集设备获取的一张人脸图像中人脸的姿态角。在本实施例中,判断人脸图像中的人脸的姿态角是否符合预设角度。请参阅图4,图4是本发明提供的人脸识别方法中人脸姿态角的示意图。其中,姿态角包括俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)。在一实施例中,判断人脸图像中的人脸的俯仰角的绝对值是否超过预设俯仰角。在另一实施例中,判断人脸图像中的人脸的翻滚角的绝对值是否超过预设翻滚角。
其中,预设俯仰角可以为40°,即判断人脸图像中的人脸的俯仰角的绝对值是否小于或等于40°。如果人脸图像中的人脸的俯仰角的绝对值小于或等于40°,则说明人脸的图像中的人脸不属于大角度人脸,可以将主图像采集设备获取的人脸图像发送给后端服务器直接进行识别。如果人脸图像中的人脸的俯仰角的绝对值大于40°,则说明人脸图像中的人脸属于大角度人脸,如果将该人脸图像发送给后端服务器进行人脸识别,则会造成人脸识别的识别精度低,影响人脸识别系统可靠性的问题。因此,则需要直接跳转至步骤S13。
其中,预设偏航角可以为50°,即判断人脸图像中人脸的偏航角的绝对值是否小于或等于50°。如果人脸图像中的人脸的偏航角的绝对值小于或等于50°,则说明人脸的图像中的人脸不属于大角度人脸,可以将主图像采集设备获取的人脸图像发送给后端服务器直接进行识别。如果人脸图像中的人脸的偏航角的绝对值大于50°,则说明人脸图像中的人脸属于大角度人脸,如果将该人脸图像发送给后端服务器进行人脸识别,则会造成人脸识别的识别精度低,影响人脸识别系统可靠性的问题。因此,则需要直接跳转至步骤S13。
S13:则通过至少一个辅助图像采集设备获取与主图像采集设备获取的人脸图像对应的其它视角的人脸图像。
具体地,当主图像采集设备获取的人脸图像不符合预设条件时,则主图像采集设备控制多个辅助图像采集设备采集目标人脸的多个视角的人脸图像。在一可选实施例中,人脸图像中人脸的偏航角的绝对值大于50°,或人脸图像中的人脸的俯仰角的绝对值大于40°,则说明人脸图像中的人脸属于大角度人脸,后端服务器不能精确的识别人脸图像,则主图像采集设备控制辅助图像采集设备获取目标人脸其它角度的人脸图像,进而结合主图像采集设备获取的人脸图像进行识别,提高人脸识别的精确度。
S14:将主图像设备获取的人脸图像和辅助图像采集设备获取的人脸图像发送给服务器进行人脸识别。
具体地,主图像采集设备将获取的人脸图像发送给后端服务器,主图像采集设备控制辅助图像采集设备也将获取的其它多角度的人脸图像发送给后端服务器,以便于后端服务器结合主图像采集设备和辅助图像采集设备发送的人脸图像对目标设备的图像进行识别,进而提高对目标人脸的识别精确度。
S15:将主图像采集设备获取人脸图像发送给服务器进行人脸识别。
具体地,当主图像采集设备获取的人脸图像符合预设条件时,则主图像采集设备将符合要求的人脸图像发送给后端服务器进行人脸识别。在一可选实施例中,人脸图像中人脸的偏航角的绝对值小于或等于50°,且人脸图像中的人脸的俯仰角的绝对值小于或等于40°,则说明人脸图像中的人脸不属于大角度人脸,后端服务器能精确的识别人脸图像,则将主图像采集设备将符合要求的人脸图像发送给后端服务器进行人脸识别。
通过主图像采集设备获取一张人脸图像;判断人脸图像是否符合预设条件;若确定人脸图像不符合预设条件,则控制至少一个辅助图像采集设备获取与主图像采集设备获取的人脸图像对应的其它视角的人脸图像;其中,主图像采集设备与辅助图像采集设备关联;将主图像设备获取的人脸图像和辅助图像采集设备获取的人脸图像发送给服务器进行人脸识别,通过主图像采集设备采集的人脸图像和辅助图像采集设备采集的多角度目标人脸相互结合进行目标人脸的识别,进而提高人脸识别的精确度。
S2:根据人脸图像在三维人脸模板上重建对应的三维人脸模型。
具体地,后端服务器根据接收的所有人脸图像分别在三维人脸模板的基础上重新构建对应的三维人脸模型。请参阅图5,图5是本发明提供的人脸识别方法中步骤S2一具体实施例的流程示意图。具体重新构建三维人脸模型的实施步骤如下。
S21:对人脸图像分别进行特征点检测,并获取特征点的位置信息。
具体地,采用人脸关键点定位技术对接收的目标人脸对应的每张人脸图像进行特征点检测,进而获取每张人脸图像中人脸的特征点信息。在本实施例中,采用人脸关键点定位技术对接收的目标人脸对应的每张人脸图像进行特征点检测后,获取每张人脸图像中的68个特征点的位置坐标。
S22:根据每张人脸图像对应的特征点的位置信息在三维人脸模板上重建每张人脸图像对应的三维人脸模型。
具体地,根据上述步骤得到的每张人脸图像中人脸的特征点信息分别在三维人脸模板上重建每张人脸图像对应的三维人脸模型。具体地,三维人脸模板为3DMM形变模型。在一具体实施例中,利用在一张人脸图像上获取的68个特征点的位置坐标使3DMM形变模型产生初始形变,以形成对应的三维人脸模型。目标人脸对应的多张人脸图像分别在3DMM形变模型上产生形变,进而使每张人脸图像对应一个三维人脸模型,形成一组与目标人脸相关联的三维人脸模型。
S3:将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理,得到每张人脸图像对应的投影归一化图像。
具体地,请参阅图6,图6是本发明提供的人脸识别方法中步骤S3一具体实施例的流程示意图。包括如下步骤。
S31:对三维人脸模板进行归一化处理,以得到归一化形变模板。
具体地,为了使一组与目标人脸相关联的所有三维人脸模型的尺寸大小相同或统一,则对三维人脸模板进行归一化处理,即使三维人脸模型的x轴,y轴,z轴的坐标值均归一化到0~1,进而得到归一化形变模板(Normalized Coordinate Code,NCC)。在一具体实施例中,对3DMM形变模型进行归一化处理,使3DMM形变模型中的x轴,y轴,z轴的坐标值均归一化到0~1,进而得到归一化3DMM形变模型。
S32:将每张人脸图像对应的三维人脸模型分别与归一化形变模板进行Z-buffer处理。
具体地,将每张人脸图像对应的三维人脸模型与归一化的形变模板进行Z-buffer处理,以使每张人脸图像对应的三维人脸模型分别映射到归一化形变模板上,进而得到每张人脸图像对应的投影归一化图像(Projected Normalized Coordinate Code,PNCC)。其中,该投影归一化图像为二维图像,其相对于三维人脸模型不具有深度信息,投影归一化图像为仅显示三维人脸模型的可见面的二维图像。
S4:根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型。
请参阅图7,图7是本发明提供的人脸识别方法中步骤S4一具体实施例的流程示意图。具体实施步骤如下。
S41:对获取的人脸图像进行剪裁,以去除人脸图像中的空白区域。
具体地,对后端服务器接收的主图像采集设备和辅助图像采集设备发送的人脸图像逐一进行剪裁,以将包含人脸图像的局部图像中的背景部分或留白部分进行去除,仅保留人脸部分。
S42:根据剪裁后的人脸图像与投影归一化图像估计每张人脸图像对应的模型形状参数。
具体地,采用三维人脸稠密匹配方法(3D Dense Face Alignment,3DDFA)对剪裁后的人脸图像和对应的投影归一化图像进行每张人脸最终的模型形状参数估计,且获得每张人脸图像中人脸的模型参数向量。由于每张人脸图像中的人脸的表情可能不同,因此每张人脸图像对应的人脸模型参数的向量也存在差异。
S43:计算所有人脸图像对应的模型形状参数的平均值。
具体地,根据每张人脸的模型形状参数以及模型参数向量旋转、平移和/或缩放上述步骤S222得到的每张人脸图像对应的三维人脸模型,并对三维人脸模型进行表情变换,得到每张人脸图像对应的变形后的三维人脸模型。
根据每张人脸对应的变形后的三维人脸模型获取每张人脸图像对应的参数信息,计算目标人脸对应的所有人脸图像对应的各项参数信息的平均值。
S44:根据模型形状参数的平均值确定目标人脸的三维模型。
具体地,根据计算得到的目标人脸对应的所有人脸图像的各项参数信息的平均值拟合目标人脸的三维模型。进而充分结合主图像采集设备获取的人脸图像以及辅助图像采集设备采集的多视角的人脸图像中的参数信息,使得得到的目标人脸的三维模型的各项参数更准确,有利于提高目标人脸的识别精确度。
S5:通过三维模型获取目标人脸的二维特征图像并进行识别。
请参阅图8,图8是本发明提供的人脸识别方法中步骤S5一具体实施例的流程示意图。具体地,通过目标人脸的三维模型对目标人脸进行识别的步骤如下。
S51:根据每张人脸图像的顶点纹理对目标人脸的三维模型进行纹理映射贴图,得到目标人脸的最终三维人脸模型。
具体地,对拟合得到的目标人脸的三维模型进行纹理贴图。具体地,根据主图像采集设备采集的人脸图像,特别是辅助图像采集设备采集的多视角人脸图像对应的顶点纹理,进行对应的纹理映射贴图,以得到目标人脸的最终三维人脸模型。
S52:将最终三维人脸模型进行正向二维映射,获取目标人脸的二维正面图像。
具体地,将最终三维人脸模型进行二维映射,以获取目标人脸的二维图像。获取最终三维人脸模型的二维图像,二维图像中人脸的姿态角符合预设条件即可。在一优选实施例中,对最终三维人脸模型进行正向二维映射,获取最终三维人脸模型对应的二维正面图像。最终三维人脸模型的二维正面图像更容易识别目标人脸,进一步可以提高目标人脸的识别精确度。
S53:对目标人脸的二维正面图像进行人脸识别。
具体地,将目标人脸对应的二维图像与预先建立的数据库中的注册人脸进行比对;若确定二维图像与数据库中注册人脸匹配,则目标人脸被识别。在一优选实施例中,将二维正面图像与预先建立的数据库中的注册人脸进行比对;若确定二维正面图像与数据库中注册人脸匹配,则目标人脸被识别。
本实施例中,该人脸识别方法通过接收主图像采集设备和辅助图像采集设备发送的人脸图像;根据接收的人脸图像在三维人脸模板上重建对应的三维人脸模型;将每张人脸图像对应的三维人脸模型投影到经过归一化处理的三维人脸模板上并进行深度消隐处理,得到每张人脸图像对应的投影归一化图像;根据投影归一化图像确定每张人脸图像对应的模型参数,并结合每张人脸图像对应的模型参数确定目标人脸的三维模型;通过三维模型获取目标人脸的二维特征图像并进行识别,进而根据主图像采集设备和辅助图像采集设备发送的人脸图像获取人脸图像对应的目标人脸的二维特征图像,通过识别人脸图像的二维特征图提升人脸识别系统的识别精度,进而提升大角度下人脸识别的精度。
参阅图9,图9是本发明提供的终端一实施方式的示意框图。该实施方式中的终端70包括:处理器71、存储器72以及存储在存储器72中并可在处理器71上运行的计算机程序该计算机程序被处理器71执行时实现上述人脸识别方法中,为避免重复,此处不一一赘述。
参阅图10,图10是本发明提供的计算机可读存储介质一实施方式的示意框图。
本申请的实施方式中还提供一种计算机可读存储介质90,计算机可读存储介质90存储有计算机程序901,计算机程序901中包括程序指令,处理器执行程序指令,实现本申请实施方式提供的人脸识别方法。
其中,计算机可读存储介质90可以是前述实施方式的计算机设备的内部存储单元,例如计算机设备的硬盘或内存。计算机可读存储介质90也可以是计算机设备的外部存储设备,例如计算机设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上仅为本发明的实施方式,并非因此限制本发明的专利保护范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (12)

1.一种人脸识别方法,其特征在于,所述人脸识别方法包括:
获取人脸图像;
根据所述人脸图像在三维人脸模板上重建对应的三维人脸模型;
将每张所述人脸图像对应的所述三维人脸模型投影到经过归一化处理的所述三维人脸模板上并进行深度消隐处理,得到每张所述人脸图像对应的投影归一化图像;
根据所述投影归一化图像确定每张所述人脸图像对应的模型参数,并结合每张所述人脸图像对应的所述模型参数确定目标人脸的三维模型;
通过所述三维模型获取所述目标人脸的二维特征图像并进行识别;
其中,所述根据所述投影归一化图像确定每张所述人脸图像对应的模型参数,并结合每张所述人脸图像对应的所述模型参数确定目标人脸的三维模型的步骤具体包括:
对获取的所述人脸图像进行剪裁,以去除所述人脸图像中的空白区域;
根据剪裁后的所述人脸图像与所述投影归一化图像估计每张所述人脸图像对应的模型形状参数;
计算所有所述人脸图像对应的所述模型形状参数的平均值;
根据所述模型形状参数的平均值确定所述目标人脸的三维模型。
2.根据权利要求1所述的人脸识别方法,其特征在于,
所述根据所述人脸图像在三维人脸模板上重建对应的三维人脸模型的步骤具体包括:
对所述人脸图像分别进行特征点检测,并获取所述特征点的位置信息;
根据每张所述人脸图像对应的所述特征点的位置信息在所述三维人脸模板上重建每张所述人脸图像对应的所述三维人脸模型。
3.根据权利要求1所述的人脸识别方法,其特征在于,
所述将每张所述人脸图像对应的所述三维人脸模型投影到经过归一化处理的所述三维人脸模板上并进行深度消隐处理的步骤具体包括:
对所述三维人脸模板进行归一化处理,以得到归一化形变模板;
将每张所述人脸图像对应的所述三维人脸模型分别与所述归一化形变模板进行Z-buffer处理。
4.根据权利要求1所述的人脸识别方法,其特征在于,
所述通过所述三维模型获取所述目标人脸的二维特征图像并进行识别的步骤具体包括:
根据每张所述人脸图像的顶点纹理对所述目标人脸的所述三维模型进行纹理映射贴图,得到所述目标人脸的最终三维人脸模型;
将所述最终三维人脸模型进行正向二维映射,获取所述目标人脸的二维正面图像;
对所述目标人脸的二维正面图像进行人脸识别。
5.根据权利要求4所述的人脸识别方法,其特征在于,
所述对所述目标人脸的二维正面图像进行人脸识别的步骤具体包括:
将所述二维正面图像与预先建立的数据库中的注册人脸进行比对;
若确定所述二维正面图像与所述数据库中所述注册人脸匹配,则所述目标人脸被识别。
6.根据权利要求1所述的人脸识别方法,其特征在于,
所述获取人脸图像的步骤具体包括:
通过主图像采集设备获取一张人脸图像;
判断所述人脸图像是否符合预设条件;
若确定所述人脸图像不符合预设条件,则通过至少一个辅助图像采集设备获取与所述主图像采集设备获取的所述人脸图像对应的其它视角的所述人脸图像;其中,所述主图像采集设备与所述辅助图像采集设备关联。
7.根据权利要求6所述的人脸识别方法,其特征在于,
所述通过主图像采集设备获取一张人脸图像的步骤具体包括:
通过所述主图像采集设备采集视频信息;所述视频信息包括包含人脸的图像帧;
检测所述图像帧中的人脸信息;
在所述视频信息中对目标人脸进行跟踪,以使所述目标人脸与包含所述目标人脸的所有所述图像帧关联;
根据所述人脸信息提取所述图像帧中的人脸图像;
对提取的所述人脸图像进行质量分评估,并选取质量分最高的所述人脸图像。
8.根据权利要求7所述的人脸识别方法,其特征在于,
所述检测所述图像帧中的人脸信息的步骤具体包括:
通过人脸检测模型检测多张所述图像帧中的人脸位置和人脸尺寸。
9.根据权利要求7所述的人脸识别方法,其特征在于,
所述判断所述人脸图像是否符合预设条件的步骤之前还包括:
检测所述人脸图像中所述人脸的姿态角;
所述判断所述人脸图像是否符合预设条件的步骤包括:
判断所述人脸图像中的所述人脸的姿态角是否符合预设角度。
10.根据权利要求9所述的人脸识别方法,其特征在于,所述姿态角包括俯仰角、偏航角和翻滚角;
所述判断所述人脸图像中的所述人脸的姿态角是否符合预设角度的步骤具体包括:
判断所述人脸图像中的所述人脸的所述俯仰角是否超过预设俯仰角或所述人脸的所述翻滚角是否超过预设翻滚角。
11.一种终端,其特征在于,所述终端包括存储器、处理器以及存储于所述存储器中并在所述处理器上运行的计算机程序,所述处理器用于执行程序数据以实现如权利要求1~10任一项所述人脸识别方法中的步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~10任一项所述人脸识别方法中的步骤。
CN202110874911.7A 2021-07-30 2021-07-30 人脸识别方法、终端及计算机可读存储介质 Active CN113313097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110874911.7A CN113313097B (zh) 2021-07-30 2021-07-30 人脸识别方法、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110874911.7A CN113313097B (zh) 2021-07-30 2021-07-30 人脸识别方法、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113313097A CN113313097A (zh) 2021-08-27
CN113313097B true CN113313097B (zh) 2021-11-16

Family

ID=77382410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110874911.7A Active CN113313097B (zh) 2021-07-30 2021-07-30 人脸识别方法、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113313097B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986163A (zh) * 2020-07-29 2020-11-24 深思考人工智能科技(上海)有限公司 人脸图像选择方法和装置
CN113870453A (zh) * 2021-09-15 2021-12-31 温州大学大数据与信息技术研究院 一种基于人脸识别的学生考勤管理设备
JP2023110260A (ja) * 2022-01-28 2023-08-09 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN114827561B (zh) * 2022-03-07 2023-03-28 成都极米科技股份有限公司 投影控制方法、装置、计算机设备和计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108520204A (zh) * 2018-03-16 2018-09-11 西北大学 一种人脸识别方法
CN109299643B (zh) * 2018-07-17 2020-04-14 深圳职业技术学院 一种基于大姿态对准的人脸识别方法及系统
CN110287776B (zh) * 2019-05-15 2020-06-26 北京邮电大学 一种人脸识别的方法、装置以及计算机可读存储介质
CN111401157A (zh) * 2020-03-02 2020-07-10 中国电子科技集团公司第五十二研究所 一种基于三维特征的人脸识别方法和系统

Also Published As

Publication number Publication date
CN113313097A (zh) 2021-08-27

Similar Documents

Publication Publication Date Title
CN113313097B (zh) 人脸识别方法、终端及计算机可读存储介质
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
US10417503B2 (en) Image processing apparatus and image processing method
CN106503671B (zh) 确定人脸姿态的方法和装置
Rekimoto Matrix: A realtime object identification and registration method for augmented reality
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
CN103810475B (zh) 一种目标物识别方法及装置
GB2520338A (en) Automatic scene parsing
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
WO2009128783A1 (en) An image synthesis method
EP3905195A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
CN108304801B (zh) 一种防欺骗的人脸识别方法、存储介质及人脸识别装置
CN109255802B (zh) 行人跟踪方法、装置、计算机设备及存储介质
CN114862973B (zh) 基于固定点位的空间定位方法、装置、设备及存储介质
CN112800825B (zh) 基于关键点的关联方法、系统及介质
US20210334569A1 (en) Image depth determining method and living body identification method, circuit, device, and medium
CN109934873B (zh) 标注图像获取方法、装置及设备
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
CN113724335B (zh) 一种基于单目相机的三维目标定位方法及系统
CN115035546A (zh) 三维人体姿态检测方法、装置及电子设备
CN112396654B (zh) 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置
CN108694348B (zh) 一种基于自然特征的跟踪注册方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant