CN113642415A - 人脸特征表达方法及人脸识别方法 - Google Patents

人脸特征表达方法及人脸识别方法 Download PDF

Info

Publication number
CN113642415A
CN113642415A CN202110813933.2A CN202110813933A CN113642415A CN 113642415 A CN113642415 A CN 113642415A CN 202110813933 A CN202110813933 A CN 202110813933A CN 113642415 A CN113642415 A CN 113642415A
Authority
CN
China
Prior art keywords
feature map
type
face image
face
shallow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110813933.2A
Other languages
English (en)
Inventor
刘金锁
华仁红
李琦
任民
李国志
罗旺
仲启磊
娄超
郝运河
程鼎
贾政
韩斌
王旭涛
尹建月
郝小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yida Tuling Technology Co ltd
Institute of Automation of Chinese Academy of Science
Nari Information and Communication Technology Co
Original Assignee
Beijing Yida Tuling Technology Co ltd
Institute of Automation of Chinese Academy of Science
Nari Information and Communication Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yida Tuling Technology Co ltd, Institute of Automation of Chinese Academy of Science, Nari Information and Communication Technology Co filed Critical Beijing Yida Tuling Technology Co ltd
Priority to CN202110813933.2A priority Critical patent/CN113642415A/zh
Publication of CN113642415A publication Critical patent/CN113642415A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明提供一种人脸特征表达方法及人脸识别方法,引入了深层结构特征图,并将深层结构特征图中各节点表征的局部特征与全局特征向量相结合,可以使对待表达人脸图像的特征表达更加全面准确,为将特征表达应用于人脸识别时得到的识别结果提供显式的依据和理由,使识别结果的可解释性、可信度大为提升。

Description

人脸特征表达方法及人脸识别方法
技术领域
本发明涉及特征表达及目标识别技术领域,尤其涉及一种人脸特征表达方法及人脸识别方法。
背景技术
目前,人脸识别是一种广泛应用的计算机视觉技术,其中人脸特征表达方法是人脸识别技术的核心问题,其目的在于将人脸图像映射为便于进行度量的特征表达。
现有的人脸特征表达方法通常直接利用卷积神经网络对人脸图像进行处理,得到人脸的特征表达,这相比于传统方法获得了更好的识别性能。但由特征表达得到的识别结果可解释性较差,不能给出该识别结果的理由和证据,从而限制了人脸识别方法在可靠性、安全性要求较高的场合的应用。
为此,现急需提供一种人脸特征表达方法。
发明内容
本发明提供一种人脸特征表达方法及人脸识别方法,用以解决现有技术中存在的缺陷。
本发明提供一种人脸特征表达方法,包括:
获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;
生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;
基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。
根据本发明提供的一种人脸特征表达方法,所述生成所述浅层特征图对应的浅层结构特征图,具体包括:
将所述浅层特征图输入至卷积神经网络模型,得到由所述卷积神经网络模型输出的所述浅层特征图中预设数量个用于生成所述浅层结构特征图的节点的位置坐标;
基于双线性插值方法,确定各节点的特征向量,并将所述特征向量作为所述浅层结构特征图的特征表达;
基于各节点的位置坐标之间的距离,确定所述浅层结构特征图的邻接矩阵;
其中,所述卷积神经网络模型基于携带有多个节点的位置坐标的浅层特征图样本训练得到。
根据本发明提供的一种人脸特征表达方法,所述基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图,具体包括:
将所述浅层结构特征图输入至图卷积网络模型,得到由所述图卷积网络模型输出的所述深层结构特征图;
其中,所述图卷积网络模型基于浅层结构特征图样本训练得到。
本发明还提供一种人脸识别方法,包括:
获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;
基于上述所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;
基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
根据本发明提供的一种人脸识别方法,所述基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,计算所述第一类语义描述向量与所述第二类语义描述向量的第一距离;
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,并基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配。
根据本发明提供的一种人脸识别方法,所述将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,之前包括:
确定包含有一个第一类节点和一个第二类节点的节点对的相似度,并确定相似度大于等于第一预设阈值的目标节点对,从所述第一类深层结构特征图中剔除所述目标节点对中的第一类节点,从所述第二类深层结构特征图中剔除所述目标节点对中的第二类节点。
根据本发明提供的一种人脸识别方法,所述计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,具体包括:
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的差值;
计算所述差值的F范数,并将所述F范数作为所述第二距离。
根据本发明提供的一种人脸识别方法,所述基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
对所述第一距离与所述第二距离进行求和,得到求和结果;
若判断获知所述求和结果小于等于第二预设阈值,则确定所述待识别人脸图像与所述比对图像匹配成功。
本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述人脸特征表达方法或人脸识别方法的步骤。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述人脸特征表达方法或人脸识别方法的步骤。
本发明提供的人脸特征表达方法及人脸识别方法,引入了深层结构特征图,并将深层结构特征图中各节点表征的局部特征与全局特征向量相结合,可以使对待表达人脸图像的特征表达更加全面准确,为将特征表达应用于人脸识别时得到的识别结果提供显式的依据和理由,使识别结果的可解释性、可信度大为提升。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的人脸特征表达方法的流程示意图;
图2是本发明提供的人脸特征表达方法的完整流程示意图;
图3是本发明提供的人脸识别方法的流程示意图;
图4是本发明提供的人脸特征表达装置的结构示意图;
图5是本发明提供的人脸识别装置的结构示意图;
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例中提供的一种人脸特征表达方法的流程示意图,如图1所示,该方法包括:
S11,获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;
S12,生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;
S13,基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。
具体地,本发明实施例中提供的人脸特征表达方法,其执行主体为服务器,该服务器可以是本地服务器,也可以是云端服务器,本地服务器具体可以是计算机、平板电脑以及智能手机等,本发明实施例中对此不作具体限定。
首先执行步骤S11,获取待表达人脸图像,待表达人脸图像是指其中包含有人脸区域且需要确定图像中人脸特征表达的图像。人脸特征表达是指人脸区域对应的特征向量或特征图等。
在提取待表达人脸图像的浅层特征图时,提取的动作可以通过较浅的全卷积神经网络模型实现,全卷积神经网络模型可以通过人脸图像样本训练得到。本发明实施例中,可以将待表达人脸图像输入至全卷积神经网络模型,由全卷积神经网络模型对待表达人脸图像进行处理,即可得到浅层特征图。浅层特征图用于表征人脸区域的浅层特征。
然后执行步骤S12,生成所述浅层特征图对应的浅层结构特征图,浅层结构特征图是指浅层特征图的结构化表示,浅层结构特征图中每个节点表征待表达人脸图像的局部浅层特征。浅层结构特征图可以通过结构图(Graph)生成器生成,本发明实施例中对此不作具体限定。在生成浅层结构特征图之后,根据浅层结构特征图,确定待表达人脸图像对应的深层结构特征图。本发明实施例中,可以通过对浅层结构特征图进行识别处理,进而提取出待表达人脸图像对应的深层结构特征图。深层结构特征图可以是深层特征图的结构化表示,深层结构特征图中每个节点表征待表达人脸图像的局部深层特征。
然后执行步骤S13,根据浅层特征图,确定待表达人脸图像对应的全局特征向量,可以通过卷积神经网络模型实现,即将浅层特征图输入至卷积神经网络模型,通过卷积神经网络模型对浅层特征图进行处理,得到待表达人脸图像对应的全局特征向量。本发明实施例中,卷积神经网络模型可以通过浅层特征图样本训练得到。
在得到待表达人脸图像对应的全局特征向量之后,根据深层结构特征图以及全局特征向量,即可对待表达人脸图像进行特征表达。本发明实施例中,可以将深层结构特征图以及全局特征向量进行结合,共同作为待表达人脸图像的特征表达。
本发明实施例中提供的人脸特征表达方法,首先获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;然后生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;最后基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。本发明实施例中,引入了深层结构特征图,并将深层结构特征图中各节点表征的局部特征与全局特征向量相结合,可以使对待表达人脸图像的特征表达更加全面准确,为将特征表达应用于人脸识别时得到的识别结果提供显式的依据和理由,使识别结果的可解释性、可信度大为提升。
在上述实施例的基础上,本发明实施例中提供的人脸特征表达方法,所述生成所述浅层特征图对应的浅层结构特征图,具体包括:
将所述浅层特征图输入至卷积神经网络模型,得到由所述卷积神经网络模型输出的所述浅层特征图中预设数量个用于生成所述浅层结构特征图的节点的位置坐标;
基于双线性插值方法,确定各节点的特征向量,并将所述特征向量作为所述浅层结构特征图的特征表达;
基于各节点的位置坐标之间的距离,确定所述浅层结构特征图的邻接矩阵;
其中,所述卷积神经网络模型基于携带有多个节点的位置坐标的浅层特征图样本训练得到。
具体地,本发明实施例中,生成浅层特征图对应的浅层结构特征图的过程,是指生成浅层结构特征图,并确定浅层结构特征图中的节点的特征向量以及邻接矩阵的过程。
首先,可以将浅层特征图输入至卷积神经网络模型,通过卷积神经网络模型对浅层特征图进行处理,确定出浅层特征图中预设数量个用于生成浅层结构特征图的节点的位置坐标。其中,卷积神经网络模型可以是轻量级的神经网络模型,可以通过携带有多个节点的位置坐标的浅层特征图样本训练得到。预设数量可以预先给定。
然后,基于双线性插值方法,确定各节点的特征向量,并将各节点的特征向量作为浅层结构特征图的特征表达。
最后,基于各节点的位置坐标之间的距离,确定浅层结构特征图的邻接矩阵。对于任意两个节点a和b,节点a和b的邻接矩阵可以通过如下公式计算:
Figure BDA0003169503620000081
其中,ca为节点a的位置坐标,cb为节点b的位置坐标,R为浅层特征图中各节点的感受野。
至此得到浅层结构特征图中每个节点的特征表达和邻接矩阵,邻接矩阵用于表征待表达人脸图像的结构特征。
在上述实施例的基础上,本发明实施例中提供的人脸特征表达方法,所述基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图,具体包括:
将所述浅层结构特征图输入至图卷积网络模型,得到由所述图卷积网络模型输出的所述深层结构特征图;
其中,所述图卷积网络模型基于浅层结构特征图样本训练得到。
具体地,本发明实施例中,在确定待表达人脸图像对应的深层结构特征图时,可以引入图卷积网络模型,将浅层结构特征图输入至图卷积网络模型,得到由图卷积网络模型输出的深层结构特征图。其中,图卷积网络模型可以通过浅层结构特征图样本训练得到。
本发明实施例中,将图卷积网络模型以及卷积神经网络模型相结合,可以使得到的特征表达不但便于计算和度量,同时能够较好地应对遮挡对人脸识别的挑战,同时还可以为识别结果提供显式的依据,使得识别结果的可解释性、可信度大为提升。
图2为本发明实施例中提供的人脸特征表达方法的完整流程示意图,如图2所示,该方法包括:
获取待表达人脸图像;
将待表达人脸图像输入至全卷积神经网络模型,通过全卷积神经网络模型输出待表达人脸图像的浅层特征图;
通过结构图生成器得到浅层特征图对应的浅层结构特征图,并将浅层特征图输入至卷积神经网络模型,得到待表达人脸图像对应的全局特征向量;
通过图卷积网络模型,确定待表达人脸图像对应的深层结构特征图,将全局特征向量与深层结构特征图进行结合,得到待表达人脸图像的特征表达。
图3所示,为本发明实施例中提供的一种人脸识别方法的流程示意图,如图3所示,该方法包括:
S21,获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;
S22,基于上述人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;
S23,基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
具体地,本发明实施例中提供的人脸识别方法,其执行主体为服务器,该服务器可以是本地服务器,也可以是云端服务器,本地服务器具体可以是计算机、平板电脑以及智能手机等,本发明实施例中对此不作具体限定。
首先执行步骤S21,分别获取待识别人脸图像以及人脸图像库。其中,人脸图像库中可以包含有多个比对图像,每个比对图像中均包含有一张人脸。待识别人脸图像是指需要判断人脸图像库中是否存在若干比对图像,这些比对图像与待识别人脸图像中存在相同的人脸。
然后执行步骤S22,基于上述人脸特征表达方法,分别确定出待识别人脸图像以及比对图像的人脸特征表达。即分别确定出待识别人脸图像的第一类深层结构特征图以及第一类全局特征向量、人脸图像库中各比对图像的第二类深层结构特征图以及第二类全局特征向量。
最后执行步骤S23,基于待识别人脸图像以及比对图像的人脸特征表达,将待识别人脸图像与比对图像进行匹配。即通过第一类深层结构特征图、第一类全局特征向量、第二类深层结构特征图以及第二类全局特征向量,将待识别人脸图像与比对图像进行匹配,确定人脸图像库中是否存在与待识别人脸图像匹配成功的比对图像,如果存在,则说明与待识别人脸图像匹配成功的比对图像中存在与待识别人脸图像中包含有相同的人脸。
本发明实施例中提供的人脸识别方法,首先获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;然后基于上述人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;最后基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。通过引入人脸特征表达方法分别确定待识别人脸图像以及比对图像的人脸特征表达,可以使对待识别人脸图像以及比对图像的人脸特征表达更加全面准确,为人脸识别结果提供显式的依据和理由,使识别结果的可解释性、可信度大为提升。
在上述实施例的基础上,本发明实施例中提供的人脸识别方法,所述基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,计算所述第一类语义描述向量与所述第二类语义描述向量的第一距离;
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,并基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配。
具体地,本发明实施例中,在将待识别人脸图像与比对图像进行匹配时,是将待识别人脸图像与人脸图像库中的每一比对图像均进行匹配,并判断是否匹配成功。
首先将第一类深层结构特征图中各第一类节点的特征向量与第一类全局特征向量进行拼接,得到第一类语义描述向量,并将任一比对图像的第二类深层结构特征图中每个第二类节点的特征向量与第二类全局特征向量进行拼接,得到第二类语义描述向量。然后计算第一类语义描述向量与第二类语义描述向量的第一距离,该第一距离可以是余弦距离。最后,计算第一类深层结构特征图的邻接矩阵与该任一比对图像的第二类深层结构特征图的邻接矩阵的第二距离,该第二距离可以通过范数表示。根据第一距离以及第二距离,即可将待识别人脸图像与比对图像进行匹配。例如,可以将第一距离与第二距离进行结合,并判断结合结果是否满足匹配条件,如果满足则证明该任一比对图像与待识别人脸图像匹配成功,二者包含有相同的人脸。
本发明实施例中,将两张图像的语义描述向量之间的距离与深层结构特征图的邻接矩阵之间的距离相结合,以判断两张图像是否匹配,可以使得匹配结果的判断更加准确。
由于现有技术中直接利用卷积神经网络对人脸图像进行处理的方式对人脸图像中的遮挡较为敏感,当人脸图像中部分人脸不可见时,得到的特征表达的可分性便会显著降低。
为此,在上述实施例的基础上,本发明实施例中提供的人脸识别方法,所述将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,之前包括:
确定包含有一个第一类节点和一个第二类节点的节点对的相似度,并确定相似度大于等于第一预设阈值的目标节点对,从所述第一类深层结构特征图中剔除所述目标节点对中的第一类节点,从所述第二类深层结构特征图中剔除所述目标节点对中的第二类节点。
具体地,本发明实施例中,为去除待识别人脸图像中遮挡部分的干扰,可以在获取待识别人脸图像对应的第一类深层结构特征图以及比对图像对应的第二类深层结构特征图之后,确定包含有一个第一类节点和一个第二类节点的节点对的相似度,该相似度是指节点对中第一类节点与第二类节点之间的相似度,可以通过余弦距离表示。通过该相似度,可以确定出所有节点对中相似度大于等于第一预设阈值的目标节点对。其中,第一预设阈值可以根据需要进行设定,也可以将所有节点对的相似度的平均值作为该第一预设阈值,本发明实施例中对此不作具体限定。目标节点对的数量与第一预设阈值的设定有关。
然后从第一类深层结构特征图中剔除目标节点对中的第一类节点,得到新的第一类深层结构特征图。从第二类深层结构特征图中剔除目标节点对中的第二类节点,得到新的第二辆深层结构特征图。
最后用新的第一类深层结构特征图以及新的第二辆深层结构特征图代替原有的第一类深层结构特征图以及原有的第二辆深层结构特征图进行后续操作。如此可以应对遮挡条件下的人脸识别,使得遮挡条件下的人脸识别结果更加准确。
在上述实施例的基础上,本发明实施例中提供的人脸识别方法,所述计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,具体包括:
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的差值;
计算所述差值的F范数,并将所述F范数作为所述第二距离。
具体地,本发明实施例中,在计算两个邻接矩阵之间的第二距离时,可以通过如下公式实现:
Dadj=‖M1-M2F
其中,M1表示第一类深层结构特征图的邻接矩阵,M2表示第二类深层结构特征图的邻接矩阵,M1-M2表示差值,‖·‖F表示差值的F范数(Frobenius范数)。
本发明实施例中,通过计算两个邻接矩阵的差值的F范数,确定两个邻接矩阵之间的第二距离,可以简化第二距离的计算过程,且得到的第二距离更加准确。
在上述实施例的基础上,本发明实施例中提供的人脸识别方法,所述基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
对所述第一距离与所述第二距离进行求和,得到求和结果;
若判断获知所述求和结果小于等于第二预设阈值,则确定所述待识别人脸图像与所述比对图像匹配成功。
具体地,本发明实施例中,在结合第一距离以及第二距离将待识别人脸图像与比对图像进行匹配时,可以先对第一距离与第二距离进行求和,得到求和结果,如下公式所示:
D=Dfea+Dadj
其中,D为求和结果,Dfea为第一距离,Dadj为第二距离。
然后,判断求和结果是否小于等于第二预设阈值,如果小于,则可以认为待识别人脸图像与该比对图像匹配成功。
本发明实施例中,通过计算第一距离与第二距离的求和结果,将待识别人脸图像与比对图像进行匹配,可以使匹配过程更加易于实现。
综上所述,本发明实施例中提供的人脸特征表达方法及人脸识别方法,采用结构图(Graph)生成器将人脸的局部特征与全局特征相结合,在处理遮挡问题时,通过度量节点之间的距离,自适应地删去被遮挡部分所对应的节点,使得被遮挡部分在距离度量中的影响大为下降。而且,在人脸识别过程中,由两张人脸得到的深度结构图能够指出两张人脸图像每部分的相似程度,为最终识别结果提供显式的依据和理由,使得识别结果的可解释性、可信度大为提升。
如图4所示,在上述实施例的基础上,本发明实施例中提供了一种人脸特征表达装置,包括:第一获取模块41、深层结构特征图生成模块42和第一人脸特征表达模块43。其中,
第一获取模块41,用于获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;
深层结构特征图生成模块42,用于生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;
第一人脸特征表达模块43,用于基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。
在上述实施例的基础上,本发明实施例中提供的人脸特征表达装置,所述深层结构特征图生成模块,具体用于:
将所述浅层特征图输入至卷积神经网络模型,得到由所述卷积神经网络模型输出的所述浅层特征图中预设数量个用于生成所述浅层结构特征图的节点的位置坐标;
基于双线性插值方法,确定各节点的特征向量,并将所述特征向量作为所述浅层结构特征图的特征表达;
基于各节点的位置坐标之间的距离,确定所述浅层结构特征图的邻接矩阵;
其中,所述卷积神经网络模型基于携带有多个节点的位置坐标的浅层特征图样本训练得到。
在上述实施例的基础上,本发明实施例中提供的人脸特征表达装置,所述深层结构特征图生成模块,还具体用于:
将所述浅层结构特征图输入至图卷积网络模型,得到由所述图卷积网络模型输出的所述深层结构特征图;
其中,所述图卷积网络模型基于浅层结构特征图样本训练得到。
具体地,本发明实施例中提供的人脸特征表达装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的,实现的效果也是一致的,具体参见上述实施例,本发明实施例中对此不再赘述。
如图5所示,在上述实施例的基础上,本发明实施例中提供了一种人脸识别装置,包括:
第二获取模块51,用于获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;
第二人脸特征表达模块52,用于基于上述所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;
匹配模块53,用于基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
在上述实施例的基础上,本发明实施例中提供的人脸识别装置,所述匹配模块,具体用于:
将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,计算所述第一类语义描述向量与所述第二类语义描述向量的第一距离;
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,并基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配。
在上述实施例的基础上,本发明实施例中提供的人脸识别装置,还包括剔除模块,用于:
确定包含有一个第一类节点和一个第二类节点的节点对的相似度,并确定相似度大于等于第一预设阈值的目标节点对,从所述第一类深层结构特征图中剔除所述目标节点对中的第一类节点,从所述第二类深层结构特征图中剔除所述目标节点对中的第二类节点。
在上述实施例的基础上,本发明实施例中提供的人脸识别装置,所述匹配模块,还具体用于:
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的差值;
计算所述差值的F范数,并将所述F范数作为所述第二距离。
在上述实施例的基础上,本发明实施例中提供的人脸识别装置,所述匹配模块,还具体用于:
对所述第一距离与所述第二距离进行求和,得到求和结果;
若判断获知所述求和结果小于等于第二预设阈值,则确定所述待识别人脸图像与所述比对图像匹配成功。
图6示例了一种电子设备的实体结构示意图,如图6所示,该电子设备可以包括:处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640,其中,处理器610,通信接口620,存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令,以执行上述各实施例提供的人脸特征表达方法,该方法包括:获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。或者,执行上述各实施例提供的人脸识别方法,该方法包括:获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;基于上述所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
此外,上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,计算机能够执行上述各实施例提供的人脸特征表达方法,该方法包括:获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。或者,执行上述各实施例提供的人脸识别方法,该方法包括:获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;基于上述所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各实施例提供的人脸特征表达方法,该方法包括:获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。或者,执行上述各实施例提供的人脸识别方法,该方法包括:获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;基于上述所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种人脸特征表达方法,其特征在于,包括:
获取待表达人脸图像,并提取所述待表达人脸图像的浅层特征图;
生成所述浅层特征图对应的浅层结构特征图,并基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图;
基于所述浅层特征图,确定所述待表达人脸图像对应的全局特征向量,并基于所述深层结构特征图以及所述全局特征向量,对所述待表达人脸图像进行特征表达。
2.根据权利要求1所述的人脸特征表达方法,其特征在于,所述生成所述浅层特征图对应的浅层结构特征图,具体包括:
将所述浅层特征图输入至卷积神经网络模型,得到由所述卷积神经网络模型输出的所述浅层特征图中预设数量个用于生成所述浅层结构特征图的节点的位置坐标;
基于双线性插值方法,确定各节点的特征向量,并将所述特征向量作为所述浅层结构特征图的特征表达;
基于各节点的位置坐标之间的距离,确定所述浅层结构特征图的邻接矩阵;
其中,所述卷积神经网络模型基于携带有多个节点的位置坐标的浅层特征图样本训练得到。
3.根据权利要求1所述的人脸特征表达方法,其特征在于,所述基于所述浅层结构特征图,确定所述待表达人脸图像对应的深层结构特征图,具体包括:
将所述浅层结构特征图输入至图卷积网络模型,得到由所述图卷积网络模型输出的所述深层结构特征图;
其中,所述图卷积网络模型基于浅层结构特征图样本训练得到。
4.一种人脸识别方法,其特征在于,包括:
获取待识别人脸图像以及人脸图像库,所述人脸图像库中包含有多个比对图像;
基于如权利要求1-3中任一项所述的人脸特征表达方法,分别确定所述待识别人脸图像以及所述比对图像的人脸特征表达;
基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配。
5.根据权利要求4所述的人脸识别方法,其特征在于,所述基于所述待识别人脸图像以及所述比对图像的人脸特征表达,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,计算所述第一类语义描述向量与所述第二类语义描述向量的第一距离;
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,并基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配。
6.根据权利要求5所述的人脸识别方法,其特征在于,所述将所述待识别人脸图像对应的第一类深层结构特征图中各第一类节点的特征向量与所述待识别人脸图像对应的第一类全局特征向量进行拼接,得到第一类语义描述向量,并将所述比对图像对应的第二类深层结构特征图中每个第二类节点的特征向量与所述比对图像对应的第二类全局特征向量进行拼接,得到第二类语义描述向量,之前包括:
确定包含有一个第一类节点和一个第二类节点的节点对的相似度,并确定相似度大于等于第一预设阈值的目标节点对,从所述第一类深层结构特征图中剔除所述目标节点对中的第一类节点,从所述第二类深层结构特征图中剔除所述目标节点对中的第二类节点。
7.根据权利要求5所述的人脸识别方法,其特征在于,所述计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的第二距离,具体包括:
计算所述第一类深层结构特征图的邻接矩阵与所述第二类深层结构特征图的邻接矩阵的差值;
计算所述差值的F范数,并将所述F范数作为所述第二距离。
8.根据权利要求5所述的人脸识别方法,其特征在于,所述基于所述第一距离以及所述第二距离,将所述待识别人脸图像与所述比对图像进行匹配,具体包括:
对所述第一距离与所述第二距离进行求和,得到求和结果;
若判断获知所述求和结果小于等于第二预设阈值,则确定所述待识别人脸图像与所述比对图像匹配成功。
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至3任一项所述人脸特征表达方法的步骤或如权利要求4-8任一项所述人脸识别方法的步骤。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3任一项所述人脸特征表达方法的步骤或如权利要求4-8任一项所述人脸识别方法的步骤。
CN202110813933.2A 2021-07-19 2021-07-19 人脸特征表达方法及人脸识别方法 Pending CN113642415A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110813933.2A CN113642415A (zh) 2021-07-19 2021-07-19 人脸特征表达方法及人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110813933.2A CN113642415A (zh) 2021-07-19 2021-07-19 人脸特征表达方法及人脸识别方法

Publications (1)

Publication Number Publication Date
CN113642415A true CN113642415A (zh) 2021-11-12

Family

ID=78417664

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110813933.2A Pending CN113642415A (zh) 2021-07-19 2021-07-19 人脸特征表达方法及人脸识别方法

Country Status (1)

Country Link
CN (1) CN113642415A (zh)

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235929A (zh) * 2013-03-11 2013-08-07 北京航空航天大学 基于手背静脉图像的身份识别方法和装置
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN109102024A (zh) * 2018-08-14 2018-12-28 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN109657609A (zh) * 2018-12-19 2019-04-19 新大陆数字技术股份有限公司 人脸识别方法及系统
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110147740A (zh) * 2019-04-30 2019-08-20 北京迈格威科技有限公司 人脸识别方法、装置、设备和存储介质
CN110390259A (zh) * 2019-06-11 2019-10-29 中国科学院自动化研究所南京人工智能芯片创新研究院 图数据的识别方法、装置、计算机设备和存储介质
CN110533119A (zh) * 2019-09-04 2019-12-03 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置及电子系统
CN110781704A (zh) * 2018-07-13 2020-02-11 宁波其兰文化发展有限公司 一种用于视频监控的验证方法
CN111079587A (zh) * 2019-12-03 2020-04-28 北京迈格威科技有限公司 人脸的识别方法、装置、计算机设备及可读存储介质
CN111626119A (zh) * 2020-04-23 2020-09-04 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111898413A (zh) * 2020-06-16 2020-11-06 深圳市雄帝科技股份有限公司 人脸识别方法、装置、电子设备和介质
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112132770A (zh) * 2020-09-21 2020-12-25 腾讯科技(深圳)有限公司 图像修复的方法、装置、计算机可读介质及电子设备
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
WO2021083126A1 (zh) * 2019-10-31 2021-05-06 北京市商汤科技开发有限公司 目标检测、智能行驶方法、装置、设备及存储介质
CN113052016A (zh) * 2021-03-09 2021-06-29 北京工业大学 一种基于多尺度注意力残差和等变映射的人脸超分辨率方法
CN113096132A (zh) * 2020-01-08 2021-07-09 东华医为科技有限公司 图像处理的方法、装置、存储介质和电子设备

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103235929A (zh) * 2013-03-11 2013-08-07 北京航空航天大学 基于手背静脉图像的身份识别方法和装置
WO2018054283A1 (zh) * 2016-09-23 2018-03-29 北京眼神科技有限公司 人脸模型的训练方法和装置、人脸认证方法和装置
CN110781704A (zh) * 2018-07-13 2020-02-11 宁波其兰文化发展有限公司 一种用于视频监控的验证方法
CN109102024A (zh) * 2018-08-14 2018-12-28 中山大学 一种用于物体精细识别的层次语义嵌入模型及其实现方法
CN109657609A (zh) * 2018-12-19 2019-04-19 新大陆数字技术股份有限公司 人脸识别方法及系统
CN110147740A (zh) * 2019-04-30 2019-08-20 北京迈格威科技有限公司 人脸识别方法、装置、设备和存储介质
CN110111325A (zh) * 2019-05-14 2019-08-09 深圳大学 神经影像分类方法、计算机终端及计算机可读存储介质
CN110390259A (zh) * 2019-06-11 2019-10-29 中国科学院自动化研究所南京人工智能芯片创新研究院 图数据的识别方法、装置、计算机设备和存储介质
CN110533119A (zh) * 2019-09-04 2019-12-03 北京迈格威科技有限公司 标识识别方法及其模型的训练方法、装置及电子系统
WO2021083126A1 (zh) * 2019-10-31 2021-05-06 北京市商汤科技开发有限公司 目标检测、智能行驶方法、装置、设备及存储介质
CN111079587A (zh) * 2019-12-03 2020-04-28 北京迈格威科技有限公司 人脸的识别方法、装置、计算机设备及可读存储介质
CN113096132A (zh) * 2020-01-08 2021-07-09 东华医为科技有限公司 图像处理的方法、装置、存储介质和电子设备
CN111626119A (zh) * 2020-04-23 2020-09-04 北京百度网讯科技有限公司 目标识别模型训练方法、装置、设备以及存储介质
CN111898413A (zh) * 2020-06-16 2020-11-06 深圳市雄帝科技股份有限公司 人脸识别方法、装置、电子设备和介质
CN112070015A (zh) * 2020-09-08 2020-12-11 广州云从博衍智能科技有限公司 一种融合遮挡场景的人脸识别方法、系统、设备及介质
CN112132770A (zh) * 2020-09-21 2020-12-25 腾讯科技(深圳)有限公司 图像修复的方法、装置、计算机可读介质及电子设备
CN112750082A (zh) * 2021-01-21 2021-05-04 武汉工程大学 基于融合注意力机制的人脸超分辨率方法及系统
CN113052016A (zh) * 2021-03-09 2021-06-29 北京工业大学 一种基于多尺度注意力残差和等变映射的人脸超分辨率方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
孔敏 等: "基于图谱分解的人脸特征描述", 《计算机工程与应用》, no. 04, pages 54 - 57 *
郑睿刚 等: "图卷积算法的研究进展", 《中山大学学报 ( 自然科学版)》, vol. 59, no. 2, pages 227 - 231 *

Similar Documents

Publication Publication Date Title
CN108509915B (zh) 人脸识别模型的生成方法和装置
US20230081645A1 (en) Detecting forged facial images using frequency domain information and local correlation
WO2020207079A1 (zh) 基于图像识别的脱敏处理方法以及装置
CN111597884A (zh) 面部动作单元识别方法、装置、电子设备及存储介质
CN108491812B (zh) 人脸识别模型的生成方法和装置
CN110648289A (zh) 图像的加噪处理方法及装置
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN113205041A (zh) 结构化信息提取方法、装置、设备和存储介质
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN112966685A (zh) 用于场景文本识别的攻击网络训练方法、装置及相关设备
CN112580666A (zh) 图像特征的提取方法、训练方法、装置、电子设备及介质
CN112084904A (zh) 人脸搜索方法、装置及存储介质
CN113962845A (zh) 图像处理方法、图像处理装置、电子设备以及存储介质
CN113221842A (zh) 模型训练方法、图像识别方法、装置、设备及介质
CN111339973A (zh) 一种对象识别方法、装置、设备及存储介质
CN113642415A (zh) 人脸特征表达方法及人脸识别方法
CN116958033A (zh) 异常检测方法、模型训练方法、装置、设备和介质
CN114186039A (zh) 一种视觉问答方法、装置及电子设备
CN113903071A (zh) 人脸识别方法、装置、电子设备和存储介质
CN110287943B (zh) 图像的对象识别方法、装置、电子设备及存储介质
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN112749542A (zh) 一种商品名称匹配方法、系统、设备及存储介质
CN111428670A (zh) 人脸检测方法、装置、存储介质及设备
CN112288748A (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN113989597B (zh) 车辆重识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination