CN116453200B - 人脸识别方法、装置、电子设备及存储介质 - Google Patents

人脸识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116453200B
CN116453200B CN202310693140.0A CN202310693140A CN116453200B CN 116453200 B CN116453200 B CN 116453200B CN 202310693140 A CN202310693140 A CN 202310693140A CN 116453200 B CN116453200 B CN 116453200B
Authority
CN
China
Prior art keywords
face
feature
image
value set
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310693140.0A
Other languages
English (en)
Other versions
CN116453200A (zh
Inventor
葛沅
温东超
史宏志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202310693140.0A priority Critical patent/CN116453200B/zh
Publication of CN116453200A publication Critical patent/CN116453200A/zh
Application granted granted Critical
Publication of CN116453200B publication Critical patent/CN116453200B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请提供了一种人脸识别方法、装置、电子设备及非易失性可读存储介质。方法包括:通过深度神经网络获取待识别图像的特征向量;从待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果;将待识别图像的特征向量与第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果;根据第二比对结果生成待识别图像的第一人脸识别结果。本申请能够分级比对,根据部分元素对特征向量初步筛选后再进行特征向量中所有元素的比对,减少计算量,节约时间,避免了结果反馈慢,用户体验差的问题。

Description

人脸识别方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机技术领域,尤其涉及一种人脸识别方法、装置、电子设备及非易失性可读存储介质。
背景技术
随着技术发展,人脸识别应用于越来越多的应用场景,如人脸支付、人脸考勤等具体应用。现有人脸识别技术往往通过深度神经网络从待识别的图像中提取人脸特征,与预选存储的图像中的人脸特征进行比对,得到比对结果。但是,现实应用场景中,这种一对一的人脸识别较少,更多场合往往需要进行海量人脸识别。
针对上述问题,现有的海量人脸识别往往预先构建包含多张图像的人脸数据库,当获取待识别的图像后,将待识别的图像中人脸特征与数据库中多张图像的人脸特征比对,得到相似度最高的图像生成识别结果。但是,当数据库中的图像过多时,将待识别的人脸特征与所有人脸特征进行比对需要耗费大量时间,人脸识别结果反馈延时严重,影响用户体验。
发明内容
本申请提供了一种人脸识别方法、装置、电子设备及非易失性可读存储介质。本申请提供的人脸识别方法将待识别图像与人脸图像数据库中特征向量中的对应特征值进行比对,并根据第一次比对生成的第一比对结果对人脸图像进行筛选得到第一部分人脸图像的特征向量,随后再将待识别图像与已经筛选过一次的第一部分人脸图像的特征向量比对得到第一人脸识别结果。由于本申请提供的人脸识别方法能够进行分级比对,先根据特征向量的部分特征值对人脸图像数据库中的特征向量初步筛选后进行特征向量中所有特征值的比对,减少了特征比对的计算量,节约了比对时间,避免了人脸识别结果反馈延时严重,用户体验差的问题。
第一方面,本申请提供了一种人脸识别方法,该方法包括:
通过深度神经网络获取待识别图像的特征向量;
从待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,第二特征值集合与第一特征值集合的特征值截取方式一致;
将待识别图像的特征向量与第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,第一部分人脸图像的特征向量根据第一比对结果从人脸图像数据库中选出;
根据第二比对结果生成待识别图像的第一人脸识别结果。
可选的,本申请提供的人脸识别方法还包括:
通过深度神经网络获取人脸图像的特征向量,
根据人脸图像的特征向量构建人脸图像数据库。
可选的,本申请提供的人脸识别方法还包括:
通过深度神经网络对人脸图像中执行人脸检测动作获取人脸检测结果;
根据人脸检测结果获取人脸的几何结构,并根据人脸的几何结构获取人脸图像对应的多个标准人脸;
通过深度神经网络对多个标准人脸进行特征提取获取人脸图像对应的多个特征向量。
可选的,人脸检测结果包括人脸图像的置信度分数,本申请提供的人脸识别方法还包括:
将人脸检测结果中的置信度分数与预先设置的置信度分数阈值进行比较,获取置信度比较结果;
当置信度比较结果为人脸检测结果中的置信度分数低于置信度分数阈值时,对人脸检测结果对应的人脸图像进行剔除处理。
可选的,本申请提供的人脸识别方法还包括:
将人脸图像的特征向量根据对应的人物身份信息进行合并处理;
根据合并处理后的人脸图像的特征向量构建人脸图像数据库。
可选的,本申请提供的人脸识别方法还包括:
对人物身份信息相同的多个人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果;
根据均值结果构建合并处理后的人物身份信息对应的人脸图像的特征向量。
可选的,本申请提供的人脸识别方法还包括:
获取人脸图像的特征向量对应的多个置信度分数;
根据多个置信度分数的大小对人脸图像的特征向量进行排序得到第一排序结果;
根据第一排序结果为多个人脸图像的特征向量中位置关系对应的特征值分配第一权重;
根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第一权重进行加权平均处理得到多个均值结果。
可选的,本申请提供的人脸识别方法还包括:
获取人脸图像的特征向量对应的多个人脸图像检测框大小;
根据多个人脸图像检测框大小对人脸图像的特征向量进行排序得到第二排序结果;
根据第二排序结果为多个人脸图像的特征向量中对应的元素分配第二权重;
根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第二权重进行加权平均处理得到多个均值结果。
可选的,本申请提供的人脸识别方法还包括:
根据预先设置的递减数列为多个人脸图像的特征向量中位置关系对应的特征值分配特征值对应的第一权重。
可选的,本申请提供的人脸识别方法还包括:
对人脸图像的特征向量进行归一化处理,获取归一化处理结果;
将归一化处理结果存储在人脸图像数据库中。
可选的,本申请提供的人脸识别方法还包括:
根据预先设置的截取规则从待识别图像的特征向量中截取特征值并构成第一特征值集合;
根据预先设置的截取规则从人脸图像数据库中截取特征值并构成第二特征值集合;
将第一特征值集合和第二特征值集合进行比对,生成第一比对结果。
可选的,本申请提供的人脸识别方法还包括:
根据预设的截取数量从待识别图像的特征向量的开头开始截取与截取数量相同的特征值获取第一特征值集合。
可选的,本申请提供的人脸识别方法还包括:
根据预设的截取数量从待识别图像的特征向量的结尾开始截取与截取数量相同的特征值获取第一特征值集合。
可选的,本申请提供的人脸识别方法还包括:
根据预设的截取数量从待识别图像的特征向量间隔固定距离选取与截取数量相同的特征值获取第一特征值集合。
可选的,本申请提供的人脸识别方法还包括:
根据预设的截取数量从待识别图像的特征向量随机抽取与截取数量相同的特征值获取第一特征值集合。
可选的,本申请提供的人脸识别方法还包括:
根据余弦距离和/或欧式距离对第一特征值集合和第二特征值集合进行相似度计算,获取第一比对结果。
可选的,本申请提供的人脸识别方法还包括:
根据第一比对结果对人脸图像数据库中的特征向量进行筛选,获取第二部分人脸图像的特征向量,其中,第二部分人脸图像的特征向量为第一比对结果高于预先设置的比对阈值的人脸图像数据库中的特征向量;
从待识别图像的特征向量中截取多个特征值构成第三特征值集合,并与第二部分人脸图像的特征向量中截取多个特征值构成的第四特征值集合进行比对,获取第三比对结果,其中,第三特征值集合的特征值数量大于第一特征值集合的特征值数量;
将待识别图像的特征向量与第三比对结果对应的第三部分人脸图像的特征向量进行比对,获取第四比对结果,其中,第三部分人脸图像的特征向量根据第三比对结果从第二部分人脸图像的特征向量中选出;
根据第四比对结果生成待识别图像的第二人脸识别结果。
第二方面,本申请还提供一种人脸识别装置,包括:
待识别特征获取模块,用于通过深度神经网络获取待识别图像的特征向量;
第一比对模块,用于从待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,第二特征值集合与第一特征值集合的特征值截取方式一致;
第二比对模块,用于将待识别图像的特征向量与第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,第一部分人脸图像的特征向量根据第一比对结果从人脸图像数据库中选出;
第一结果获取模块,用于根据第二比对结果生成待识别图像的第一人脸识别结果。
第三方面,本申请还提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的人脸识别方法的步骤。
第四方面,本申请实施例提供了一种非易失性可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的人脸识别方法的步骤。
本申请提供的人脸识别方法将待识别图像与人脸图像数据库中特征向量中的对应特征值进行比对,并根据第一次比对生成的第一比对结果对人脸图像进行筛选得到第一部分人脸图像的特征向量,随后再将待识别图像与已经筛选过一次的第一部分人脸图像的特征向量比对得到第一人脸识别结果。由于本申请提供的人脸识别方法能够进行分级比对,先根据特征向量的部分特征值对人脸图像数据库中的特征向量初步筛选后进行特征向量中所有特征值的比对,减少了特征比对的计算量,节约了比对时间,避免了人脸识别结果反馈延时严重,用户体验差的问题。
上述说明仅是本申请提供的技术方案的概述,为了能够更清楚了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂,以下特举本申请的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1是本申请实施例提供的人脸识别方法示意图之一;
图2是本申请实施例提供的人脸识别方法示意图之二;
图3是本申请实施例提供的人脸识别方法示意图之三;
图4是本申请实施例提供的人脸识别方法示意图之四;
图5是本申请实施例提供的人脸识别方法示意图之五;
图6是本申请实施例提供的人脸识别方法示意图之六;
图7是本申请实施例提供的人脸识别方法示意图之七;
图8是本申请实施例提供的人脸识别方法示意图之八;
图9是本申请实施例提供的人脸识别方法示意图之九;
图10是本申请实施例提供的人脸识别方法示意图之十;
图11是本申请实施例提供的人脸识别方法示意图之十一;
图12是本申请实施例提供的人脸识别方法示意图之十二;
图13是本申请实施例提供的人脸识别方法示意图之十三;
图14是本申请实施例提供的人脸识别方法示意图之十四;
图15是本申请实施例提供的人脸识别方法示意图之十五;
图16是本申请实施例提供的人脸识别方法示意图之十六;
图17是本申请实施例提供的人脸识别方法示意图之十七;
图18是本申请实施例提供的人脸识别装置示意图;
图19是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例,然而应当理解,可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本申请,并且能够将本申请的范围完整的传达给本领域的技术人员。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
需要强调的是,本申请提供的人脸识别方法中,人脸识别方法获取的数据和信息等均是经过当事人授权且符合国家法律法规,并不存在侵害当事人信息安全和自身隐私等问题。
下面结合附图,通过具体的实施例及其应用场景对本申请提供的人脸识别方法、装置、电子设备及非易失性可读存储介质进行详细地说明。
本申请的第一实施方式涉及一种人脸识别方法,如图1所示,包括:
步骤101、通过深度神经网络获取待识别图像的特征向量;
步骤102、从待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,第二特征值集合与第一特征值集合的特征值截取方式一致;
步骤103、将待识别图像的特征向量与第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,第一部分人脸图像的特征向量根据第一比对结果从人脸图像数据库中选出;
步骤104、根据第二比对结果生成待识别图像的第一人脸识别结果。
具体的,本申请提供的人脸识别方法中,首先需要通过深度神经网络模型获取待识别图像的特征向量,随后将待识别图像的特征向量与预先设置的人脸图像数据库,如海量人脸图像数据库中的多个特征向量进行两两相似度比对,得到最接近的相似度比对结果作为第一人脸识别结果。
其中,本申请的提供的人脸识别方法中相似度比对为分级比对,首先分别从待识别图像和海量人脸图像数据库的特征向量中截取数量相同,位置对应的第一特征值集合或第一元素和多个第二特征值集合或第二元素,将第一元素分别和多个第二元素进行第一次比对,获取第一比对结果。根据第一比对结果将海量人脸图像数据库中与待识别图像不同的图像对应的特征向量进行剔除,将海量人脸图像数据库中与待识别图像比较接近的图像的特征向量进行保留,并与待识别图像的特征向量进行全部元素的相似度比对得到第二元素中最接近的特征向量作为比对结果。
由于本申请提供的人脸识别方法能够进行分级比对,先根据特征向量的部分元素对海量人脸图像数据库中的特征向量初步筛选后进行特征向量中所有元素的比对,减少了特征比对的计算量,节约了比对时间,避免了人脸识别结果反馈延时严重,用户体验差的问题。
在上述实施方式的基础上,如图2所示,本申请提供的人脸识别方法中,步骤101之前,还包括:
步骤105、通过深度神经网络获取人脸图像的特征向量,
步骤106、根据人脸图像的特征向量构建人脸图像数据库。
具体的,本申请提供的人脸识别方法中,人脸图像数据库通过深度神经网络模型对获取到的大量人脸图像进行特征向量提取,并根据提取到的特征向量构建人脸图像数据库。
在上述实施方式的基础上,通过提取人脸图像,如包含大量已公开的海量人脸图像的特征向量并构建海量人脸图像数据库,当需要识别待识别图像的人物身份时,能够将待识别图像和预先构建的海量人脸图像数据库中的图像进行比对,实现了1:N的海量人脸识别效果。
在上述实施方式的基础上,如图3所示,本申请提供的人脸识别方法中,步骤105包括:
步骤151、通过深度神经网络对人脸图像中执行人脸检测动作获取人脸检测结果;
步骤152、根据人脸检测结果获取人脸的几何结构,并根据人脸的几何结构获取人脸图像对应的多个标准人脸;
步骤153、通过深度神经网络对多个标准人脸进行特征提取获取人脸图像对应的多个特征向量。
具体的,本申请提供的人脸识别方法中,图像的特征向量提取可以采用如下方式实现:
特征向量提取系统预先加载训练好的检测模型和特征提取模型后,首先读取包含海量人脸图像的数据集,对数据集中的一张图像进行预处理后送入检测模型,得到一系列先验框、五官关键点坐标、置信度分数。随后,对先验框做坐标修正,获取边框回归(bbox,Bounding-Box regression)结果、人脸关键点(landmark)和置信度分数。
之后,获取这张图像中人脸的几何结构和人脸关键点,结合人脸关键点和标准人脸参考点基于平移、缩放和旋转得到海量人脸图像对应的对齐后的标准人脸。
最后,将标准人脸送入提取特征模型得到多维的特征向量作为这张图像的特征向量,并通过相同方式获取所有数据集的特征向量后,根据这些特征向量构建海量人脸图像数据库。
在上述实施方式的基础上,通过深度神经网络获取先验框、人脸关键点和置信度分数,并进行调整后得到人物对应的标准人脸,避免了海量人脸图像收集到的人脸不够标准导致待识别图像识别有误的问题,进一步保障了人脸识别的准确性。
在上述实施方式的基础上,如图4所示,人脸检测结果包括所述海量人脸图像的置信度分数,本申请提供的人脸识别方法中,步骤151之后,还包括:
步骤154、将人脸检测结果中的置信度分数与预先设置的置信度分数阈值进行比较,获取置信度比较结果;
步骤155、当置信度比较结果为人脸检测结果中的置信度分数低于置信度分数阈值时,对人脸检测结果对应的人脸图像进行剔除处理。
具体的,本申请提供的人脸识别方法中特征向量提取时需要根据置信度分数对检测模型提取到的图像进行剔除,排除置信度分数过低的检测项。此外,还可以根据非极大值抑制(nms,Non-maximum suppression)交并比过滤掉重叠度过高的检测框,得到满足后续人脸识别需求的图像。
在上述实施方式的基础上,如图5所示,本申请提供的人脸识别方法中,步骤106包括:
步骤161、将人脸图像的特征向量根据对应的人物身份信息进行合并处理;
步骤162、根据合并处理后的人脸图像的特征向量构建人脸图像数据库。
具体的,海量人脸图像数据库的构建在录入图像的同时,还录入人物身份信息,并根据人物身份信息将相同人物身份信息对应的多张图像合并处理,并根据合并处理后的特征向量构建海量人脸图像数据库。举例来说,合并处理的方式可以采用但不限于将相同人物身份信息所有图片对应的特征向量拼接串在一起,保留所有特征向量元素信息的方式实现。例如,在第1个特征向量结尾元素后面跟着第2个特征向量的首个元素,当一个图片特征向量有n维时,m张照片串联后得到的特征向量长度为m×n。
在上述实施方式的基础上,通过将相同人物身份信息的多个特征向量拼接,避免了海量人脸图像数据库同时保存多个相同人物的不同特征向量,人脸识别有误的问题。
在上述实施方式的基础上,如图6所示,本申请提供的人脸识别方法中,步骤161包括:
步骤163、对人物身份信息相同的多个人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果;
步骤164、根据均值结果构建合并处理后的人物身份信息对应的人脸图像的特征向量。
具体的,本申请提供的人脸识别方法中,合并处理的方法还可以采用取均值的方法实现。举例来说,将相同人物身份信息所有图片对应的特征向量中对应的位置求和后平均,得到一个能反映这个位置元素普遍情况的数据作为结果,得到维度不改变的特征向量。
在上述实施方式的基础上,通过将相同人物身份信息的多个特征向量计算均值并根据均值结果生成海量人脸图像数据库的方式,避免了拼接处理后特征向量维度大导致计算量大的问题。
在上述实施方式的基础上,如图7所示,本申请提供的人脸识别方法中,步骤163包括:
步骤165、获取人脸图像的特征向量对应的多个置信度分数;
步骤166、根据多个置信度分数的大小对人脸图像的特征向量进行排序得到第一排序结果;
步骤167、根据第一排序结果为多个人脸图像的特征向量中位置关系对应的特征值分配第一权重;
步骤168、根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第一权重进行加权平均处理得到多个均值结果。
具体的,本申请提供的人脸识别方法中,可以根据置信度分数的高低对多个相同人物身份信息对应的特征向量进行排序,并根据排序后的多个特征向量分配不同的第一权重,在均值计算的基础上实现加权均值计算,保障了取均值后的特征向量更接近置信度分数高、图像质量好的特征向量,提高了取均值后的特征向量的数据质量,提高了人脸识别方法的识别质量。
在上述实施方式的基础上,如图8所示,本申请提供的人脸识别方法中,步骤163包括:
步骤169、获取人脸图像的特征向量对应的多个人脸图像检测框大小;
步骤170、根据多个人脸图像检测框大小对人脸图像的特征向量进行排序得到第二排序结果;
步骤171、根据第二排序结果为多个人脸图像的特征向量中对应的特征值分配第二权重;
步骤172、根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第二权重进行加权平均处理得到多个均值结果。
具体的,本申请提供的人脸识别方法中,可以根据人脸图像检测框大小对多个相同人物身份信息对应的特征向量进行排序,并根据排序后的多个特征向量分配不同的第二权重,在均值计算的基础上实现加权均值计算,保障了取均值后的特征向量更接近人脸图像检测框大、图像质量好的特征向量,提高了取均值后的特征向量的数据质量,提高了人脸识别方法的识别质量。
在上述实施方式的基础上,如图9所示,本申请提供的人脸识别方法中,步骤167包括:
步骤173、根据预先设置的递减数列为多个人脸图像的特征向量中位置关系对应的特征值分配特征值对应的第一权重。
具体的,本申请提供的人脸识别方法中可以根据递减数列为已经根据置信度分数和/或人脸图片检测框大小进行过排序的多个人物身份信息相同的特征向量进行权重分配,例如等比数列、等差数列或其他有大到小的数列组合进行分配,权重分配后的多个人物身份信息相同的特征向量在进行每一个元素的加权平均计算。例如,当递减数列为等比数列时,多个特征向量中相同位置的元素均值如式1所示:
(1)
在上述实施方式的基础上,通过递减数列对人物身份信息相同的多个特征向量进行权重分配,保障了取均值后的特征向量更接近置信度分数高、人脸图片检测框大、图像质量好的特征向量,提高了取均值后的特征向量的数据质量,提高了人脸识别方法的识别质量。
在上述实施方式的基础上,如图10所示,本申请提供的人脸识别方法中,步骤106之后,步骤101之前,还包括:
步骤107、对人脸图像的特征向量进行归一化处理,获取归一化处理结果;
步骤108、将归一化处理结果存储在人脸图像数据库中。
具体的,在构建完海量人脸图像数据库后,当待识别图像和海量人脸图像数据库的比对方式通过余弦距离进行相似度计算时,往往需要将需要进行比较的特征向量分别除以各自的模长,当海量人脸图像数据库中的特征向量数量较多时,计算特征向量之间的函数也会被调用很多次,导致人脸识别的计算过程增长,人脸识别结果反馈延时较大。为了降低具体比较时的运算量,提高人脸识别效率,在进行人脸识别前,可以先将海量人脸图像数据库中的多个特征向量进行归一化运算,并将运算结果存储如海量人脸图像数据库中,当需要进行人脸识别时,只需要进行待识别图像的特征向量的归一化计算即可,提高人脸识别工作效率。
在上述实施方式的基础上,如图11所示,本申请提供的人脸识别方法中,步骤102包括:
步骤121、根据预先设置的截取规则从待识别图像的特征向量中截取特征值并构成第一特征值集合;
步骤122、根据预先设置的截取规则从人脸图像数据库中截取特征值并构成第二特征值集合;
步骤123、将第一特征值集合和第二特征值集合进行比对,生成第一比对结果。
具体的,本申请提供的人脸识别方法中,先根据预先设置的截取规则从待识别图像的特征向量中截取多个元素作为第一元素,并用相同的方法在海量人脸图像数据库中的多个特征向量中截取位置与第一元素中位置对应的元素作为多个第二元素,分别将第一元素与多个第二元素进行比对,并根据第一比对结果从海量人脸图像数据库获取与待识别图像的特征向量中部分元素相似度较高的特征向量,进行后续特征向量的相似度比对。
在上述实施方式的基础上,通过截取特征向量中的部分元素进行特征比对,相比现有直接将待识别图像的全部特征向量与海量人脸图像数据库中的全部特征向量进行相似度计算导致数据计算量大、人脸识别耗时长的问题,本申请能够根据部分截取后的特征向量之间的比对结果排除与待识别图像差异较大的海量人脸图像数据库中的图像,降低人脸识别计算量,提高人脸识别效率。
在上述实施方式的基础上,如图12所示,本申请提供的人脸识别方法中,步骤121包括:
步骤124、根据预设的截取数量从待识别图像的特征向量的开头开始截取与截取数量相同的特征值获取第一特征值集合。
具体的,待识别图像中的特征向量的元素截取方式可以从前往后截取与预先设置的截取数量相同的连续多个元素构成第一元素,并采用相同的方法截取海量人脸图像数据库中的特征向量中的元素构成第二元素,用于与第一元素进行比较,其中,待识别图像和海量人脸图像数据库中元素在特征向量中的位置需要完全一致。举例来说,预先设置的截取数量为a,首先在待识别图像中的特征向量从前开始截取a个元素构成第一元素,第一元素的特征向量的元素表示为{f1,f2,.....,fa},并用相同的方式从海量人脸图像数据库中截取相对应的a个元素构成第二元素,随后将第一元素与多个第二元素分别进行比较,根据比较结果确定接近待识别图像的多个图像,用于进行下一步的全部特征向量比对动作。
需要强调的是,预先设置的截取数量a可以根据用户需求,在小于特征向量全部元素数量的前提下,基于海量人脸图像数据库的数量级别和比对时间确定,例如,当海量人脸图像数据库的数量级大,比对时间要求短,用户可以设置较小的截取数量a,当海量人脸图像数据库的数量级小,比对时间要求长,用户可以设置更大的截取数量a。
在上述实施方式的基础上,通过分别从待识别图像和海量人脸图像数据库中的特征向量前端开始截取部分元素先进行比较,比较时计算量小,缩短比对时间,比对结果能够用于对海量人脸图像数据库中的图像进行初步筛选,降低后续比对工作量。
在上述实施方式的基础上,如图13所示,本申请提供的人脸识别方法中,步骤121包括:
步骤125、根据预设的截取数量从待识别图像的特征向量的结尾开始截取与截取数量相同的特征值获取第一特征值集合。
具体的,待识别图像中的特征向量的元素截取方式可以从后往前截取与预先设置的截取数量相同的连续多个元素构成第一元素,并采用相同的方法截取海量人脸图像数据库中的特征向量中的元素构成第二元素,用于与第一元素进行比较,其中,待识别图像和海量人脸图像数据库中元素在特征向量中的位置需要完全一致。举例来说,特征向量中的元素总数为num,预先设置的截取数量为a,首先在待识别图像中的特征向量从后开始截取a个元素构成第一元素,第一元素的特征向量的元素表示为{fnum-a+1,fnum-a+2,.....,fnum},并用相同的方式从海量人脸图像数据库中截取相对应的a个元素构成第二元素,随后将第一元素与多个第二元素分别进行比较,根据比较结果确定接近待识别图像的多个图像,用于进行下一步的全部特征向量比对动作。
在上述实施方式的基础上,通过分别从待识别图像和海量人脸图像数据库中的特征向量后端开始截取部分元素先进行比较,比较时计算量小,缩短比对时间,比对结果能够用于对海量人脸图像数据库中的图像进行初步筛选,降低后续比对工作量。
在上述实施方式的基础上,如图14所示,本申请提供的人脸识别方法中,步骤121包括:
步骤126、根据预设的截取数量从待识别图像的特征向量间隔固定距离选取与截取数量相同的特征值获取第一特征值集合。
具体的,待识别图像中的特征向量的元素截取方式可以间隔固定距离从前开始选取与预设截取数量相同的元素构成第一元素,并采用相同的方法截取海量人脸图像数据库中的特征向量中的元素构成第二元素,用于与第一元素进行比较,其中,待识别图像和海量人脸图像数据库中元素在特征向量中的位置需要完全一致。举例来说,特征向量总量为num,预先设置的截取数量为a,先根据num和a计算合适的间隔距离k,确保每间隔k个元素后选取1个的方式能够得到总共a个元素构成第一元素。随后每间隔k个元素获取1个元素,执行a次动作得到第一元素,第一元素的特征向量集合为{{f1,fk+1,.....,f(a-1)k+1},并用相同的方式从海量人脸图像数据库中截取相对应的a个元素构成第二元素,随后将第一元素与多个第二元素分别进行比较,根据比较结果确定接近待识别图像的多个图像,用于进行下一步的全部特征向量比对动作。
在上述实施方式的基础上,通过分别从待识别图像和海量人脸图像数据库中的特征向量固定间隔开始截取部分元素先进行比较,比较时计算量小,缩短比对时间,比对结果能够用于对海量人脸图像数据库中的图像进行初步筛选,降低后续比对工作量。
在上述实施方式的基础上,如图15所示,本申请提供的人脸识别方法中,步骤121包括:
步骤127、根据预设的截取数量从待识别图像的特征向量随机抽取与截取数量相同的特征值获取第一特征值集合。
具体的,待识别图像中的特征向量的元素截取方式可以随机选取与预设截取数量相同的元素构成第一元素,并采用相同的方法截取海量人脸图像数据库中的特征向量中的元素构成第二元素,用于与第一元素进行比较,其中,待识别图像和海量人脸图像数据库中元素在特征向量中的位置需要完全一致。举例来说,通过随机数或其他随机方式在待识别图像中的特征向量中抽取a个元素构成第一元素,并根据这a个元素在特征向量的位置从海量人脸图像数据库中多个特征向量分别抽取对应的a个元素构建第二元素,随后将第一元素与多个第二元素分别进行比较,根据比较结果确定接近待识别图像的多个图像,用于进行下一步的全部特征向量比对动作。
在上述实施方式的基础上,通过分别从待识别图像和海量人脸图像数据库中的特征向量随机截取部分元素先进行比较,比较时计算量小,缩短比对时间,比对结果能够用于对海量人脸图像数据库中的图像进行初步筛选,降低后续比对工作量。
在上述实施方式的基础上,如图16所示,本申请提供的人脸识别方法中,步骤123包括:
步骤128、根据余弦距离和/或欧式距离对第一特征值集合和第二特征值集合进行相似度计算,获取第一比对结果。
具体的,通过余弦距离或欧式距离计算第一元素和第二元素中的特征向量的相似度,欧氏距离体现数值上的绝对差异,而余弦距离体现方向上的相对差异,可以通过欧式距离或余弦距离计算两个特征向量的相似度,其中,余弦相似度计算如式2所示:
(2)
式中用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小,差异越小,两者相似度越高。x,y分别为两个需要进行比较的特征向量,将第一元素的特征向量与第二元素中多个特征向量分别进行相似度计算后,获取较为接近的特征向量,例如高于预先设置的余弦相似度阈值的相似度计算结果能够作为较为接近的特征向量,用于进行后续比较,降低后续比较的工作量。
在上述实施方式的基础上,如图17所示,本申请提供的人脸识别方法中,步骤102之后,还包括:
步骤111、根据第一比对结果对人脸图像数据库中的特征向量进行筛选,获取第二部分人脸图像的特征向量,其中,第二部分人脸图像的特征向量为第一比对结果高于预先设置的比对阈值的人脸图像数据库中的特征向量;
步骤112、从待识别图像的特征向量中截取多个特征值构成第三特征值集合,并与第二部分人脸图像的特征向量中截取多个特征值构成的第四特征值集合进行比对,获取第三比对结果,其中,第三特征值集合的特征值数量大于第一特征值集合的特征值数量;
步骤113、将待识别图像的特征向量与第三比对结果对应的第三部分人脸图像的特征向量进行比对,获取第四比对结果,其中,第三部分人脸图像的特征向量根据第三比对结果从第二部分人脸图像的特征向量中选出;
步骤114、根据第四比对结果生成待识别图像的第二人脸识别结果。
具体的,在完成第一次待识别图像和海量人脸图像数据库中特征向量的部分比对后,对海量人脸图像数据库中的特征向量进行初次筛选后,获取第一比对结果满足相似度要求的多个特征向量。随后再从待识别图像的特征向量和多个特征向量中提取元素进行二次比较,并根据第二比对结果从第一比对结果满足要求的多个特征向量中进一步筛选出满足相似度要求的特征向量。随后在将待识别图像中的特征向量和经过两次筛选后的特征向量进行全部特征向量中的相似度计算,将相似度最高的海量人脸图像数据库中的特征向量作为第二人脸识别结果。举例来说,海量人脸图像数据库中总共有N个特征向量,第一次预先设置的截取数量为a,第一次比对从N个特征向量中筛选出相似度高的M个特征向量,随后再根据第二次预先设置的截取数量b从M个特征向量和待识别图像中的特征向量中进行数据截取,分别得到第四元素和第三元素。随后再将第三元素与第四元素进行比对,并根据第二次比对结果从M个特征向量中筛选出P个特征向量,最后,将待识别图像的特征向量与P个特征向量中的全部元素进行相似度计算,根据相似度程度最高的1个特征向量作为第二人脸识别结果。此外,当相似度计算采用余弦距离衡量两个特征向量的相似度时,可以保留前一次特征向量计算余弦距离内积的值,作为后一次特征向量计算的部分中间结果,从而避免重复计算的问题。
在上述实施方式的基础上,通过多次分级比对,不断降低海量人脸图像数据库中需要与待识别图像进行相似度比对的特征向量数量,降低了最后全部特征向量比对的数据量,避免了人脸识别结果反馈慢,用户体验差的问题。
在上述实施方式的基础上,本申请还提供一种应用深度神经网络进行人脸识别方法流程示意:
首先通过深度神经网络模型读取海量人脸图像和海量人脸图像对应的人物身份信息,利用网络检测分支输出不同尺度的锚框(anchor box)。调用目标检测模型前馈层(forward)计算,得到先验框、关键点坐标、置信度分数等人脸检测结果,并通过修正、坐标转换得到人脸检测框和关键点坐标。随后根据预先设定的置信度阈值,将置信度分数第一置信度阈值的人脸检测结果过滤剔除。随后按照置信度分数人脸检测框进行从高到低进行排序,根据nms交并比过滤掉重叠度过高的检测框,得到人脸检测的输出结果。再根据先验框、关键点坐标获取人脸的几何结构,基于平移、缩放、旋转进行图像矩阵相似变换,得到裁剪的标准正脸图像,最后通过深度神经网络模型中的提取特征模型生成图像对应的特征向量。
利用上述相同的方法从海量人脸图像中提取多个特征向量后,将相同人物信息对应的多个特征向量合并为一个特征向量。具体的,首先设定检测框阈值,获取人脸检测框面积与原始图像比值小于阈值的图片,并将其过滤。需要强调的是,上述检测框阈值可以根据用户需求动态调整,例如根据同一个人的图像数量多少动态确定,或根据图像人脸检测框面积与图像本身面积比值取件范围动态确定。当根据检测框阈值过滤后,将剩下的多个特征向量按照人脸检测框大小和置信度分数从高到低排序。当人脸检测框最大的图像和置信度分数最高的图像为同一张图像时,将这张图像作为权重最高的图像。当人脸检测框最大的图像和置信度分数最高的图像为两张图像时,优先考虑人脸检测框的大小因素。例如,人脸检测框最大的图像对应的置信度分数高于特征向量中的平均置信度分数,并且人脸检测框面积是置信度分数最高图片的人脸检测框面积的2倍及以上时,选择人脸检测框最大的图像作为排序最靠前的图像,权重设置最大;人脸检测框最大的图像对应的置信度分数高于特征向量中的平均置信度分数,并且人脸检测框面积小于置信度分数最高图片的人脸检测框面积的2倍时,选择人脸检测框最大的图像和置信度分数最高的图像同时作为排序最靠前的图像,两张图像的权重设置最大并且相同;人脸检测框最大的图像对应的置信度分数低于特征向量中的平均置信度分数时,选择置信度分数最高的图像作为排序最靠前的图像,权重设置最大。按照上述方式对剩余图像再进行排序,直到所有图像均完成排序。排序后的多个特征向量根据分配的对应权重进行加权平均,得到平均后的特征向量并归一化处理,将归一化处理结果和特征向量的人物身份信息按照顺序将写入数据库文件A中。创建一个文件B,记录数据库A的信息,包含N行,每行记录数据库A中每个特征向量的人物身份信息,特征向量的大小及偏移量,归一化后特征向量的大小及偏移量,得到海量人脸图像数据库。此外,采用相同的方式获取待识别图像的特征向量。
最后,根据上述所述的分级比对方式进行多次比对,前两次降低海量人脸图像数据库中用于与待识别图像的特征向量比对的特征向量数量,最后一次将待识别图像的特征向与经过两次筛选后得到的特征向量中全部元素进行比对,将相似度计算结果最高的特征向量对应的海量人脸图像数据库中的人物身份信息作为第一人脸识别结果。
本申请的第二实施方式涉及一种人脸识别装置,如图18所示,包括:
待识别特征获取模块201,用于通过深度神经网络获取待识别图像的特征向量;
第一比对模块202,用于从待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,第二特征值集合与第一特征值集合的特征值截取方式一致;
第二比对模块203,用于将待识别图像的特征向量与第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,第一部分人脸图像的特征向量根据第一比对结果从人脸图像数据库中选出;
第一结果获取模块204,用于根据第二比对结果生成待识别图像的第一人脸识别结果。
在上述实施方式的基础上,本申请提供的人脸识别装置还包括:
海量特征获取模块205,用奴役通过深度神经网络获取人脸图像的特征向量,
特征数据库构建模块206,用于根据人脸图像的特征向量构建人脸图像数据库。
在上述实施方式的基础上,海量特征获取模块205包括:
人脸检测单元251,用于通过深度神经网络对人脸图像中执行人脸检测动作获取人脸检测结果;
标准人脸获取单元252,用于根据人脸检测结果获取人脸的几何结构获取人脸图像对应的多个标准人脸;
特征向量提取单元253,用于通过深度神经网络对多个标准人脸进行特征提取获取人脸图像对应的多个特征向量。
在上述实施方式的基础上,本申请提供的人脸识别装置还包括:
置信度比对单元254,用于将人脸检测结果中的置信度分数与预先设置的置信度分数阈值进行比较,获取置信度比较结果;
置信度剔除单元255,用于当置信度比较结果为人脸检测结果中的置信度分数低于置信度分数阈值时,对人脸检测结果对应的人脸图像进行剔除处理。
在上述实施方式的基础上,特征数据库构建模块206包括:
合并处理单元261,用于将人脸图像的特征向量根据对应的人物身份信息进行合并处理;
数据库构建单元262,用于根据合并处理后的人脸图像的特征向量构建人脸图像数据库。
在上述实施方式的基础上,合并处理单元261包括:
均值获取子单元263,用于对人物身份信息相同的多个人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果;
向量合并子单元264,用于根据均值结果构建合并处理后的人物身份信息对应的人脸图像的特征向量。
在上述实施方式的基础上,均值获取子单元263包括:
置信度获取子单元265,用于获取人脸图像的特征向量对应的多个置信度分数;
第一排序子单元266,用于根据多个置信度分数的大小对人脸图像的特征向量进行排序得到第一排序结果;
第一权重分配子单元267,用于根据第一排序结果为多个人脸图像的特征向量中位置关系对应的特征值分配第一权重;
第一加权均值子单元268,用于根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第一权重进行加权平均处理得到多个均值结果。
在上述实施方式的基础上,均值获取子单元263包括:
检测框获取子单元269,获取人脸图像的特征向量对应的多个人脸图像检测框大小;
第二排序子单元270,用于根据多个人脸图像检测框大小对人脸图像的特征向量进行排序得到第二排序结果;
第二权重分配子单元271,用于根据第二排序结果为多个人脸图像的特征向量中对应的特征值分配第二权重;
第二加权均值子单元272,用于根据多个人脸图像的特征向量中位置关系对应的特征值和特征值对应的第二权重进行加权平均处理得到多个均值结果
在上述实施方式的基础上,第一权重分配子单元267包括:
递减权重分配子单元273,用于根据预先设置的递减数列为多个人脸图像的特征向量中位置关系对应的特征值分配特征值对应的第一权重。
在上述实施方式的基础上,本申请提供的人脸识别装置还包括:
归一化处理模块207,用于对人脸图像的特征向量进行归一化处理,获取归一化处理结果;
归一化存储模块208,用于将归一化处理结果存储在人脸图像数据库中
在上述实施方式的基础上,第一比对模块202包括:
第一截取单元221,用于根据预先设置的截取规则从待识别图像的特征向量中截取特征值并构成第一特征值集合;
第二截取单元222,用于根据预先设置的截取规则从人脸图像数据库中截取特征值并构成第二特征值集合;
第一比对单元223,用于将第一特征值集合和第二特征值集合进行比对,生成第一比对结果。
在上述实施方式的基础上,第一截取单元221包括:
前端截取子单元224,用于根据预设的截取数量从待识别图像的特征向量的开头开始截取与截取数量相同的特征值获取第一特征值集合。
在上述实施方式的基础上,第一截取单元221包括:
后端截取子单元225,用于根据预设的截取数量从待识别图像的特征向量的结尾开始截取与截取数量相同的特征值获取第一特征值集合。
在上述实施方式的基础上,第一截取单元221包括:
间隔截取子单元226,用于根据预设的截取数量从待识别图像的特征向量间隔固定距离选取与截取数量相同的特征值获取第一特征值集合。
在上述实施方式的基础上,第一截取单元221包括:
随机截取子单元227,用于根据预设的截取数量从待识别图像的特征向量随机抽取与截取数量相同的特征值获取第一特征值集合。
在上述实施方式的基础上,第一比对单元223包括:
余弦相似度计算子单元228,用于根据余弦距离和/或欧式距离对第一特征值集合和第二特征值集合进行相似度计算,获取第一比对结果。
在上述实施方式的基础上,本申请提供的人脸识别装置还包括:
特征向量筛选模块211,用于根据第一比对结果对人脸图像数据库中的特征向量进行筛选,获取第二部分人脸图像的特征向量,其中,第二部分人脸图像的特征向量为第一比对结果高于预先设置的比对阈值的人脸图像数据库中的特征向量;
第三比对模块212,用于从待识别图像的特征向量中截取多个特征值构成第三特征值集合,并与第二部分人脸图像的特征向量中截取多个特征值构成的第四特征值集合进行比对,获取第三比对结果,其中,第三特征值集合的特征值数量大于第一特征值集合的特征值数量;
第四比对模块213,用于将待识别图像的特征向量与第三比对结果对应的第三部分人脸图像的特征向量进行比对,获取第四比对结果,其中,第三部分人脸图像的特征向量根据第三比对结果从第二部分人脸图像的特征向量中选出;
第二结果获取模块214,用于根据第四比对结果生成待识别图像的第二人脸识别结果。
本申请的第三实施方式涉及一种电子设备,如图19所示,包括:
至少一个处理器301;以及,
与所述至少一个处理器301通信连接的存储器302;其中,
所述存储器302存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器301执行,以使所述至少一个处理器301能够实现本申请第一实施方式所述的人脸识别方法。
其中,存储器和处理器采用总线方式连接,总线可以包括任意数量的互联的总线和桥,总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件,也可以是多个元件,比如多个接收器和发送器,提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输,进一步,天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理,还可以提供各种功能,包括定时,外围接口,电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本申请第四实施方式涉及一种非易失性计算机可读存储介质,存储有计算机程序。计算机程序被处理器执行时实现本申请第一实施方式所述的人脸识别方法。
即,本领域技术人员可以理解,实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

1.一种人脸识别方法,其特征在于,所述方法包括:
通过深度神经网络获取待识别图像的特征向量;
从所述待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,所述第二特征值集合与所述第一特征值集合的特征值截取方式一致;
将所述待识别图像的特征向量与所述第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,所述第一部分人脸图像的特征向量根据所述第一比对结果从所述人脸图像数据库中选出;
根据第二比对结果生成待识别图像的第一人脸识别结果。
2.根据权利要求1所述的方法,其特征在于,所述获取待识别图像的特征向量之前,还包括:
通过深度神经网络获取多个人脸图像的特征向量,
根据多个所述人脸图像的特征向量构建所述人脸图像数据库。
3.根据权利要求2所述的方法,其特征在于,所述通过深度神经网络获取所述人脸图像的特征向量包括:
通过深度神经网络对所述人脸图像中执行人脸检测动作获取人脸检测结果;
根据所述人脸检测结果获取所述人脸的几何结构,并根据所述人脸的几何结构获取所述人脸图像对应的多个标准人脸;
通过深度神经网络对多个所述标准人脸进行特征提取获取所述人脸图像对应的多个所述特征向量。
4.根据权利要求3所述的方法,其特征在于,所述人脸检测结果包括所述人脸图像的置信度分数,所述通过深度神经网络对所述人脸图像中执行人脸检测动作获取人脸检测结果之后,还包括:
将所述人脸检测结果中的所述置信度分数与预先设置的置信度分数阈值进行比较,获取置信度比较结果;
当所述置信度比较结果为所述人脸检测结果中的所述置信度分数低于所述置信度分数阈值时,对所述人脸检测结果对应的所述人脸图像进行剔除处理。
5.根据权利要求2所述的方法,其特征在于,所述根据所述人脸图像的特征向量构建所述人脸图像数据库包括:
将所述人脸图像的特征向量根据对应的人物身份信息进行合并处理;
根据合并处理后的所述人脸图像的特征向量构建所述人脸图像数据库。
6.根据权利要求5所述的方法,其特征在于,所述将所述人脸图像的特征向量根据对应的人物身份信息进行合并处理包括:
对人物身份信息相同的多个所述人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果;
根据所述均值结果构建合并处理后的所述人物身份信息对应的所述人脸图像的特征向量。
7.根据权利要求6所述的方法,其特征在于,所述对人物身份信息相同的多个所述人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果包括:
获取所述人脸图像的特征向量对应的多个置信度分数;
根据多个所述置信度分数的大小对所述人脸图像的特征向量进行排序得到第一排序结果;
根据所述第一排序结果为多个所述人脸图像的特征向量中位置关系对应的特征值分配第一权重;
根据多个所述人脸图像的特征向量中位置关系对应的特征值和所述特征值对应的所述第一权重进行加权平均处理得到多个所述均值结果。
8.根据权利要求6所述的方法,其特征在于,所述对人物身份信息相同的多个所述人脸图像的特征向量中位置关系对应的特征值取均值得到多个均值结果包括:
获取所述人脸图像的特征向量对应的多个人脸图像检测框大小;
根据多个所述人脸图像检测框大小对所述人脸图像的特征向量进行排序得到第二排序结果;
根据所述第二排序结果为多个所述人脸图像的特征向量中对应的特征值分配第二权重;
根据多个所述人脸图像的特征向量中位置关系对应的特征值和所述特征值对应的所述第二权重进行加权平均处理得到多个所述均值结果。
9.根据权利要求7所述的方法,其特征在于,所述根据所述第一排序结果为多个所述人脸图像的特征向量中位置关系对应的特征值分配第一权重包括:
根据预先设置的递减数列为多个所述人脸图像的特征向量中位置关系对应的特征值分配所述特征值对应的所述第一权重。
10.根据权利要求2所述的方法,其特征在于,所述根据所述人脸图像的特征向量构建所述人脸图像数据库之后,所述通过深度神经网络获取待识别图像的特征向量之前,还包括:
对所述人脸图像的特征向量进行归一化处理,获取归一化处理结果;
将所述归一化处理结果存储在所述人脸图像数据库中。
11.根据权利要求1所述的方法,其特征在于,所述从所述待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果包括:
根据预先设置的截取规则从所述待识别图像的特征向量中截取特征值并构成所述第一特征值集合;
根据所述预先设置的截取规则从所述人脸图像数据库中截取特征值并构成所述第二特征值集合;
将所述第一特征值集合和所述第二特征值集合进行比对,生成所述第一比对结果。
12.根据权利要求11所述的方法,其特征在于,所述根据预先设置的截取规则从所述待识别图像的特征向量中截取特征值并构成所述第一特征值集合包括:
根据预设的截取数量从所述待识别图像的特征向量的开头开始截取与所述截取数量相同的特征值获取所述第一特征值集合。
13.根据权利要求11所述的方法,其特征在于,所述根据预先设置的截取规则从所述待识别图像的特征向量中截取特征值并构成所述第一特征值集合包括:
根据预设的截取数量从所述待识别图像的特征向量的结尾开始截取与所述截取数量相同的特征值获取所述第一特征值集合。
14.根据权利要求11所述的方法,其特征在于,所述根据预先设置的截取规则从所述待识别图像的特征向量中截取特征值并构成所述第一特征值集合包括:
根据预设的截取数量从所述待识别图像的特征向量间隔固定距离选取与所述截取数量相同的特征值获取所述第一特征值集合。
15.根据权利要求11所述的方法,其特征在于,所述根据预先设置的截取规则从所述待识别图像的特征向量中截取特征值并构成所述第一特征值集合包括:
根据预设的截取数量从所述待识别图像的特征向量随机抽取与所述截取数量相同的特征值获取所述第一特征值集合。
16.根据权利要求11所述的方法,其特征在于,所述将所述第一特征值集合和所述第二特征值集合进行比对,生成所述第一比对结果包括:
根据余弦距离和/或欧式距离对所述第一特征值集合和所述第二特征值集合进行相似度计算,获取所述第一比对结果。
17.根据权利要求1所述的方法,其特征在于,所述从所述待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果之后,还包括:
根据所述第一比对结果对所述人脸图像数据库中的特征向量进行筛选,获取第二部分人脸图像的特征向量,其中,所述第二部分人脸图像的特征向量为所述第一比对结果高于预先设置的比对阈值的所述人脸图像数据库中的特征向量;
从所述待识别图像的特征向量中截取多个特征值构成第三特征值集合,并与所述第二部分人脸图像的特征向量中截取多个特征值构成的第四特征值集合进行比对,获取第三比对结果,其中,所述第三特征值集合的特征值数量大于所述第一特征值集合的特征值数量;
将所述待识别图像的特征向量与所述第三比对结果对应的第三部分人脸图像的特征向量进行比对,获取第四比对结果,其中,所述第三部分人脸图像的特征向量根据所述第三比对结果从所述第二部分人脸图像的特征向量中选出;
根据所述第四比对结果生成待识别图像的第二人脸识别结果。
18.一种人脸识别装置,其特征在于,包括:
待识别特征获取模块,用于通过深度神经网络获取待识别图像的特征向量;
第一比对模块,用于从所述待识别图像的特征向量中截取多个特征值构成第一特征值集合,并与预先设置的人脸图像数据库中截取多个特征值构成的第二特征值集合进行比对,获取第一比对结果,其中,所述第二特征值集合与所述第一特征值集合的特征值截取方式一致;
第二比对模块,用于将所述待识别图像的特征向量与所述第一比对结果对应的第一部分人脸图像的特征向量进行比对,获取第二比对结果,其中,所述第一部分人脸图像的特征向量根据所述第一比对结果从所述人脸图像数据库中选出;
第一结果获取模块,用于根据第二比对结果生成待识别图像的第一人脸识别结果。
19.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-17任一项所述的人脸识别方法的步骤。
20.一种非易失性可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-17任一项所述的人脸识别方法。
CN202310693140.0A 2023-06-13 2023-06-13 人脸识别方法、装置、电子设备及存储介质 Active CN116453200B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310693140.0A CN116453200B (zh) 2023-06-13 2023-06-13 人脸识别方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310693140.0A CN116453200B (zh) 2023-06-13 2023-06-13 人脸识别方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN116453200A CN116453200A (zh) 2023-07-18
CN116453200B true CN116453200B (zh) 2023-08-18

Family

ID=87130489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310693140.0A Active CN116453200B (zh) 2023-06-13 2023-06-13 人脸识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116453200B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117351243B (zh) * 2023-12-05 2024-04-02 广东金志利科技股份有限公司 一种铸件冷铁种类数量识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311288B1 (en) * 2017-03-24 2019-06-04 Stripe, Inc. Determining identity of a person in a digital image
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112395503A (zh) * 2020-11-19 2021-02-23 苏州众智诺成信息科技有限公司 一种基于人脸识别的共享平台智能推荐方法、系统及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311288B1 (en) * 2017-03-24 2019-06-04 Stripe, Inc. Determining identity of a person in a digital image
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112395503A (zh) * 2020-11-19 2021-02-23 苏州众智诺成信息科技有限公司 一种基于人脸识别的共享平台智能推荐方法、系统及可读存储介质

Also Published As

Publication number Publication date
CN116453200A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
US10402627B2 (en) Method and apparatus for determining identity identifier of face in face image, and terminal
CN108108662B (zh) 深度神经网络识别模型及识别方法
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
US9275307B2 (en) Method and system for automatic selection of one or more image processing algorithm
CN103262118B (zh) 属性值估计装置和属性值估计方法
CN116453200B (zh) 人脸识别方法、装置、电子设备及存储介质
JP2007272896A (ja) 適応型文脈支援による人間分類を行うためのデジタル画像処理方法および装置
GB2402535A (en) Face recognition
JP2006338313A (ja) 類似画像検索方法,類似画像検索システム,類似画像検索プログラム及び記録媒体
CN110111136B (zh) 视频数据处理方法、装置、计算机设备和存储介质
CN109871762B (zh) 一种人脸识别模型的评价方法和装置
CN110232331B (zh) 一种在线人脸聚类的方法及系统
WO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
CN113449704A (zh) 人脸识别模型训练方法、装置、电子设备及存储介质
CN110458644A (zh) 一种信息处理方法及相关设备
CN114022748B (zh) 目标识别方法、装置、设备及存储介质
CN113963183B (zh) 模型训练、人脸识别方法、电子设备及存储介质
CN113192028B (zh) 人脸图像的质量评价方法、装置、电子设备及存储介质
CN113128427A (zh) 人脸识别方法、装置、计算机可读存储介质及终端设备
CN105224957B (zh) 一种基于单样本的图像识别的方法及系统
CN112131984A (zh) 视频裁剪方法、电子设备和计算机可读存储介质
CN110781866A (zh) 基于深度学习的大熊猫脸部图像性别识别方法及装置
CN114445646A (zh) 人员关联度的分析方法、装置、电子设备及存储介质
US20220222967A1 (en) Retrieval device, control method, and non-transitory storage medium
CN114220045A (zh) 对象识别方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant