CN116434313B - 基于多人脸识别模块的人脸识别方法 - Google Patents
基于多人脸识别模块的人脸识别方法 Download PDFInfo
- Publication number
- CN116434313B CN116434313B CN202310484728.5A CN202310484728A CN116434313B CN 116434313 B CN116434313 B CN 116434313B CN 202310484728 A CN202310484728 A CN 202310484728A CN 116434313 B CN116434313 B CN 116434313B
- Authority
- CN
- China
- Prior art keywords
- face
- probability
- face recognition
- target
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims description 175
- 238000012545 processing Methods 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000010606 normalization Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Collating Specific Patterns (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多人脸识别模块的人脸识别方法,该方法包括:获取待识别图像;将所述待识别图像分别输入至少两个人脸识别模块中,得到各所述人脸识别模块各自输出的至少一个人脸匹配结果;所述人脸匹配结果用于表征所述待识别图像中包括目标人脸的概率;基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识;所述历史置信概率用于表征对应人脸识别模块识别人脸的准确度。本发明提供的方法通过多个人脸识别模块分别对待识别图像进行人脸识别,基于各人脸识别模块输出的人脸匹配结果及各人脸识别模块对应的历史置信概率确定出目标人脸标识,可以提高人脸识别的准确度。
Description
技术领域
本发明涉及人脸识别技术领域,尤其涉及一种基于多人脸识别模块的人脸识别方法。
背景技术
随着深度学习的不断发展,人工智能技术被应用到越来越多的场景中,人脸识别技术是应用较为广泛的人工智能技术之一。在一些安全等级要求较高的应用场景中,需要高准确度的人脸识别结果。
相关技术中,不同的人脸识别模块会基于不同的识别特征或不同的识别算法得出人脸识别结果,所以,不同的人脸识别模块在识别同一待识别图像时,输出的人脸识别结果可能不尽相同,这些结果中会有一些是错误的识别结果。因此,在较高准确度要求的人脸识别应用场景中,使用单一人脸识别模块进行人脸识别时,输出的人脸识别结果准确度较低,不能满足需求。
发明内容
本发明提供一种基于多人脸识别模块的人脸识别方法,用以解决现有技术中使用单一人脸识别模块进行人脸识别时,输出的人脸识别结果准确度较低的缺陷,实现提高人脸识别准确度的目的。
本发明提供一种基于多人脸识别模块的人脸识别方法,包括:
获取待识别图像;
将所述待识别图像分别输入至少两个人脸识别模块中,得到各所述人脸识别模块各自输出的至少一个人脸匹配结果;所述人脸匹配结果用于表征所述待识别图像中包括目标人脸的概率;
基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识;所述历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述人脸匹配结果包括人脸标识和匹配概率的对应关系;
所述基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识,包括:
统计所有所述人脸匹配结果中相同人脸标识的次数,并对各所述相同人脸标识的次数进行降序排序,得到排序结果;
将所述排序结果中前M个人脸标识确定为第一人脸标识;所述M大于或等于1;
基于各所述第一人脸标识各自对应的各匹配概率、以及各所述人脸识别模块对应的历史置信概率,确定所述目标人脸标识。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述基于各所述第一人脸标识各自对应的各匹配概率、以及各所述人脸识别模块对应的历史置信概率,确定所述目标人脸标识,包括:
针对各所述第一人脸标识,基于各所述人脸识别模块对应的历史置信概率和所述第一人脸标识对应的各匹配概率,确定所述第一人脸标识对应的加权平均概率;
将各所述第一人脸标识对应的加权平均概率中最大的加权平均概率对应的第一人脸标识确定为所述目标人脸标识。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述基于各所述人脸识别模块对应的历史置信概率和所述第一人脸标识对应的各匹配概率,确定所述第一人脸标识对应的加权平均概率,包括:
基于所述第一人脸标识、所述人脸识别模块和匹配概率的对应关系,确定概率矩阵;所述概率矩阵中同一行元素用于表征同一个人脸识别模块对应的各匹配概率;所述概率矩阵中同一列元素用于表征同一个第一人脸标识对应的各匹配概率;
基于各所述人脸识别模块对应的历史置信概率确定历史置信概率矩阵;
基于所述概率矩阵和所述历史置信概率矩阵,确定各所述第一人脸标识对应的加权平均概率。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述基于所述概率矩阵和所述历史置信概率矩阵,确定各所述第一人脸标识对应的加权平均概率,包括:
对所述概率矩阵中的每行元素进行归一化处理,得到归一化后的概率矩阵;
基于所述历史置信概率矩阵和所述归一化后的概率矩阵,确定各所述第一人脸标识对应的加权平均概率。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述方法还包括:
基于所述目标人脸标识更新所述归一化后的概率矩阵,得到更新后的概率矩阵;
基于所述更新后的概率矩阵确定目标权重;
针对各所述人脸识别模块,基于所述目标权重、所述人脸识别模块对应的历史置信概率、与所述目标人脸识别模块和所述目标人脸标识对应的匹配概率,更新所述人脸识别模块的历史置信概率。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述基于所述目标人脸标识更新所述归一化后的概率矩阵,得到更新后的概率矩阵,包括:
将所述归一化后的概率矩阵中除所述目标人脸标识对应的列元素之外的其他列元素置零,得到所述更新后的概率矩阵。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述基于所述更新后的概率矩阵确定目标权重,包括:
确定所述更新后的概率矩阵中非零列元素对应的目标列标识;
基于列标识与权重的对应关系,确定所述目标列标识对应的目标权重。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的;所述权重与所述相同人脸标识的次数呈负相关。
根据本发明提供的基于多人脸识别模块的人脸识别方法,所述方法还包括:
基于更新后的各所述人脸识别模块对应的历史置信概率,确定最大置信概率;
基于所述最大置信概率对更新后的各所述人脸识别模块对应的历史置信概率进行标准化处理,得到各标准化后的置信概率;所述标准化后的置信概率用于对下一张待识别图像进行人脸识别。
本发明还提供一种基于多人脸识别模块的人脸识别装置,包括:
获取单元,用于获取待识别图像;
识别单元,用于将所述待识别图像分别输入至少两个人脸识别模块中,得到各所述人脸识别模块各自输出的至少一个人脸匹配结果;所述人脸匹配结果用于表征所述待识别图像中包括目标人脸的概率;
确定单元,用于基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识;所述历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述基于多人脸识别模块的人脸识别方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述基于多人脸识别模块的人脸识别方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述基于多人脸识别模块的人脸识别方法。
本发明提供的基于多人脸识别模块的人脸识别方法,该方法将获取到的待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果,基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定出目标人脸标识。其中,人脸匹配结果用于表征待识别图像中包括目标人脸的概率;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。本发明方法通过至少两个人脸识别模块分别对待识别图像进行人脸识别,利用多个人脸识别模块分别输出的人脸匹配结果,并结合用于表征各人脸识别模块识别人脸准确度的历史置信概率来确定出目标人脸标识,能基于各人脸识别模块识别人脸的准确度综合考量每个人脸匹配结果,使从中确定出的目标人脸标识是正确人脸标识的概率更大,从而提高了人脸识别的准确度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多人脸识别模块的人脸识别方法的流程示意图;
图2是本发明实施例提供的基于多人脸识别模块的人脸识别装置的结构示意图;
图3是本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明中为描述的对象所编序号本身,例如“第一”,“第二”等,仅用于区分所描述的对象,不具有任何顺序或技术含义。
随着深度学习和人工智能技术的快速发展,人脸识别技术已经成为计算机视觉和生物识别领域的主要研究主题之一。传统的人脸识别在特征提取、精确度或可扩展性等方面均有诸多不足,基于人工设计的特征和传统机器学习技术的方法在技术不断进步的情况下,已被使用大型数据集训练的深度神经网络所取代。
人脸识别技术已被应用到许多场景中。随着智能手机等智能终端的快速更新迭代,带有人脸识别功能的智能终端越来越普及。除了智能终端之外,人脸识别技术还应用在其他产业中。例如,被应用在银行、安防、电商、公共交通出行、线下消费支付、企业/住宅安全和管理场景等诸多领域中。同时,随着第三代闸机的出现,也加速了人脸识别技术的推广和应用。
提供人脸识别的各厂商使用了各自不同的特征或算法,各厂商提供的人脸识别模块识别的准确度有限。当待识别图像的图像质量较低时,人脸识别模块会出现一定概率的误识别现象,使部分识别结果错误。又例如,当待识别图像中人脸有浓妆时,可能导致提取的脸部特征发生较大的变化,出现人脸识别模块无法识别的情况。各人脸识别模块在识别过程中出现的误识别或无法识别的情况,会导致其准确度降低。所以,单一人脸识别模块识别的准确度并不能满足识别准确度需求较高的应用场景,例如,安全检查的人脸识别场景或交易支付的人脸识别场景等。
基于此,本发明实施例提供一种基于多人脸识别模块的人脸识别方法,该方法通过组合识别的方式,针对不同的人脸识别模块,通过组合算法,综合考量不同人脸识别模块输出的人脸匹配结果,结合各人脸识别模块对应的历史置信概率来确定出目标人脸标识,可以提高人脸识别的准确度,满足高识别准确度的需求。
下面结合图1对本发明实施例提供的基于多人脸识别模块的人脸识别方法进行描述。
图1是本发明实施例提供的基于多人脸识别模块的人脸识别方法的流程示意图,本方法的执行主体可以是计算机、服务器或者服务器集群等电子设备,或者是专门设计的智能设备,也可以是设置在该电子设备或智能设备中的人脸识别装置,该人脸识别装置可以通过软件、硬件或两者的结合来实现。本方法可以应用在任何需要进行人脸识别的行业或场景中,例如,需要精准人脸识别的安检行业,具体如地铁进站的场景中,能够提高人员进站的效率。
参照图1所示,该基于多人脸识别模块的人脸识别方法包括如下的步骤110~步骤130。
步骤110:获取待识别图像。
具体地,待识别图像即需要进行人脸识别的图像。待识别图像中包括人脸,从待识别图像中可以提取到人脸特征。获取待识别图像的方式可以是任意的图像获取方式,例如,使用相机或摄像头等图像采集装置对人的脸部进行图像采集可以得到待识别图像;或者,可以从图像数据库中直接获取待识别图像。
步骤120:将待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果;人脸匹配结果用于表征待识别图像中包括目标人脸的概率。
其中,人脸识别模块可以是实现人脸识别功能的任意模块。例如,人脸识别模块可以是人脸识别算法服务模块;或者,还可以是各类基于图像处理的机器学习模型等。每个人脸识别算法服务模块可以理解为一套能够独立实现人脸识别的系统,不同的人脸识别算法服务模块来自于不同的厂家或品牌。
至少两个人脸识别模块是在实现人脸识别功能时具有区别的不同的人脸识别模块。例如,各人脸识别模块可以为同一厂商提供的不同算法的人脸识别算法服务模块;或者,不同厂商提供的不同算法的人脸识别算法服务模块等。不同的人脸识别模块之间具有的区别可以是人脸特征提取方面的区别,也可以是算法实现方面的区别,还可以是模型参数方面的区别,或者是其他方面的区别等。
具体地,获取待识别图像后,将该待识别图像分别输入至少两个人脸识别模块中,通过各人脸识别模块的识别,分别得到各人脸识别模块各自输出的至少一个人脸匹配结果。人脸匹配结果可以表征待识别图像中包括目标人脸的概率,目标人脸是待识别图像中需要进行人脸识别的人脸。
举例来说,将一个包含有十万张人脸图像的人脸图像底库分别输入至少两个人脸识别模块中,每个人脸识别模块通过对该人脸图像底库中的每张人脸图像进行脸部特征提取,得到每张人脸图像的人脸特征向量,同时生成每张人脸图像对应的人脸标识,从而可以基于人脸图像、人脸标识和人脸特征向量的对应关系建立各人脸识别模块各自对应的人脸识别底库。其中,人脸图像底库中的十万张人脸图像最多可以对应十万个不同的人脸。以三个人脸识别模块举例,对一个人的人脸进行图像采集后得到一张待识别图像,将该待识别图像分别输入人脸识别模块A、人脸识别模块B和人脸识别模块C中,三个人脸识别模块分别对该待识别图像进行人脸识别后,人脸识别模块A输出三个人脸匹配结果,人脸识别模块B输出五个人脸匹配结果,人脸识别模块C输出十个人脸匹配结果。其中,每个人脸匹配结果均包含有待识别图像中包括目标人脸的概率,可以理解为,每个人脸匹配结果均包括目标人脸可能是人脸识别底库中某人脸图像对应的人脸的概率。
步骤130:基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
具体地,历史置信概率用于表征人脸识别模块识别人脸的准确程度,各人脸识别模块对应的历史置信概率可以表征各人脸识别模块历次对待识别图像进行人脸识别后,识别结果的准确度,该准确度可以直观地反映出各人脸识别模块的识别准确性。
获得历史置信概率的方式,例如可以是对各人脸识别模块进行测试,将测试的识别结果进行统计学计算,能得到各人脸识别模块的历史置信概率。
目标人脸标识可以是唯一表征目标人脸的信息,例如,目标人脸标识是目标人脸的人员编号、人脸ID和卡片编号等信息中的至少之一,其中,人脸ID可以为人员身份信息。
基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识,可以通过多种方式来实现。
示例性的,根据人脸识别准确度的需求预设历史置信概率阈值,确定历史置信概率大于或等于该历史置信概率阈值所对应的人脸识别模块为目标人脸识别模块,在该目标人脸识别模块输出的至少一个人脸匹配结果中,将目标人脸的最大概率对应的人脸匹配结果确定为目标人脸匹配结果,基于该目标人脸匹配结果确定出目标人脸标识。
在另一种实现方式中,预设目标人脸概率阈值,在各人脸匹配结果中,将目标人脸的概率大于或等于目标人脸概率阈值的人脸匹配结果确定为备选人脸匹配结果,在各备选人脸匹配结果对应的人脸识别模块中,将历史置信概率最大的人脸识别模块输出的各备选人脸匹配结果均确定为目标人脸匹配结果,基于这些目标人脸匹配结果确定目标人脸标识。
本发明实施例提供的基于多人脸识别模块的人脸识别方法,该方法将获取到的待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果,基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定出目标人脸标识。其中,人脸匹配结果用于表征待识别图像中包括目标人脸的概率;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。本发明方法通过至少两个人脸识别模块分别对待识别图像进行人脸识别,利用多个人脸识别模块分别输出的人脸匹配结果,并结合用于表征各人脸识别模块识别人脸准确度的历史置信概率来确定出目标人脸标识,能基于各人脸识别模块识别人脸的准确度综合考量每个人脸匹配结果,使从中确定出的目标人脸标识是正确人脸标识的概率更大,从而提高了人脸识别的准确度。
进一步地,在上述实施例的基础上,为了提高人脸识别的准确度,人脸匹配结果可以包括人脸标识和匹配概率的对应关系,在基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识时,可以统计所有人脸匹配结果中相同人脸标识的次数,并对各相同人脸标识的次数进行降序排序,得到排序结果;将排序结果中前M个人脸标识确定为第一人脸标识,其中M大于或等于1;基于各第一人脸标识各自对应的各匹配概率、以及各人脸识别模块对应的历史置信概率,确定目标人脸标识。
具体地,每个人脸匹配结果中包括一个人脸标识,并且还包括与该人脸标识相对应的匹配概率。例如,人脸识别模块A对一张待识别图像进行人脸识别后,输出一个人脸匹配结果,该人脸匹配结果中包括的人脸标识为人员编号005,包括的匹配概率为0.9,则该人脸匹配结果表示,该待识别图像中的目标人脸可能是该人脸识别模块A的人脸识别底库中人员编号005对应的人脸图像中的人脸,且这种可能性成立的概率为0.9,概率为0.9也可理解为概率为90%。
可选地,可以将人脸匹配结果中的人脸标识和匹配概率组成匹配对来表示该人脸匹配结果,匹配对可以是(人脸标识,匹配概率)。例如,人脸匹配结果中包括的人脸标识为人脸ID,包括的匹配概率为P,则可以用匹配对表示该人脸匹配结果为(人脸ID,P)。
对所有人脸匹配结果中相同人脸标识出现的次数进行统计,并按照降序的顺序对统计次数进行排序,可以得到降序排序的统计次数,进而可以得到对应的人脸标识的排序结果。
将排序结果中前M个人脸标识确定为第一人脸标识,其中M大于或等于1。第一人脸标识可以理解为在所有人脸标识中确定出来的出现次数较多的人脸标识。
示例性的,将新采集的一张人脸图像作为待识别图像输入N个人脸识别模块,每个人脸识别模块均输出K个人脸匹配结果,例如K为10,则可以理解为,每个人脸识别模块均输出10个极有可能是正确识别结果的人脸匹配结果。将N个人脸识别模块输出的N×K个人脸匹配结果中的所有人脸标识混在一起进行次数统计,确定出现次数最多的前M个人脸标识,则前M个人脸标识均为第一人脸标识,其中M≤K。该过程也可以理解为频繁集计算,即从所有的人脸标识中选择出现频率最高的前M个人脸标识构成频繁集,该频繁集即前M个人脸标识组成的集合。
可选的,将一张待识别图像输入N个人脸识别模块,每个人脸识别模块输出匹配概率最大的前K个人脸匹配结果,则共计输出N×K人脸匹配结果,可以用矩阵T1来表示这N×K个人脸匹配结果,如矩阵T1所示,矩阵T1中的各元素采用匹配对来表示。
其中,S1,S2,S3,…,SN表示N个人脸识别模块的序号,ID表示人脸标识,P表示匹配概率。例如,表示人脸识别模块S1输出的第K个人脸匹配结果中的人脸标识,/>表示人脸识别模块S1输出的第K个人脸匹配结果中的匹配概率。
对所有人脸标识按照相同人脸标识出现的次数进行统计,即对中各人脸标识进行频次统计,并对统计的次数按照降序的顺序排列,进一步地,将降序排列结果中前M个人脸标识组成频繁集。将频繁集中M个人脸标识按照统计次数的降序排列顺序重新编号排列后,可以表示为(ID1,ID2,…,IDM)。
为了更加直观地表示各人脸识别模块、M个人脸标识与对应的匹配概率的关系,可以将各人脸匹配结果中的匹配概率作为矩阵的元素,用如下的矩阵T2来表示。
其中,矩阵T2的行按照各人脸识别模块的序号顺序排列,矩阵T2的列按照M个人脸标识统计次数的降序顺序排列。需要说明的是,当人脸识别模块没有输出对应的第一人脸标识时,则将该第一人脸标识对应的匹配概率设置为0。例如,人脸识别模块S1和人脸识别模块S2都没有输出IDM的第一人脸标识,则示例性的可表示为如下的矩阵T3。
下面,再以人脸识别模块的个数N为3,每个人脸识别模块输出的人脸匹配结果个数K为5,M为2的前M个人脸标识构成频繁集进行举例说明。
将一张待识别图像分别输入人脸识别模块S1、人脸识别模块S2和人脸识别模块S3中进行人脸识别。人脸识别模块S1、人脸识别模块S2和人脸识别模块S3分别输出5个人脸匹配结果,得到3×5=15个人脸匹配结果。其中:
人脸识别模块S1输出的5个人脸匹配结果分别用匹配对的形式表示为:(人员编号001,P1)、(人员编号002,P2)、(人员编号003,P3)、(人员编号004,P4)和(人员编号005,P5);
人脸识别模块S2输出的5个人脸匹配结果分别用匹配对的形式表示为:(人员编号001,P6)、(人员编号002,P7)、(人员编号006,P8)、(人员编号007,P9)和(人员编号008,P10);
人脸识别模块S3输出的5个人脸匹配结果分别用匹配对的形式表示为:(人员编号001,P11)、(人员编号009,P12)、(人员编号010,P13)、(人员编号011,P14)和(人员编号012,P15)。
通过对上述所有人脸匹配结果中相同人脸标识出现的次数进行统计,可以得出人脸标识为人员编号001出现的次数为3次,人员编号002出现的次数为2次,其他人员编号出现的次数均为1次。取前2个出现次数最多的人脸标识为第一人脸标识,则人员编号001和人员编号002均为第一人脸标识,则频繁集为(人员编号001,人员编号002)。
示例性的,基于各第一人脸标识各自对应的各匹配概率、以及各人脸识别模块对应的历史置信概率,确定目标人脸标识,可以对各第一人脸标识各自对应的各匹配概率进行一次加权,对一次加权后的各匹配概率再与各人脸识别模块对应的历史置信概率进行二次加权,将各二次加权的结果进行求和,得到各第一人脸标识对应的和值,将最大和值对应的第一人脸标识确定为目标人脸标识。
可选地,对各第一人脸标识各自对应的各匹配概率进行一次加权时,针对各第一人脸标识出现的次数,将第一人脸标识出现的次数除以所有第一人脸标识出现的总次数得到第一人脸标识的一次权重。还以上述频繁集(人员编号001,人员编号002)举例,人员编号001和人员编号002共计出现5次,其中,人员编号001出现的次数为3次,人员编号002出现的次数为2次,则人员编号001的一次权重为3/5,人员编号002的一次权重为2/5。
在本实施例中,将所有人脸匹配结果中出现频次最高的前M个人脸标识确定为第一人脸标识,并基于各第一人脸标识各自对应的各匹配概率以及各人脸识别模块对应的历史置信概率,可以更加准确地确定出目标人脸标识。
在一种示例实施例中,基于各第一人脸标识各自对应的各匹配概率、以及各人脸识别模块对应的历史置信概率,确定目标人脸标识时,可以针对各第一人脸标识,基于各人脸识别模块对应的历史置信概率和第一人脸标识对应的各匹配概率,确定第一人脸标识对应的加权平均概率;将各第一人脸标识对应的加权平均概率中最大的加权平均概率对应的第一人脸标识确定为目标人脸标识。
具体地,针对各第一人脸标识,确定第一人脸标识对应的加权平均概率可以是将第一人脸标识对应的各匹配概率分别与各人脸识别模块对应的历史置信概率进行乘积运算,得到的积即为第一人脸标识对应的加权匹配概率,将第一人脸标识对应的各加权匹配概率进行求和,即可得到第一人脸标识对应的加权平均概率。在确定出各第一人脸标识对应的加权平均概率后,将其中最大的加权平均概率对应的第一人脸标识确定为目标人脸标识。
例如,人员编号001和人员编号002均为第一人脸标识,人员编号001在人脸识别模块S1输出的匹配概率为0.9,在人脸识别模块S2输出的匹配概率为0.8,在人脸识别模块S3输出的匹配概率为0.7;人员编号002在人脸识别模块S1输出的匹配概率为0.8,在人脸识别模块S2输出的匹配概率为0.6,在人脸识别模块S3输出的匹配概率为0;人脸识别模块S1的历史置信概率为0.9,人脸识别模块S2的历史置信概率为0.7,人脸识别模块S3的历史置信概率为0.5。则可以确定出人员编号001的加权匹配概率分别为0.81、0.56和0.35,进一步地,人员编号001的加权平均概率为1.72;人员编号002的加权匹配概率分别为0.72、0.42和0,进一步地,人员编号002的加权平均概率为1.14。则可以将人员编号001确定为目标人脸标识。
在本实施例中,基于各人脸识别模块对应的历史置信概率和第一人脸标识对应的各匹配概率,可以确定出第一人脸标识对应的加权平均概率,将各第一人脸标识对应的加权平均概率中最大的加权平均概率对应的第一人脸标识确定为目标人脸标识,充分结合了各第一人脸标识的各匹配概率和各人脸识别模块对应的历史置信概率,可以使目标人脸标识更加接近正确识别的人脸标识,可以提高人脸识别的准确度。
在一种示例实施例中,基于各人脸识别模块对应的历史置信概率和第一人脸标识对应的各匹配概率,确定第一人脸标识对应的加权平均概率,包括:基于第一人脸标识、人脸识别模块和匹配概率的对应关系,确定概率矩阵;概率矩阵中同一行元素用于表征同一个人脸识别模块对应的各匹配概率;概率矩阵中同一列元素用于表征同一个第一人脸标识对应的各匹配概率;基于各人脸识别模块对应的历史置信概率确定历史置信概率矩阵;基于概率矩阵和历史置信概率矩阵,确定各第一人脸标识对应的加权平均概率。
具体地,确定概率矩阵时,可以将同一个人脸识别模块的各第一人脸标识对应的匹配概率作为概率矩阵中同一行的各元素,则各元素所在的列即为同一个第一人脸标识。可以按照各人脸识别模块的序号对概率矩阵的行进行排序,概率矩阵的列的排序可以按第一人脸标识统计次数的降序顺序排列。
例如,人员编号001和人员编号002均为第一人脸标识,人员编号001在人脸识别模块S1输出的匹配概率为0.9,在人脸识别模块S2输出的匹配概率为0.8,在人脸识别模块S3输出的匹配概率为0.7;人员编号002在人脸识别模块S1输出的匹配概率为0.8,在人脸识别模块S2输出的匹配概率为0.6,在人脸识别模块S3输出的匹配概率为0。可以用如下的矩阵T4表示该概率矩阵。
基于各人脸识别模块对应的历史置信概率确定历史置信概率矩阵,则各历史置信概率即为历史置信概率矩阵中的元素,可以按照各人脸识别模块的序号对历史置信概率矩阵的行进行排序以得到历史置信概率矩阵。
例如,人脸识别模块S1的历史置信概率为0.9,人脸识别模块S2的历史置信概率为0.7,人脸识别模块S3的历史置信概率为0.5。可以用如下的矩阵T5表示该历史置信概率矩阵。
基于概率矩阵和历史置信概率矩阵,确定各第一人脸标识对应的加权平均概率,可以将历史置信概率矩阵中每行的元素分别与概率矩阵中每行的各元素进行相乘,得到加权匹配概率。将相乘后的各元素按列进行相加,即,将每列中的各加权匹配概率进行相加即可得出各第一人脸标识对应的加权平均概率。
例如,将矩阵T5中每行的元素分别与矩阵T4中每行的各元素进行相乘,得到各加权匹配概率,可以用如下的矩阵T6表示。
进一步地,可以得到人员编号001的加权平均概率为0.81+0.56+0.35=1.72;人员编号002的加权平均概率为0.72+0.42+0=1.14。
在本实施例中,确定出概率矩阵和历史置信概率矩阵后,基于概率矩阵和历史置信概率矩阵能提高确定各第一人脸标识对应的加权平均概率的效率。
由于概率矩阵中每一行的元素对应的是同一人脸识别模块输出的不同第一人脸标识对应的匹配概率,这些匹配概率的和可能不等1,可以理解为,各行元素分别按行相加后得到的各行的总值之间可能存在较大的差异。因此,当各行的总值之间存在较大的差异时,将导致各行元素之间的数值比较产生较大误差,并且,可能导致基于概率矩阵和历史置信概率矩阵确定出的各第一人脸标识对应的加权平均概率没有意义,使最终确定出的目标人脸标识准确度降低。为避免该情况的出现,可以对概率矩阵中每一行的元素进行归一化处理。
在一种示例实施例中,基于概率矩阵和历史置信概率矩阵,确定各第一人脸标识对应的加权平均概率,包括:对概率矩阵中的每行元素进行归一化处理,得到归一化后的概率矩阵;基于历史置信概率矩阵和归一化后的概率矩阵,确定各第一人脸标识对应的加权平均概率。
具体地,对概率矩阵中的每行元素进行归一化处理,是将每行元素中的各元素,分别除以该行所有元素求和后得到的和值,即可得到该行各元素对应的归一化后的元素,各元素对应的归一化后的元素组成的矩阵,即为归一化后的概率矩阵。
示例性的,归一化的计算公式可以表示为如下的公式(1)。
其中,Pij表示概率矩阵中第i行第j列的元素,表示第i行所有元素求和后得到的和值,/>表示对Pij元素进行归一化处理后得到的元素。
例如,对矩阵T2进行归一化处理后,得到如下的矩阵T7。
/>
其中,表示矩阵T2中P11对应的归一化后的元素,/>表示矩阵T2中P12对应的归一化后的元素,以此类推,/>表示矩阵T2中PNM对应的归一化后的元素。
再例如,对矩阵T3进行归一化处理后,示例性的可表示为如下的矩阵T8。
示例性的,可以用如下的矩阵W表示历史置信概率矩阵。
其中,w1表示人脸识别模块S1的历史置信概率,w2表示人脸识别模块S2的历史置信概率,以此类推,wN表示人脸识别模块SN的历史置信概率。
基于历史置信概率矩阵和归一化后的概率矩阵,确定各第一人脸标识对应的加权平均概率,可以将历史置信概率矩阵中每行的元素,分别与归一化后的概率矩阵中每行的各元素进行相乘,得到归一化的加权匹配概率。将相乘后的各元素按列进行相加,即,将每列中的各归一化的加权匹配概率进行相加即可得出各第一人脸标识对应的加权平均概率。
示例性的,可以用如下的公式(2)表示。
其中,表示Pik对应的归一化后的元素,即对概率矩阵中第i行第k列的元素进行归一化处理后得到的元素;wi表示人脸识别模块Si的历史置信概率,/>与wi进行乘积运算后,将该列所有的归一化的加权匹配概率进行求和,得到该列归一化的加权匹配概率总和,即第K个第一人脸标识的加权平均概率,即公式(2)中的PAk。
确定每个第一人脸标识的加权平均概率,最终得到M个加权平均概率。由M个加权平均概率组成的加权平均概率集可以表示为(PA1,PA2,…,PAM),进一步地,从加权平均概率集(PA1,PA2,…,PAM)中将最大值对应的第一人脸标识确定为目标人脸标识,可以表示为IDp_max。
在本实施例中,对概率矩阵中的每一行的元素进行归一化处理,可以避免因不同人脸识别模块输出的匹配概率间的数值化差异,带来的加权运算误差,防止确定出的加权平均概率误差过大而失去意义,进一步提高确定出的目标人脸标识的准确度。
在上述实施例的基础上,可以通过对各人脸识别模块的历史置信概率进行更新调整,使每输入一张新的待识别图像进行人脸识别时,使用的历史置信概率是经上次识别后实时更新的历史置信概率,使其与概率矩阵更适配,提高确定出的各第一人脸标识对应的加权平均概率的准确性,进而提升人脸识别的准确度。
在一种示例实施例中,该基于多人脸识别模块的人脸识别方法还包括:基于目标人脸标识更新归一化后的概率矩阵,得到更新后的概率矩阵;基于更新后的概率矩阵确定目标权重;针对各人脸识别模块,基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,更新人脸识别模块的历史置信概率。
基于目标人脸标识更新归一化后的概率矩阵,得到更新后的概率矩阵。具体地,在对归一化后的概率矩阵进行更新时,可以基于目标人脸标识,确定目标人脸标识在归一化后的概率矩阵中所在的列,保留该列中各元素的值,不保留其他列中各元素的值。
示例性的,基于目标人脸标识更新归一化后的概率矩阵,得到更新后的概率矩阵时,将归一化后的概率矩阵中除目标人脸标识对应的列元素之外的其他列元素置零,得到更新后的概率矩阵。
以矩阵T8为例,若目标人脸标识所在的列是第一列,则保留第一列中各元素的值,将其他列中的元素置为零,可以得到如下的矩阵T9。
基于更新后的概率矩阵确定目标权重。具体地,目标权重是适用于对历史置信概率进行更新的权重值,该目标权重可以通过更新后的概率矩阵来确定。目标权重可以使各人脸识别模块的历史置信概率更加准确地表征人脸识别模块识别人脸的准确度。
示例性的,基于更新后的概率矩阵确定目标权重时,可以确定更新后的概率矩阵中非零列元素对应的目标列标识;基于列标识与权重的对应关系,确定目标列标识对应的目标权重。
其中,列标识与权重的对应关系可以是预设的列标识与预设权重之间的映射关系。例如,可以预设列标识与权重的对应关系表,通过查表的形式确定出目标列标识对应的目标权重。目标列标识可以是标识概率矩阵中矩阵的列的任意标识,例如,可以是列的序号。目标权重即与目标列标识相对应的权重。
具体地,确定更新后的概率矩阵中非零列元素对应的目标列标识,即确定目标人脸标识在更新后的概率矩阵中的列的列标识。当列的序号作为列标识时,可以理解为,确定目标人脸标识在更新后的概率矩阵中的列的序号。确定出目标列标识后,基于列标识与权重的对应关系,可以确定出与目标列标识对应的目标权重。
示例性的,更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的;权重与相同人脸标识的次数呈负相关。
具体地,在确定概率矩阵时,按照各第一人脸标识出现次数的降序排序方式排布各列的元素,可以理解为将同一第一人脸标识出现次数最多的第一人脸标识对应的匹配概率排布在概率矩阵中的第一列,将同一第一人脸标识出现次数第二多的第一人脸标识对应的匹配概率排布在概率矩阵中的第二列,依次类推形成概率矩阵。需要说明的是,在对概率矩阵进行归一化处理或更新时,并不改变各列的排布顺序,所以更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的。另外,若存在至少两个第一人脸标识出现的次数相同时,可以按照各人脸识别模块的排序以及各匹配概率值的大小确定相同次数的第一人脸标识的列排布顺序。例如,可以将人脸识别模块S1输出的匹配概率中最大的匹配概率所对应的第一人脸标识排布在前列。
在预设列标识与权重的对应关系时,可以将权重的权重值设置为与相同人脸标识的次数呈负相关关系的值,可以理解为,各权重值与各第一人脸标识出现的次数之间存在负相关的关系,即,第一人脸标识出现的次数越多时其对应权重的权重值相对于其他权重值较小。如上所述,更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的,则排在前列的是出现次数较多的第一人脸标识,其对应的权重的权重值相对较小。
举例来说,各列对应的权重可以为α1,α2,…,αM依次增大排列,例如,可以是0.05,0.1,…,0.5。其中,0.05是概率矩阵中第一列对应的权重,0.1是概率矩阵中第二列对应的权重,依次类推,0.5是概率矩阵中最后一列对应的权重。当第一列对应的第一人脸标识确定为目标人脸标识时,则目标概率取0.05;当第二列对应的第一人脸标识确定为目标人脸标识时,则目标概率取0.1,此处不再赘述。这样,可以确保准确度最高的人脸识别模块能保持较高的权重。
示例性的,如果更新后的概率矩阵中有整行的各元素的元素值均为零时,表示该行对应的人脸识别模块输出的匹配概率均为零,即,没有输出各第一人脸标识及其匹配概率,此时,在进行人脸识别模块的历史置信概率更新时,可以强制赋予该人脸识别模块的历史置信概率为更新前上一次所有的人脸识别模块对应的历史置信概率中最小历史置信概率的二分之一。
针对各人脸识别模块,基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,更新人脸识别模块的历史置信概率。
具体地,基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,对人脸识别模块的历史置信概率进行更新时,将目标权重与目标人脸标识对应的匹配概率进行乘积运算得到第一乘积值,用目标值减去目标权重后得到的差值与目标人脸识别模块更新前的历史置信概率进行乘积运算得到第二乘积值,将第一乘积值和第二乘积值进行相加可以得到更新后的人脸识别模块的历史置信概率。其中,目标人脸识别模块是进行历史置信概率更新的人脸识别模块;目标值是预设的值,可以是1,用于保证对目标人脸标识对应的匹配概率和人脸识别模块更新前的历史置信概率分别进行加权运算时的两个加权值的和为1,保证加权具有意义。
举例来说,对人脸识别模块的历史置信概率进行更新时,可以通过目标人脸标识所在的列序号确定出对应的目标权重。
若目标人脸标识所在的列为更新后概率矩阵的第一列,即更新后的概率矩阵的第一列为非零列时,可以确定出目标权重为各权重中的第一个权重值,可以用α1来表示。基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,可以依据以下公式(3)对人脸识别模块的历史置信概率进行更新。
其中,α1表示目标权重;i表示各人脸识别模块的索引或序号;t表示当前步数,t-1表示前一步数,步数可以理解为人脸识别模块的运行次数,需要说明的是,步数用于区分人脸识别模块不同的运行次数,不代表幂;表示更新前第i个人脸识别模块的历史置信概率,则/>表示进行一次更新后第i个人脸识别模块的历史置信概率,/>表示更新后的概率矩阵中第1列中的第i个人脸识别模块对应的归一化后的匹配概率。
若目标人脸标识所在的列为更新后概率矩阵的第二列,即更新后的概率矩阵的第二列为非零列时,可以确定出目标权重为各权重中的第二个权重值,可以用α2来表示。基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,可以依据以下公式(4)对人脸识别模块的历史置信概率进行更新。
其中,α2表示目标权重,即更新后的概率矩阵的第二列对应的权重,表示更新后的概率矩阵中第2列中的第i个人脸识别模块对应的归一化后的匹配概率。依次类推,目标人脸标识所在的列为更新后概率矩阵中的其他列时,使用对应的目标权重即可对人脸识别模块的历史置信概率进行更新,此处不再赘述。
从公式(3)或公式(4)可以看出,在更新人脸识别模块的历史置信概率时,遵循以下更新原则:每当某人脸识别模块对待识别图像识别正确时,则增大一次该人脸识别模块对应的历史置信概率为当前置信概率,每当某人脸识别模块对待识别图像识别错误时,则减小一次该人脸识别模块对应的历史置信概率为当前置信概率。
在本实施例中,通过实时调整各人脸识别模块的历史置信概率,使人脸识别模块的历史置信概率更接近于各人脸识别模块的真实识别准确度。这样,人脸识别模块的性能与实时的人脸识别问题将更加适配,让合适的算法匹配对应的人脸识别问题的效果更佳,得到更加准确的识别结果。
在一种示例实施例中,将各人脸识别模块的历史置信概率的初始值设置为100%,也就是1,表示各人脸识别模块从初次人脸识别时的置信概率均相等,即,默认赋予各人脸识别模块的准确度或可信度相同。当然,各人脸识别模块的历史置信概率的初始值也可以设置成相同的其它数值,例如2,表示对各人脸识别模块的可信度均为200%。通常情况下,各人脸识别模块的历史置信概率的初始值均设置为1。该初始置信概率即是最高值,在不断的更新迭代或标准化后,更新后的各人脸识别模块的历史置信概率将不会超过该初始值。
在一种示例实施例中,该方法还包括:基于更新后的各人脸识别模块对应的历史置信概率,确定最大置信概率;基于最大置信概率对更新后的各人脸识别模块对应的历史置信概率进行标准化处理,得到各标准化后的置信概率;标准化后的置信概率用于对下一张待识别图像进行人脸识别。
具体地,在更新后的各人脸识别模块对应的历史置信概率中选择最大值确定为最大置信概率,分别用各人脸识别模块对应的历史置信概率除以该最大置信概率得到各人脸识别模块对应的标准化后的历史置信概率。进一步地,确定所有历史置信概率标准化后的历史置信概率,利用标准化后的历史置信概率对下一张待识别图像进行人脸识别,可以避免不断地对历史置信概率进行更新,可能导致的数值趋于0的现象,防止各历史置信概率失去意义,保证识别的准确度不受影响。
示例性的,基于最大置信概率对更新后的各人脸识别模块对应的历史置信概率进行标准化处理,可以采用如下的公式(5)。
/>
其中,wmax表示各人脸识别模块的历史置信概率矩阵中的最大值,即最大置信概率,wi表示各人脸识别模块对应的标准化前的历史置信概率,wi′表示各人脸识别模块对应的标准化后的置信概率。
下面对本发明实施例提供的基于多人脸识别模块的人脸识别装置进行描述,下文描述的基于多人脸识别模块的人脸识别装置与上文描述的基于多人脸识别模块的人脸识别方法可相互对应参照。
图2是本发明实施例提供的基于多人脸识别模块的人脸识别装置的结构示意图,如图2所示,基于多人脸识别模块的人脸识别装置200包括:
获取单元210,用于获取待识别图像;
识别单元220,用于将待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果;该人脸匹配结果用于表征待识别图像中包括目标人脸的概率;
确定单元230,用于基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识;该历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
在一种示例实施例中,人脸匹配结果包括人脸标识和匹配概率的对应关系;确定单元230具体用于:统计所有人脸匹配结果中相同人脸标识的次数,并对各相同人脸标识的次数进行降序排序,得到排序结果;将排序结果中前M个人脸标识确定为第一人脸标识;M大于或等于1;基于各第一人脸标识各自对应的各匹配概率、以及各人脸识别模块对应的历史置信概率,确定目标人脸标识。
在一种示例实施例中,确定单元230具体用于:针对各第一人脸标识,基于各人脸识别模块对应的历史置信概率和第一人脸标识对应的各匹配概率,确定第一人脸标识对应的加权平均概率;将各第一人脸标识对应的加权平均概率中最大的加权平均概率对应的第一人脸标识确定为目标人脸标识。
在一种示例实施例中,确定单元230具体用于:基于第一人脸标识、人脸识别模块和匹配概率的对应关系,确定概率矩阵;概率矩阵中同一行元素用于表征同一个人脸识别模块对应的各匹配概率;概率矩阵中同一列元素用于表征同一个第一人脸标识对应的各匹配概率;基于各人脸识别模块对应的历史置信概率确定历史置信概率矩阵;基于概率矩阵和历史置信概率矩阵,确定各第一人脸标识对应的加权平均概率。
在一种示例实施例中,确定单元230具体用于:对概率矩阵中的每行元素进行归一化处理,得到归一化后的概率矩阵;基于历史置信概率矩阵和归一化后的概率矩阵,确定各第一人脸标识对应的加权平均概率。
在一种示例实施例中,基于多人脸识别模块的人脸识别装置200还包括更新单元,该更新单元用于:基于目标人脸标识更新归一化后的概率矩阵,得到更新后的概率矩阵;基于更新后的概率矩阵确定目标权重;针对各人脸识别模块,基于目标权重、人脸识别模块对应的历史置信概率、与目标人脸识别模块和目标人脸标识对应的匹配概率,更新人脸识别模块的历史置信概率。
在一种示例实施例中,更新单元具体用于:将归一化后的概率矩阵中除目标人脸标识对应的列元素之外的其他列元素置零,得到更新后的概率矩阵。
在一种示例实施例中,更新单元具体用于:确定更新后的概率矩阵中非零列元素对应的目标列标识;基于列标识与权重的对应关系,确定目标列标识对应的目标权重。
在一种示例实施例中,更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的;权重与相同人脸标识的次数呈负相关。
在一种示例实施例中,基于多人脸识别模块的人脸识别装置200还包括处理单元,该处理单元用于:基于更新后的各人脸识别模块对应的历史置信概率,确定最大置信概率;基于最大置信概率对更新后的各人脸识别模块对应的历史置信概率进行标准化处理,得到各标准化后的置信概率;标准化后的置信概率用于对下一张待识别图像进行人脸识别。
本实施例的装置,可以用于执行基于多人脸识别模块的人脸识别方法侧实施例中任一实施例的方法,其具体实现过程和技术效果与基于多人脸识别模块的人脸识别方法侧实施例中类似,具体可以参见基于多人脸识别模块的人脸识别方法侧实施例中的详细介绍,此处不再赘述。
图3是本发明实施例提供的电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行基于多人脸识别模块的人脸识别方法,该方法包括:获取待识别图像;将待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果;人脸匹配结果用于表征待识别图像中包括目标人脸的概率;基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的基于多人脸识别模块的人脸识别方法,该方法包括:获取待识别图像;将待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果;人脸匹配结果用于表征待识别图像中包括目标人脸的概率;基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的基于多人脸识别模块的人脸识别方法,该方法包括:获取待识别图像;将待识别图像分别输入至少两个人脸识别模块中,得到各人脸识别模块各自输出的至少一个人脸匹配结果;人脸匹配结果用于表征待识别图像中包括目标人脸的概率;基于各人脸识别模块对应的历史置信概率、以及至少一个人脸匹配结果确定目标人脸标识;历史置信概率用于表征对应人脸识别模块识别人脸的准确度。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (3)
1.一种基于多人脸识别模块的人脸识别方法,其特征在于,包括:
获取待识别图像;
将所述待识别图像分别输入至少两个人脸识别模块中,得到各所述人脸识别模块各自输出的至少一个人脸匹配结果;所述人脸匹配结果用于表征所述待识别图像中包括目标人脸的概率;
基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识;所述历史置信概率用于表征对应人脸识别模块识别人脸的准确度;
所述人脸匹配结果包括人脸标识和匹配概率的对应关系;
所述基于各所述人脸识别模块对应的历史置信概率、以及至少一个所述人脸匹配结果确定目标人脸标识,包括:
统计所有所述人脸匹配结果中相同人脸标识的次数,并对各所述相同人脸标识的次数进行降序排序,得到排序结果;
将所述排序结果中前M个人脸标识确定为第一人脸标识;所述M大于或等于1;
基于各所述第一人脸标识各自对应的各匹配概率、以及各所述人脸识别模块对应的历史置信概率,确定所述目标人脸标识;
所述基于各所述第一人脸标识各自对应的各匹配概率、以及各所述人脸识别模块对应的历史置信概率,确定所述目标人脸标识,包括:
针对各所述第一人脸标识,基于各所述人脸识别模块对应的历史置信概率和所述第一人脸标识对应的各匹配概率,确定所述第一人脸标识对应的加权平均概率;
将各所述第一人脸标识对应的加权平均概率中最大的加权平均概率对应的第一人脸标识确定为所述目标人脸标识;
所述基于各所述人脸识别模块对应的历史置信概率和所述第一人脸标识对应的各匹配概率,确定所述第一人脸标识对应的加权平均概率,包括:
基于所述第一人脸标识、所述人脸识别模块和匹配概率的对应关系,确定概率矩阵;所述概率矩阵中同一行元素用于表征同一个人脸识别模块对应的各匹配概率;所述概率矩阵中同一列元素用于表征同一个第一人脸标识对应的各匹配概率;
基于各所述人脸识别模块对应的历史置信概率确定历史置信概率矩阵;
基于所述概率矩阵和所述历史置信概率矩阵,确定各所述第一人脸标识对应的加权平均概率;
所述基于所述概率矩阵和所述历史置信概率矩阵,确定各所述第一人脸标识对应的加权平均概率,包括:
将所述历史置信概率矩阵中每行的元素分别与所述概率矩阵中每行的各元素进行相乘,得到加权匹配概率;
将每列中的各所述加权匹配概率进行相加,得到各所述第一人脸标识对应的所述加权平均概率;
所述基于所述概率矩阵和所述历史置信概率矩阵,确定各所述第一人脸标识对应的加权平均概率,还包括:
对所述概率矩阵中的每行元素进行归一化处理,得到归一化后的概率矩阵;
基于所述历史置信概率矩阵和所述归一化后的概率矩阵,确定各所述第一人脸标识对应的加权平均概率;
所述方法还包括:
基于所述目标人脸标识更新所述归一化后的概率矩阵,得到更新后的概率矩阵;
基于所述更新后的概率矩阵确定目标权重;
针对各所述人脸识别模块,基于所述目标权重、所述人脸识别模块对应的历史置信概率、与目标人脸识别模块和所述目标人脸标识对应的匹配概率,更新所述人脸识别模块的历史置信概率;所述目标人脸识别模块为进行历史置信概率更新的人脸识别模块;
所述基于所述目标人脸标识更新所述归一化后的概率矩阵,得到更新后的概率矩阵,包括:
将所述归一化后的概率矩阵中除所述目标人脸标识对应的列元素之外的其他列元素置零,得到所述更新后的概率矩阵;
所述基于所述更新后的概率矩阵确定目标权重,包括:
确定所述更新后的概率矩阵中非零列元素对应的目标列标识;
基于列标识与权重的对应关系,确定所述目标列标识对应的目标权重;
所述基于所述目标权重、所述人脸识别模块对应的历史置信概率、与所述目标人脸识别模块和所述目标人脸标识对应的匹配概率,更新所述人脸识别模块的历史置信概率,包括:
将所述目标权重与所述目标人脸标识对应的所述匹配概率进行乘积运算得到第一乘积值,用目标值减去所述目标权重后得到的差值与所述目标人脸识别模块更新前的历史置信概率进行乘积运算得到第二乘积值,将所述第一乘积值和所述第二乘积值进行相加,得到所述人脸识别模块的更新后的历史置信概率,将所述更新后的历史置信概率确定为所述人脸识别模块的历史置信概率;其中,目标值为预设的值。
2.根据权利要求1所述的基于多人脸识别模块的人脸识别方法,其特征在于,所述更新后的概率矩阵中各列标识对应的第一人脸标识是按照相同人脸标识的次数降序排列的;所述权重与所述相同人脸标识的次数呈负相关。
3.根据权利要求1或2所述的基于多人脸识别模块的人脸识别方法,其特征在于,所述方法还包括:
基于更新后的各所述人脸识别模块对应的历史置信概率,确定最大置信概率;
基于所述最大置信概率对更新后的各所述人脸识别模块对应的历史置信概率进行标准化处理,得到各标准化后的置信概率;所述标准化后的置信概率用于对下一张待识别图像进行人脸识别。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484728.5A CN116434313B (zh) | 2023-04-28 | 2023-04-28 | 基于多人脸识别模块的人脸识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310484728.5A CN116434313B (zh) | 2023-04-28 | 2023-04-28 | 基于多人脸识别模块的人脸识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116434313A CN116434313A (zh) | 2023-07-14 |
CN116434313B true CN116434313B (zh) | 2023-11-14 |
Family
ID=87085451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310484728.5A Active CN116434313B (zh) | 2023-04-28 | 2023-04-28 | 基于多人脸识别模块的人脸识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116434313B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250858A (zh) * | 2016-08-05 | 2016-12-21 | 重庆中科云丛科技有限公司 | 一种融合多种人脸识别算法的识别方法及系统 |
CN106446816A (zh) * | 2016-09-14 | 2017-02-22 | 北京旷视科技有限公司 | 人脸识别方法及装置 |
CN108776768A (zh) * | 2018-04-19 | 2018-11-09 | 广州视源电子科技股份有限公司 | 图像识别方法及装置 |
CN110298667A (zh) * | 2019-06-25 | 2019-10-01 | 北京百度网讯科技有限公司 | 基于人脸识别的支付处理方法、装置及存储介质 |
CN111079670A (zh) * | 2019-12-20 | 2020-04-28 | 北京百度网讯科技有限公司 | 人脸识别方法、装置、终端和介质 |
CN111507135A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人脸检测方法、装置、计算机设备及存储介质 |
WO2021063037A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 人口库分库方法和装置 |
CN112861742A (zh) * | 2021-02-18 | 2021-05-28 | 咪咕文化科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
WO2021139475A1 (zh) * | 2020-01-08 | 2021-07-15 | 上海商汤临港智能科技有限公司 | 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品 |
CN114565955A (zh) * | 2021-12-27 | 2022-05-31 | 深圳云天励飞技术股份有限公司 | 人脸属性识别模型训练、社区人员监控方法、装置、设备 |
CN114998955A (zh) * | 2022-04-29 | 2022-09-02 | 北京精鸿软件科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
CN115393926A (zh) * | 2022-08-05 | 2022-11-25 | 中科云谷科技有限公司 | 用于提高人脸识别精度的方法、装置及服务器 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8180112B2 (en) * | 2008-01-21 | 2012-05-15 | Eastman Kodak Company | Enabling persistent recognition of individuals in images |
-
2023
- 2023-04-28 CN CN202310484728.5A patent/CN116434313B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250858A (zh) * | 2016-08-05 | 2016-12-21 | 重庆中科云丛科技有限公司 | 一种融合多种人脸识别算法的识别方法及系统 |
CN106446816A (zh) * | 2016-09-14 | 2017-02-22 | 北京旷视科技有限公司 | 人脸识别方法及装置 |
CN108776768A (zh) * | 2018-04-19 | 2018-11-09 | 广州视源电子科技股份有限公司 | 图像识别方法及装置 |
WO2019200902A1 (zh) * | 2018-04-19 | 2019-10-24 | 广州视源电子科技股份有限公司 | 图像识别方法及装置 |
CN111507135A (zh) * | 2019-01-31 | 2020-08-07 | 北京奇虎科技有限公司 | 人脸检测方法、装置、计算机设备及存储介质 |
CN110298667A (zh) * | 2019-06-25 | 2019-10-01 | 北京百度网讯科技有限公司 | 基于人脸识别的支付处理方法、装置及存储介质 |
WO2021063037A1 (zh) * | 2019-09-30 | 2021-04-08 | 华为技术有限公司 | 人口库分库方法和装置 |
CN111079670A (zh) * | 2019-12-20 | 2020-04-28 | 北京百度网讯科技有限公司 | 人脸识别方法、装置、终端和介质 |
WO2021139475A1 (zh) * | 2020-01-08 | 2021-07-15 | 上海商汤临港智能科技有限公司 | 一种表情识别方法及装置、设备、计算机可读存储介质、计算机程序产品 |
CN112861742A (zh) * | 2021-02-18 | 2021-05-28 | 咪咕文化科技有限公司 | 人脸识别方法、装置、电子设备及存储介质 |
CN114565955A (zh) * | 2021-12-27 | 2022-05-31 | 深圳云天励飞技术股份有限公司 | 人脸属性识别模型训练、社区人员监控方法、装置、设备 |
CN114998955A (zh) * | 2022-04-29 | 2022-09-02 | 北京精鸿软件科技有限公司 | 人脸识别方法、装置、存储介质及电子设备 |
CN115393926A (zh) * | 2022-08-05 | 2022-11-25 | 中科云谷科技有限公司 | 用于提高人脸识别精度的方法、装置及服务器 |
Non-Patent Citations (1)
Title |
---|
基于openCV的人脸识别算法在智能学生签到系统中的应用;徐常惠 等;《无线互联科技》(第16期);第112-114页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116434313A (zh) | 2023-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113378632B (zh) | 一种基于伪标签优化的无监督域适应行人重识别方法 | |
CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
CN110728225B (zh) | 一种用于考勤的高速人脸搜索方法 | |
CN111444951B (zh) | 样本识别模型的生成方法、装置、计算机设备和存储介质 | |
CN109271958B (zh) | 人脸年龄识别方法及装置 | |
CN111181939A (zh) | 一种基于集成学习的网络入侵检测方法及装置 | |
CN112784929B (zh) | 一种基于双元组扩充的小样本图像分类方法及装置 | |
CN106991312B (zh) | 基于声纹识别的互联网反欺诈认证方法 | |
CN113449704B (zh) | 人脸识别模型训练方法、装置、电子设备及存储介质 | |
CN110794360A (zh) | 一种基于机器学习预测智能电能表故障的方法及系统 | |
CN114298176A (zh) | 一种欺诈用户检测方法、装置、介质及电子设备 | |
CN110580510A (zh) | 一种聚类结果评价方法和系统 | |
CN110991247B (zh) | 一种基于深度学习与nca融合的电子元器件识别方法 | |
CN115801374A (zh) | 网络入侵数据分类方法、装置、电子设备及存储介质 | |
CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
CN109886206B (zh) | 一种三维物体识别方法及设备 | |
CN113033345B (zh) | 基于公共特征子空间的v2v视频人脸识别方法 | |
CN109101984B (zh) | 一种基于卷积神经网络的图像识别方法及装置 | |
EP1480167A1 (en) | Pattern feature selection method, classification method, judgment method, program, and device | |
DeAlcala et al. | Measuring bias in AI models: an statistical approach introducing N-Sigma | |
CN110427804B (zh) | 一种基于二次迁移学习的虹膜身份验证方法 | |
CN116434313B (zh) | 基于多人脸识别模块的人脸识别方法 | |
CN116977834A (zh) | 一种开放条件下分布内外图像识别方法 | |
CN116595486A (zh) | 风险识别方法、训练风险识别模型的方法及对应装置 | |
Bansal et al. | Multimodal biometrics by fusion for security using genetic algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |