CN111401171B - 一种人脸图像的识别方法、装置、电子设备和存储介质 - Google Patents

一种人脸图像的识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111401171B
CN111401171B CN202010153077.8A CN202010153077A CN111401171B CN 111401171 B CN111401171 B CN 111401171B CN 202010153077 A CN202010153077 A CN 202010153077A CN 111401171 B CN111401171 B CN 111401171B
Authority
CN
China
Prior art keywords
identity information
face image
identification
white list
target face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010153077.8A
Other languages
English (en)
Other versions
CN111401171A (zh
Inventor
程星星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
MIGU Culture Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd, MIGU Culture Technology Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN202010153077.8A priority Critical patent/CN111401171B/zh
Publication of CN111401171A publication Critical patent/CN111401171A/zh
Application granted granted Critical
Publication of CN111401171B publication Critical patent/CN111401171B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸图像的识别方法、装置、电子设备和存储介质，确定与目标人脸图像相似的相似参考图像后，若相似参考图像对应的身份信息属于白名单，则根据属于白名单的身份信息确定目标人脸图像对应的身份信息。白名单为视频中已识别的人脸图像对应的身份信息。由于视频中各图像之间具有关联性，通过白名单使得对视频中人脸图像的识别，与该视频中其它图像相关联，提高了人脸图像识别的准确率、对质量较差和场景复杂的人脸图像，降低了误识别。

Description

一种人脸图像的识别方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种人脸图像的识别方法、装置、电子设备和存储介质。
背景技术
随着深度神经网络和深度学习技术的发展，基于深度神经网络强大的学习能力，在越来越多的方面取得成功，在人脸识别方面的表现尤其出色。对于影视视频中人物的人脸身份识别，现有方法主要针对视频图像进行逐帧识别，通过计算数据库中保存的标准人脸图像的特征向量和当前帧中检测到的人脸图像的特征向量之间的距离，例如，欧式距离，判断当前帧的人脸图像与数据库中各人脸图像的匹配程度。距离小于阈值，则识别成功，否则，识别失败，数据库中匹配度最高的特征向量对应的人物身份即为当前人物的识别身份。
人脸图像的识别通常应用与视频中，对视频中的人脸图像进行识别存在如下特点：(1)需要识别的图像数量庞大。具体地，以每秒25帧的标准帧率视频为例，60分钟的视频共包含90000张图像。(2)人脸识别场景复杂。视频图像由连续渐变的图像组成，图像的对比度、清晰度、场景、人脸角度、表情等变化较大。(3)视频中提取得到的图像存在质量不高的情况。
因此，针对视频中人脸图像的识别存在待识别图像数量庞大、图像质量不高和场景复杂的情况，现有的通过设置简单的阈值，对单帧图像进行独立识别的方法，非常容易出现误识别、漏识别的情况。
发明内容
本发明实施例提供一种人脸图像的识别方法、装置、电子设备和存储介质，用以解决现有技术中通过设置简单的阈值，对单帧图像进行独立识别的方法，非常容易出现误识别、漏识别的情况的问题。
针对以上技术问题，第一方面，本发明实施例提供一种人脸图像的识别方法，包括：
从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；
判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；
若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；
其中，所述数据库中包括身份信息与参考图像的对应关系。
第二方面，本发明实施例提供一种人脸图像的识别装置，包括：
获取模块，用于从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；
判断模块，用于判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；
识别模块，用于若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；
其中，所述数据库中包括身份信息与参考图像的对应关系。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述的人脸图像的识别方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上任一项所述的人脸图像的识别方法的步骤。
本发明的实施例提供的一种人脸图像的识别方法、装置、电子设备和存储介质，确定与目标人脸图像相似的相似参考图像后，若相似参考图像对应的身份信息属于白名单，则根据属于白名单的身份信息确定目标人脸图像对应的身份信息。白名单为视频中已识别的人脸图像对应的身份信息。由于视频中各图像之间具有关联性，通过白名单使得对视频中人脸图像的识别，与该视频中其它图像相关联，提高了人脸图像识别的准确率、对质量较差和场景复杂的人脸图像，降低了误识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸图像的识别方法的流程示意图；
图2是本发明另一实施例提供的视频的人脸图像识别的整体流程示意图；
图3是本发明另一实施例提供的对欧式距离排序获取TOPN个待选结果的示意图；
图4是本发明另一实施例提供的投票法确定身份信息的示意图；
图5是本发明另一实施例提供的<识别成功项，误识别项>二元组辅助确定人物身份信息的示意图；
图6是本发明另一实施例提供通过平均欧式距离确定人物身份信息的示意图；
图7是本发明另一实施例提供的人脸图像的识别装置的结构框图；
图8是本发明另一实施例提供的电子设备的实体结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供一种人脸图像的识别方法，用于对视频(例如，电影，电影片段)中出现的人物进行身份识别。以使得用户在没有观看视频之前，能够获知视频中出现的人物，或者，根据对视频中出现的人脸图像的识别，能够自动剪辑出仅包含特定人物的视频片段，提高剪辑效率。该方法可以由任一设备执行，例如，计算机、服务器、手机等。图1为本实施例提供的人脸图像的识别方法的流程示意图，参见图1，该方法包括：
步骤101：从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；其中，所述数据库中包括身份信息与参考图像的对应关系。
数据库中预存了各身份信息对应的参考图像，每一身份信息均对应存储了多张与该身份信息对应的参考图像，这些参考图像是通过对该身份信息对应的人物，尤其是该人物的人脸进行不同角度的拍照得到。
相似参考图像是参考图像中，与该目标人脸图像的相似度较高的参考图像。各参考图像与目标人脸图像的相似度，可以通过欧式距离计算得到，本实施例对此不做具体限制。
步骤102：判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息。
白名单中存储了在上述视频中已识别的人脸图像对应的身份信息。由于视频各帧的相关性，已经在视频中识别出的身份信息在视频中再次出现的概率比较大，因此通过白名单的筛选能够大大提高识别的准确率，降低因图像质量或场景复杂程度造成的误识别。同时，通过白名单的筛选也缩小了进行进一步判断过程的范围，提高了识别效率。
步骤103：若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息。
待选身份信息即为需要进一步确认的身份信息。待选身份信息可能有一个或多个，若待选身份信息唯一，则进一步确认，待选身份信息为与所述目标人脸图像对应的身份信息，若待选身份信息不唯一，需要根据其它信息进一步确认与目标人脸图像对应的身份信息。
图2为本实施例提供的视频的人脸图像识别的整体流程示意图，参见图2，通过人脸检测和人脸特征提取确定了TOPN近邻待选结果(即相似参考图像)后，若TOPN对应的身份信息存在属于白名单的身份信息，则进一步确定识别结果，具体可以通过投票法、上下文信息和相似度平均值等实现。该轮识别后，若识别出的身份信息在白名单中未出现过，则更新白名单，以将新出现的身份信息添加到白名单中。进一步地，还可以更新上下文信息，更新的上下文信息用于进一步确认识别结果。
本实施例提供的一种人脸图像的识别方法，确定与目标人脸图像相似的相似参考图像后，若相似参考图像对应的身份信息属于白名单，则根据属于白名单的身份信息确定目标人脸图像对应的身份信息。白名单为视频中已识别的人脸图像对应的身份信息。由于视频中各图像之间具有关联性，通过白名单使得对视频中人脸图像的识别，与该视频中其它图像相关联，提高了人脸图像识别的准确率、对质量较差和场景复杂的人脸图像，降低了误识别。
在进行人脸图像识别的过程中，还可能出现各相似参考图像对应的身份信息均不属于白名单的情况(例如，对首次从视频中获取的人脸图像进行识别时，白名单为空，此时各相似参考图像对应的身份信息均不在白名单中)，进一步地，在上述实施例的基础上，还包括：
若不存在属于白名单的身份信息，则确定在各相似参考图像对应的身份信息中，同一身份信息对应的相似参考图像的第一数量；
获取第一数量大于或等于第一阈值的相似参考图像所对应的身份信息，作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息。
在各相似参考图像对应的身份信息中，统计同一身份信息所对应的相似参考图像的数量，每一身份信息所对应的相似参考图像的数量均为第一数量。例如，共5张相似参考图像，其中由3张相似参考图像对应的身份信息为身份信息A，2张相似参考图像对应的身份信息为身份信息B，则身份信息A对应的相似参考图像的数量为3张(即对身份信息A统计的第一数量为)，身份信息B对应的相似参考图像的数量为2张(即对身份信息B统计的第一数量为2)。
第一阈值为设定值，例如，第一阈值为N/2，其中，N为相似参考图像的总数量。
如图2所示，当TOPN对应的身份信息中，不存在属于白名单的身份信息，则根据TOPN中存在的置信度高的身份信息(即统计出的第一数量大于或等于第一阈值的相似参考图像所对应的身份信息)，进一步确定识别结果。
在本实施例中，在不存在属于白名单的身份信息情况下，通过各身份信息所对应的相似参考图像的第一数量进一步对身份信息进行筛选，实现对身份信息的进一步确认。
在进行人脸图像识别的过程中，还可能出现各相似参考图像对应的身份信息均不属于白名单，且也不存在第一数量大于或等于第一阈值的相似参考图像所对应的身份信息，在这种情况下，进一步地，在上述各实施例的基础上，还包括：
若不存在大于或等于所述第一阈值的第一数量，则在满足重识别条件后，判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，若是，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息，否则，丢弃所述目标人脸图像；
其中，所述重识别条件为按照所述视频的播放顺序，已经对所述视频的最后一帧人脸图像对应的身份信息进行了识别，或者，所述白名单中新增的身份信息的第二数量大于或等于第二阈值。
重识别条件为预设的重新对目标人脸图像进行身份信息识别的条件。第二阈值为设定值，例如，第二阈值为3，即当检测到白名单中新增的身份信息的数量大于或等于3时，重新根据该目标人脸图像的相似参考图像，对该目标人脸图像进行身份信息的识别。重识别条件还可以是，按照视频的播放顺序，已经对视频的最后一帧人脸图像对应的身份信息进行了识别(需要说明的是，无论对视频的最后一帧人脸图像进行身份信息的识别是否成功，只要对视频的最后一帧人脸图像进行了身份信息的识别，均可以对之前暂存的未识别出身份信息的人脸图像进行重识别)。如图2所示，当白名单和置信度均不满足时，可以暂存TOPN结果至视频结尾，然后再判断TOPN对应的身份信息是否属于白名单，若是，进行进一步确认，若否，丢弃该目标人脸图像，不做身份信息的识别。
本实施例对一些当前无法识别的图像进行暂存处理，利用视频各帧之间的关联，满足重识别条件后重新识别，提高了对目标人脸图像识别成功的概率。
进一步地，在上述各实施例的基础上，在上述步骤101中，所述根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像，包括：
确定所述目标人脸图像对应的人脸特征向量，并根据所述人脸特征向量和各参考图像对应的参考特征向量，计算所述目标人脸图像与各参考图像的相似度；
按照相似度由大到小的顺序，获取数量等于第三阈值的参考图像，作为相似参考图像。
进一步地，还包括：从所述视频中截取未识别的人脸图像，作为目标人脸图像。
进一步地，所述确定所述目标人脸图像对应的人脸特征向量，包括：
将所述目标人脸图像的RGB图像数据，输入到预设模型中，由所述预设模型确定所述目标人脸图像对应的人脸特征向量；
其中，所述预设模型以人脸图像作为样本，以人脸图像对应的身份信息作为标签，对深度神经网络进行训练得到。
其中，由所述预设模型确定所述目标人脸图像对应的人脸特征向量，具体包括：以所述预设模型的最后一个全连接层输出的向量作为所述人脸特征向量。
进一步地，根据所述人脸特征向量和各参考图像对应的参考特征向量，计算所述目标人脸图像与各参考图像的相似度，包括：
对所述目标人脸图像和任一参考图像，根据所述人脸特征向量和所述参考图像对应的参考特征向量，通过公式
计算所述目标人脸图像与各参考图像的欧式距离；
其中，xi和xj分别所述人脸特征向量和所述参考图像对应的参考特征向量，dist表示这两个特征向量之间的欧氏距离。
进一步地，按照相似度由大到小的顺序，获取数量等于第三阈值的参考图像，作为相似参考图像，包括：
按照欧式距离由小到达的顺序，获取数量等于第三阈值的参考图像，作为相似参考图像。例如，第三阈值为N，则获取排列的前N个参考图像，作为相似参考图像。以欧式距离表示相似度，欧式距离越小，则相似度越大。图3为本实施例提供的对欧式距离排序获取TOPN个待选结果的示意图，图3左边的dist(x，yj)表示计算的目标人脸图像和第j个参考图像的欧式距离，图3右边为对欧式距离由小到达(即相似度由大到小)排序的列表，其中，di是由小到大排序的第i个欧式距离计算结果，identity是每个di计算结果对应的人物身份信息。通过图3中右边的列表获取TOPN个待选结果。
本实施例通过相似度的计算和排序，获取了相似度最高的前N个参考图像作为相似参考图像，提供了后续计算的基础。
作为具体示例，本实施例提供具体的确定人脸图像对应身份信息的实现过程，该过程包括如下内容：
(1)人脸检测。使用基于深度神经网络的人脸检测算法检测待识别图像中的人脸区域，并获取人脸区域的RGB图像数据。
(2)人脸特征提取。使用基于深度神经网络的人脸特征提取算法，将人脸图像转化为512维的特征向量。
(3)人脸特征向量空间距离计算。分别计算待识别的人脸特征向量与数据库中存放的标准人脸特征向量之间的距离，并取所有计算结果中由小到大排序的top N个待选结果。
对于内容(3)，采用欧氏距离度量人脸特征向量的空间距离，欧式距离计算方法如下：
其中，xi和xj分别表示两个512维的人脸特征向量，dist表示这两个特征向量之间的欧氏距离。分别计算待识别的特征向量与数据库中所有特征向量的欧氏距离，并取计算结果的前N个最小值。如图3所示，x是待识别的人脸特征向量，yi是数据库中存储的标准人脸特征向量。di是由小到大排序的第i个欧式距离计算结果，identity是每个di计算结果对应的人物身份。
对于上述各实施例中，对TOPN待选结果进行进一步识别的过程，在上述各实施例的基础上，所述根据各待选身份信息识别与所述目标人脸图像对应的身份信息，包括：
确定与各待选身份信息对应的相似参考图像的数量，作为投票数量，若最大的投票数量对应的待选身份信息唯一，则将最大的投票数量对应的待选身份信息作为所述目标人脸图像对应的身份信息；
若最大的投票数量对应的待选身份信息不唯一，则根据历史识别信息和/或相似度信息，确定与所述目标人脸图像对应的身份信息；
其中，历史识别信息包括与各二元组，以及每一二元组对应的标记值，二元组中包括作为识别成功项的身份信息和误识别项的身份信息，标记值根据每次对人脸图像进行身份识别时，各待选身份信息中识别为人脸图像对应身份信息和未识别为人脸图像对应身份信息确定；相似度信息包括对每一待选身份信息，根据待选身份信息对应的各相似参考图像与所述目标人脸图像的相似度确定的平均相似度。
当最大的投票数量对应的待选身份信息唯一，通过投票法确定目标人脸图像对应的身份信息，否则，采用上下文信息(即根据历史识别信息)和/或相似度信息确定目标人脸图像对应的身份信息。
进一步地，相似度信息具体包括：对任一待选身份信息，计算所述待选身份信息对应的各相似参考图像与所述目标人脸图像的相似度的平均值，将计算的平均值作为所述待选身份信息的平均相似度。
图4为本实施例提供的投票法确定身份信息的示意图，参见图4，di是TOPN候选结果中各候选结果(即相似参考图像)对应的欧式距离，identity为身份信息，脚标相同的identity表示的身份信息相同。对各待选身份信息进行分组，得到每一待选身份对应的投票数量(即m，n，s)，max(m，n，s)结果对应的identity即为最终识别的人物身份信息。
进一步地，在上述各实施例的基础上，所述若最大的投票数量对应的待选身份信息不唯一，则根据历史识别信息和相似度信息，确定与所述目标人脸图像对应的身份信息，包括：
若最大的投票数量对应的待选身份信息不唯一，则以各待选身份信息中的任一待选身份信息作为识别成功项，以另一待选身份信息作为误识别项，确定二元组，得到根据待选身份信息确定的二元组；
根据所述历史识别信息，从根据待选身份信息确定的所有二元组中确定最大的标记值对应的目标二元组，若最大的标记值对应的目标二元组唯一，则将目标二元组中识别成功项对应的身份信息，作为与所述目标人脸图像对应的身份信息；
若最大的标记值对应的目标二元组不唯一，则确定各待选身份信息对应的平均相似度，将最大的平均相似度对应的待选身份信息，作为与所述目标人脸图像对应的身份信息。
二元组是由两个身份信息组成的组合，二元组中的一个身份信息为识别成功项，另一个为误识别项，例如，二元组为<identityi，identityj>，其中，identityi为识别成功项，identityj为误识别项。在历史识别信息(即上下文信息)中，会存储各二元组的标记值。通过这些标记值可以解决“最大的投票数量对应的待选身份信息不唯一”时，身份信息的确认。
图5为本实施例提供的<识别成功项，误识别项>二元组辅助确定人物身份信息的示意图，参见图5，根据出现在白名单中三种身份信息identity1、identity2和identity3，确定所有二元组(如图5的中间部分所示的二元组)，根据历史识别信息中对各二元组的标记值，确定标记值最大的目标二元组，将目标二元组中识别成功项对应的身份信息，作为最终识别的身份信息。
进一步地，若通过历史识别信息(即上下文信息)仍无法确认目标人脸图像的身份信息，则继续通过相似度信息进行确定。图6为实施例提供的通过平均欧式距离确定人物身份信息的示意图，参见图6，对每一种身份信息，计算该身份信息下所有待识别图像与目标人脸图像欧式距离的平均值，将平均值最小的欧式距离对应的身份信息确定为最终的身份信息。
本实施通过投票法实现了对目标人脸图像对应的身份信息的确认，通过历史识别信息和/或相似度信息解决了，最大的投票数量对应的待选身份信息不唯一的情况下，身份信息的进一步确认。
对于二元组的标记值的标记方法，进一步地，在上述各实施例的基础上，还包括：
在将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息后，将各待选身份信息中，识别为与所述目标人脸图像对应的身份信息作为第一身份信息，未识别为与所述目标人脸图像对应的身份信息作为第二身份信息；
对每一第二身份信息，判断所述历史识别信息的二元组中，是否存在以所述第一身份信息作为识别成功项，以所述第二身份信息作为误识别项的二元组，若是，则将二元组的标记值增大第一预设数值，否则，将二元组添加到所述历史识别信息中，并设置二元组的标记值为第二预设数值。
第一预设数值和第二预设数值为设定值，例如，均为1。
如图2所示，不仅需更新白名单，还需对上下文信息(历史识别信息)进行更新。具体地，若待选身份信息为属于白名单的身份信息，则将待选身份信息中最终识别为目标人脸图像对应的身份信息，作为第一身份信息，将待选身份信息中其它的身份信息作为第二身份信息。对每一第二身份信息，判断<第一身份信息，第二身份信息>是否已经存在于历史识别信息中，若是，对该<第一身份信息，第二身份信息>的标记值增加1，否则，将该<第一身份信息，第二身份信息>存储到历史识别信息中，并设置标记值为1。
本实施例实现了对二元组进行标记值的设定，为根据历史识别信息确定身份信息提供了依据。
具体地，在上述内容(1)-(3)的基础上，内容(4)人脸身份识别包括：
1)确定高置信度候选人物列表。按照以下顺序依次进行计算：
1.1)、如果N个待选结果的人物身份部分包含在白名单列表中，则提升包含在白名单中的待选结果的置信度为高置信度，并将其作为高置信度候选结果，跳转到步骤2)进一步确定人物身份。
1.2)、对N个待选结果的人物身份identity进行分组计数，并按照计数结果数值由大到小进行排序，取分组结果中的最大值(可能存在多个并列最大值)，如果分组结果的最大值满足高置信度阈值则将其作为高置信度候选结果，跳转到步骤2)进一步确定人物身份。
1.3)、如果上述条件均不满足，则本次识别结果置信度较低，高置信度候选人物为空，跳转到步骤(7)暂存低置信度识别结果。
2)确定人物身份。对于步骤1)输出的高置信度候选人物身份列表，依次按照以下顺序进行计算：
2.1)使用“投票法”按照少数服从多数的原则确定人物身份，如果识别成功，跳转到步骤(5)，“投票法”的识别过程如图4所示，其中，di是计算得到的高置信度候选结果的欧式距离，identity是di对应的人物身份，m，n，s分别是每个人物身份对应的分组数量，max(m，n，s)结果对应的identity即为最终识别的人物身份。
2.2)如果存在多个人物身份票数并列最高的情况，“投票法”无法确定人物身份，则将候选人物身份两两组合，通过查询<识别成功，误识别>上下文二元组，选择最大计数的二元组代表的人物身份作为识别结果。如果识别成功，跳转到步骤(5)。上下文信息的识别过程如图5所示，其中，di、m、n、s和identity含义同上。<identityi，identityj>是待查询的高置信度候选二元组，max(<identityi，identityj>)结果对应的identityi即为最终识别的人物身份。
2.3)如果无法通过“投票”或者上下文识别结果直接确定人物身份，表示识别结果中存在多个置信度相同的人物身份。则采用平均距离最小原则确定人物身份，识别成功后跳转到步骤(5)。平均距离最小方法计算过程如图6所示，其中，di、m、n、s和identity含义同上。x，y，z分别是identity1、identity2和identity3分组的平均欧式距离。min(x，y，z)结果对应的identity即为最终识别的人物身份。
(5)设置“视频级”的识别白名单。基于步骤(4)的识别结果，如果识别结果对应identity在N个结果中个数满足高置信度阈值条件则更新白名单列表，将identity对应的人物身份添加到白名单，被加入白名单的人物身份在后续识别过程中具有较高的优先级。
(6)设置“视频级”的<识别成功，误识别>上下文二元组。基于步骤(4)的识别结果，构造<识别成功，误识别>二元组保存容易产生误识别的人物对，其中“识别成功”对应于步骤(4)识别结果的identity，“误识别”对应于N个计算结果中除识别成功identity之外的其他identity，二元组计数每更新一次加1。
(7)暂存低置信度识别结果。如果N个待选结果全都不在白名单列表中，且待选结果未达到触发高置信度的阈值条件，则表示本次识别结果置信度较低，且不能借助白名单提升置信度，暂存待选结果至视频识别结束。
(8)重识别暂存的低置信度识别结果。整个视频识别完成后，基于整个视频的识别白名单和<识别成功，误识别>二元组信息，对步骤(7)暂存的所有待选结果，重新执行步骤(4)，如果不满足步骤(4)的条件，则丢弃。
本实施例对传统的人脸识别方法进行改进，改进后的方法适用于影视视频中人物的人脸识别场景。首先，在人脸特征向量匹配方面，计算特征向量的前N个近邻向量作为待选结果；其次，基于N个待选结果判断本次识别结果的置信度，并设置可识别人物白名单；而后，基于N个待选结果中的高置信度结果，使用投票法、上下文辅助法或平均距离最小方法确定人脸身份的归属；最后，当待选结果中存在多个置信度相当的人物身份时，使用<识别成功，误识别>二元组辅助修正识别结果，二元组中保存的是相互之间容易出现误识别的人物身份。本提案的方法增加了人脸识别候选人物的数量，并结合识别结果上下文对后续识别进行修正，有效降低误识别和漏识别，提升识别结果的准确率和召回率。
图7为本实施例提供的人脸图像的识别装置的结构框图，参见图7，该装置包括获取模块701、判断模块702和识别模块703，其中，
获取模块701，用于从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；
判断模块702，用于判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；
识别模块703，用于若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；
其中，所述数据库中包括身份信息与参考图像的对应关系。
本实施例提供的人脸图像的识别装置适用于上述实施例提供的人脸图像的识别方法，在此不再赘述。
本实施例提供的一种人脸图像的识别装置，确定与目标人脸图像相似的相似参考图像后，若相似参考图像对应的身份信息属于白名单，则根据属于白名单的身份信息确定目标人脸图像对应的身份信息。白名单为视频中已识别的人脸图像对应的身份信息。由于视频中各图像之间具有关联性，通过白名单使得对视频中人脸图像的识别，与该视频中其它图像相关联，提高了人脸图像识别的准确率、对质量较差和场景复杂的人脸图像，降低了误识别。
图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；其中，所述数据库中包括身份信息与参考图像的对应关系。
需要说明的是，本实施例中的电子设备在具体实现时可以为服务器，也可以为PC机，还可以为其他设备，只要其结构中包括如图8所示的处理器810、通信接口820、存储器830和通信总线840，其中处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信，且处理器810可以调用存储器830中的逻辑指令以执行上述方法即可。本实施例不对电子设备的具体实现形式进行限定。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；其中，所述数据库中包括身份信息与参考图像的对应关系。
另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的传输方法，例如包括：从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；其中，所述数据库中包括身份信息与参考图像的对应关系。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种人脸图像的识别方法，其特征在于，包括：
从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；
判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；
若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；
其中，所述数据库中包括身份信息与参考图像的对应关系；
若不存在属于白名单的身份信息，则确定在各相似参考图像对应的身份信息中，同一身份信息对应的相似参考图像的第一数量；
获取第一数量大于或等于第一阈值的相似参考图像所对应的身份信息，作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息。
2.根据权利要求1所述的人脸图像的识别方法，其特征在于，还包括：
若不存在大于或等于所述第一阈值的第一数量，则在满足重识别条件后，判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，若是，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息，否则，丢弃所述目标人脸图像；
其中，所述重识别条件为按照所述视频的播放顺序，已经对所述视频的最后一帧人脸图像对应的身份信息进行了识别，或者，所述白名单中新增的身份信息的第二数量大于或等于第二阈值。
3.根据权利要求1或2所述的人脸图像的识别方法，其特征在于，所述根据各待选身份信息识别与所述目标人脸图像对应的身份信息，包括：
确定与各待选身份信息对应的相似参考图像的数量，作为投票数量，若最大的投票数量对应的待选身份信息唯一，则将最大的投票数量对应的待选身份信息作为所述目标人脸图像对应的身份信息；
若最大的投票数量对应的待选身份信息不唯一，则根据历史识别信息和/或相似度信息，确定与所述目标人脸图像对应的身份信息；
其中，历史识别信息包括与各二元组，以及每一二元组对应的标记值，二元组中包括作为识别成功项的身份信息和误识别项的身份信息，标记值根据每次对人脸图像进行身份识别时，各待选身份信息中识别为人脸图像对应身份信息和未识别为人脸图像对应身份信息确定；相似度信息包括对每一待选身份信息，根据待选身份信息对应的各相似参考图像与所述目标人脸图像的相似度确定的平均相似度。
4.根据权利要求3所述的人脸图像的识别方法，其特征在于，所述若最大的投票数量对应的待选身份信息不唯一，则根据历史识别信息和相似度信息，确定与所述目标人脸图像对应的身份信息，包括：
若最大的投票数量对应的待选身份信息不唯一，则以各待选身份信息中的任一待选身份信息作为识别成功项，以另一待选身份信息作为误识别项，确定二元组，得到根据待选身份信息确定的二元组；
根据所述历史识别信息，从根据待选身份信息确定的所有二元组中确定最大的标记值对应的目标二元组，若最大的标记值对应的目标二元组唯一，则将目标二元组中识别成功项对应的身份信息，作为与所述目标人脸图像对应的身份信息；
若最大的标记值对应的目标二元组不唯一，则确定各待选身份信息对应的平均相似度，将最大的平均相似度对应的待选身份信息，作为与所述目标人脸图像对应的身份信息。
5.根据权利要求3所述的人脸图像的识别方法，其特征在于，还包括：
在将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息后，将各待选身份信息中，识别为与所述目标人脸图像对应的身份信息作为第一身份信息，未识别为与所述目标人脸图像对应的身份信息作为第二身份信息；
对每一第二身份信息，判断所述历史识别信息的二元组中，是否存在以所述第一身份信息作为识别成功项，以所述第二身份信息作为误识别项的二元组，若是，则将二元组的标记值增大第一预设数值，否则，将二元组添加到所述历史识别信息中，并设置二元组的标记值为第二预设数值。
6.根据权利要求1所述的人脸图像的识别方法，其特征在于，所述根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像，包括：
确定所述目标人脸图像对应的人脸特征向量，并根据所述人脸特征向量和各参考图像对应的参考特征向量，计算所述目标人脸图像与各参考图像的相似度；
按照相似度由大到小的顺序，获取数量等于第三阈值的参考图像，作为相似参考图像。
7.一种人脸图像的识别装置，其特征在于，包括：
获取模块，用于从视频中获取待识别的目标人脸图像，根据数据库中各参考图像与所述目标人脸图像的相似度，确定相似参考图像；
判断模块，用于判断各相似参考图像对应的身份信息中，是否存在属于白名单的身份信息，其中，所述白名单包括所述视频中已识别的人脸图像对应的身份信息；
识别模块，用于若存在属于白名单的身份信息，则将属于所述白名单的身份信息作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息；
其中，所述数据库中包括身份信息与参考图像的对应关系；
所述人脸图像的识别装置还用于：
若不存在属于白名单的身份信息，则确定在各相似参考图像对应的身份信息中，同一身份信息对应的相似参考图像的第一数量；
获取第一数量大于或等于第一阈值的相似参考图像所对应的身份信息，作为待选身份信息，根据各待选身份信息识别与所述目标人脸图像对应的身份信息。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的人脸图像的识别方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的人脸图像的识别方法的步骤。
CN202010153077.8A 2020-03-06 2020-03-06 一种人脸图像的识别方法、装置、电子设备和存储介质 Active CN111401171B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010153077.8A CN111401171B (zh) 2020-03-06 2020-03-06 一种人脸图像的识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010153077.8A CN111401171B (zh) 2020-03-06 2020-03-06 一种人脸图像的识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111401171A CN111401171A (zh) 2020-07-10
CN111401171B true CN111401171B (zh) 2023-09-22

Family

ID=71432168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010153077.8A Active CN111401171B (zh) 2020-03-06 2020-03-06 一种人脸图像的识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111401171B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200084A (zh) * 2020-10-10 2021-01-08 华航高科(北京)技术有限公司 用于视频流的人脸识别方法、装置、电子设备以及存储介质
CN112699803B (zh) * 2020-12-31 2024-01-16 竹间智能科技（上海）有限公司 人脸识别方法、系统、设备及可读存储介质
CN112948630B (zh) * 2021-02-09 2024-02-06 北京奇艺世纪科技有限公司 列表更新方法、电子设备、存储介质及装置
CN113643461A (zh) * 2021-08-06 2021-11-12 青岛博芬智能科技股份有限公司 用于酒柜的身份识别方法及装置、酒柜和存储介质
CN115659305A (zh) * 2022-12-27 2023-01-31 成都国星宇航科技股份有限公司 一种身份信息识别方法、系统及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611151A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN109145707A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110287889A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 一种身份识别的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104573652B (zh) * 2015-01-04 2017-12-22 华为技术有限公司 确定人脸图像中人脸的身份标识的方法、装置和终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611151A (zh) * 2015-10-23 2017-05-03 杭州海康威视数字技术股份有限公司 一种人脸识别方法及装置
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN106998444A (zh) * 2017-02-14 2017-08-01 北京中科天云科技有限公司 一种大数据人脸监控系统及装置
CN108171207A (zh) * 2018-01-17 2018-06-15 百度在线网络技术（北京）有限公司 基于视频序列的人脸识别方法和装置
CN109145707A (zh) * 2018-06-20 2019-01-04 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
CN110287889A (zh) * 2019-06-26 2019-09-27 银河水滴科技（北京）有限公司 一种身份识别的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱慧玲 ; 邹文洁 ; .二代身份证快速图像识别关键技术研究.科技资讯.2016,(08),全文. *

Also Published As

Publication number Publication date
CN111401171A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111401171B (zh) 一种人脸图像的识别方法、装置、电子设备和存储介质
CN111898547B (zh) 人脸识别模型的训练方法、装置、设备及存储介质
CN109993040B (zh) 文本识别方法及装置
CN110427807B (zh) 一种时序事件动作检测方法
CN107944427B (zh) 动态人脸识别方法及计算机可读存储介质
CN107330397B (zh) 一种基于大间隔相对距离度量学习的行人重识别方法
CN110197502B (zh) 一种基于身份再识别的多目标跟踪方法及系统
WO2017016240A1 (zh) 一种钞票冠字号识别方法
CN111178120B (zh) 一种基于作物识别级联技术的害虫图像检测方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN111444817B (zh) 一种人物图像识别方法、装置、电子设备和存储介质
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
TW202215296A (zh) 車牌辨識系統與方法及提取車牌中複數個字元段的方法
CN111507138A (zh) 图像识别方法、装置、计算机设备及存储介质
CN112818790A (zh) 一种基于注意力机制与空间几何约束的行人重识别方法
CN110825916A (zh) 一种基于形体识别技术的寻人方法
CN109359530B (zh) 一种智能视频监控方法及装置
CN114037886A (zh) 图像识别方法、装置、电子设备和可读存储介质
CN112749605A (zh) 身份识别方法、系统和设备
CN115527168A (zh) 行人重识别方法、存储介质、数据库编辑方法、存储介质
CN115424253A (zh) 车牌识别方法、装置、电子设备和存储介质
CN114913602A (zh) 行为识别方法、装置、设备及存储介质
CN114445691A (zh) 模型训练方法、装置、电子设备及存储介质
CN111382703B (zh) 一种基于二次筛选与分数融合的指静脉识别方法
CN111626173B (zh) 一种更新数据库中人脸特征向量的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant