CN108875533A - 人脸识别的方法、装置、系统及计算机存储介质 - Google Patents

人脸识别的方法、装置、系统及计算机存储介质 Download PDF

Info

Publication number
CN108875533A
CN108875533A CN201810084836.2A CN201810084836A CN108875533A CN 108875533 A CN108875533 A CN 108875533A CN 201810084836 A CN201810084836 A CN 201810084836A CN 108875533 A CN108875533 A CN 108875533A
Authority
CN
China
Prior art keywords
confidence level
face
vector
feature
level vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810084836.2A
Other languages
English (en)
Other versions
CN108875533B (zh
Inventor
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201810084836.2A priority Critical patent/CN108875533B/zh
Publication of CN108875533A publication Critical patent/CN108875533A/zh
Priority to US16/202,975 priority patent/US10832032B2/en
Application granted granted Critical
Publication of CN108875533B publication Critical patent/CN108875533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种人脸识别的方法、装置、系统及计算机存储介质，该方法包括：获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量；获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量；根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。由此可见，本发明实施例中可以基于特征向量和置信度向量共同计算两个人脸之间的相似度，能够避免由于人脸遮挡所导致的特征向量不可用的情形，且该方法所得到的相似度与遮挡状态无关，保证了人脸识别的准确度。

Description

人脸识别的方法、装置、系统及计算机存储介质
技术领域
本发明涉及图像处理领域，更具体地涉及一种人脸识别的方法、装置、系统及计算机存储介质。
背景技术
在人脸识别领域，通常需判断两个人脸是否属于同一人。具体地，通过从人脸提取特征并进行比对来进行判断。然而，由于可能存在人脸遮挡等情形，会导致所提取的特征噪声过大，进一步使得识别的准确率不高。
发明内容
本发明提供了一种人脸识别的方法、装置、系统及计算机存储介质，对具有遮挡的人脸的识别也具有较高的准确率。
根据本发明的一方面，提供了一种人脸识别的方法，所述方法包括：
获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；
获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度；
根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
在本发明的一个实施例中，所述根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人，包括：
计算所述第一置信度向量与所述第二置信度向量之间的重合度；
若所述重合度小于预设阈值，则确定无法判断所述第一人脸与所述第二人脸是否属于同一人；
若所述重合度大于或等于预设阈值，则根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度，并根据所述相似度确定所述第一人脸和所述第二人脸是否属于同一人。
在本发明的一个实施例中，所述计算所述第一置信度向量与所述第二置信度向量之间的重合度，包括：
通过计算所述第一置信度向量与所述第二置信度向量的内积，得到所述重合度。
在本发明的一个实施例中，所述根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度，包括：
根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量，计算所述第一人脸与所述第二人脸之间的距离；
根据所述距离计算所述第一人脸与所述第二人脸之间的相似度。
在本发明的一个实施例中，使用如下公式计算所述距离：
其中，X1表示所述第一特征向量，X2表示所述第二特征向量，Y1表示所述第一置信度向量，Y2表示所述第二置信度向量，<>表示计算内积，*表示按位相乘。
在本发明的一个实施例中，使用如下公式计算所述相似度：
其中，S表示所述相似度，D表示所述距离，A和B为预设参数。
在本发明的一个实施例中，所述获取过程包括：
将所述第一人脸图像输入至训练好的神经网络，得到所述第一特征向量以及所述第一置信度向量；
将所述第二人脸图像输入至所述训练好的神经网络，得到所述第二特征向量以及所述第二置信度向量。
根据本发明的另一方面，提供了一种人脸识别的装置，所述装置用于实现前述方面或各个实施例所述方法的步骤，所述装置包括：
获取模块，用于获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；
还用于获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度；
计算模块，用于根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
根据本发明的又一方面，提供了一种人脸识别的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述方面及各个示例所述的人脸识别的方法的步骤。
根据本发明的再一方面，提供了一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述方面及各个示例所述的人脸识别的方法的步骤。
由此可见，本发明实施例中可以通过置信度向量表示对应的特征向量中各个元素的可信度，进而基于特征向量和置信度向量共同计算两个人脸之间的相似度，能够避免由于人脸遮挡所导致的特征向量不可用的情形，且该方法所得到的相似度与遮挡状态无关，保证了人脸识别的准确度。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明实施例的电子设备的一个示意性框图；
图2是本发明实施例的人脸识别的方法的一个示意性流程图；
图3是本发明实施例的人脸识别的装置的一个示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
本发明实施例可以应用于电子设备，图1所示为本发明实施例的电子设备的一个示意性框图。图1所示的电子设备10包括一个或更多个处理器102、一个或更多个存储装置104、输入装置106、输出装置108、图像传感器110以及一个或更多个非图像传感器114，这些组件通过总线系统112和/或其它形式互连。应当注意，图1所示的电子设备10的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以包括中央处理单元(Central Processing Unit，CPU)1021和图形处理单元(Graphics Processing Unit，GPU)1022或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如现场可编程门阵列(Field－Programmable GateArray，FPGA)或进阶精简指令集机器(Advanced RISC(Reduced Instruction SetComputer)Machine，ARM)等，并且处理器102可以控制所述电子设备10中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或更多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器1041和/或非易失性存储器1042。所述易失性存储器1041例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器1042例如可以包括只读存储器(Read-Only Memory，ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或更多个计算机程序指令，处理器102可以运行所述程序指令，以实现各种期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或更多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或更多个。
所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
当注意，图1所示的电子设备10的组件和结构只是示例性的，尽管图1示出的电子设备10包括多个不同的装置，但是根据需要，其中的一些装置可以不是必须的，其中的一些装置的数量可以更多等等，本发明对此不限定。
图2是本发明实施例的人脸识别的方法的一个示意性流程图。该方法可以由图1所示的电子设备10执行，具体地由处理器102执行。图2所示的方法可以包括：
S110，获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；
S120，获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度；
S130，根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
示例性地，本发明实施例对S110和S120的执行顺序不作限定，例如可以并行执行。
示例性地，图2所示方法还可以包括：获取第一人脸图像和第二人脸图像。第一人脸图像和第二人脸图像可以是由图像采集设备拍摄的包括人脸的原始图像，也可以是经由图像预处理(如去噪、归一化等)之后的人脸图像。例如，使用图像采集设备拍摄第一人脸图像和第二人脸图像，或者从存储器中获取第一人脸图像和第二人脸图像，或者使用图像采集设备拍摄第一人脸图像并从存储器中获取第二人脸图像(例如第二人脸图像为底库图像)。
示例性地，可以通过训练好的神经网络执行S110和S120。具体地，可以将第一人脸图像输入至训练好的神经网络得到第一特征向量和第一置信度向量。可以将第二人脸图像输入至训练好的神经网络得到第二特征向量和第二置信度向量。
可理解，在S110之前，还包括：通过训练得到该神经网络。具体地，可以构建人脸样本图像数据集，其中该数据集中的至少部分样本图像可以具有标注信息，该标注信息包括人脸特征向量及对应的置信度向量。可选地，可以使用已有的特征提取神经网络得到每个样本图像的人脸特征向量，可以基于每个样本图像中的人脸状况(如人脸遮挡状况)标注出对应的置信度向量。将该数据集中的样本图像输入至待训练的神经网络，并通过调整该神经网络的参数优化该神经网络的输出信息与标注信息之间的误差，以训练该神经网络。
其中，数据集中可以包括具有各种各样的人脸遮挡状态的样本图像，例如由于帽子、眼镜、口罩、面具、手或其他物体等对人脸的部分遮挡。
其中，可以基于梯度下降方法优化误差。示例性地，在训练过程中，可以构建损失函数以判断是否已经收敛。作为一例，若使用三元组损失函数(TripletLoss)进行训练，那么对于输入的三张图像A1、A2和A3，损失函数可以定义为基于图像A1和A3的距离与基于图像A1和A2的距离之差，该损失函数可以表示为L＝D(A1,A3)-D(A1,A2)。其中，基于图像A1和A3的距离D(A1,A3)是根据神经网络输出的A1的特征向量和置信度向量以及神经网络输出的A3的特征向量和置信度向量计算得到的；基于图像A1和A2的距离D(A1,A2)是根据神经网络输出的A1的特征向量和置信度向量以及神经网络输出的A2的特征向量和置信度向量计算得到的。具体地计算距离的方式可以参见本说明后续的描述，这里不再详细介绍。
可理解，损失函数也可以是根据神经网络的输出而定义的其他的形式，本发明对此不限定。
本发明实施例对所使用的神经网络的网络结构不作限定，例如可以是ResNet、DenseNet、MobileNet、ShuffleNet、Inception等中的任一种网络结构。
示例性地，还可以采用其他机器学习的方法来实现S110和S120，即还可以采用其他机器学习的方法获取第一人脸的第一特征向量以及与第一置信度向量，并获取第二人脸的第二特征向量以及第二置信度向量。本发明实施例对此不作限定。
其中，第一特征向量与第一置信度向量具有相同的维度，假设为N。那么第一置信度向量的某元素表示相同位置处的第一特征向量的元素的置信度。具体地，假设第一特征向量表示为X1，第一置信度向量表示为Y1，则Y1的第i个元素y1i表示X1的第i个元素x1i的置信度，置信度也可以称为可信度，表示对应元素是真实人脸特征的概率。例如，x1i表示第一人脸图像中第i位置处的特征，y1i＝1表示该特征x1i是第一人脸图像中第一人脸上的特征，即第i位置处是不存在遮挡的人脸位置；y1i＝0表示该特征x1i不是第一人脸图像中第一人脸上的特征，即该特征x1i是第一人脸上遮挡物的特征，即第i位置处是存在遮挡的人脸位置。应理解，这里的第一特征向量、第一置信度向量均为实数向量，即其每个元素均为实数；并且Y1的每个元素均为区间[0,1]之间的值。
同样地，第二特征向量与对应的第二置信度向量也具有相同的维度，假设为N。那么第二置信度向量的某元素表示相同位置处的第二特征向量的元素的置信度。具体地，假设第二特征向量表示为X2，第二置信度向量表示为Y2，则Y2的第i个元素y2i表示X2的第i个元素x2i的置信度，置信度也可以称为可信度，表示对应元素是真实人脸特征的概率。应理解，这里的第二特征向量、第二置信度向量均为实数向量，即其每个元素均为实数；并且Y2的每个元素均为区间[0,1]之间的值。
另外，置信度向量也可以理解为表征所对应的特征向量的噪声大小，具体地，置信度向量的某个元素越小，表示其对应的特征向量的同位置元素的噪声越大。
进一步地，在S130中，可以根据第一置信度向量和第二置信度向量判断第一人脸与第二人脸是否具有可比性；如果确定具有可比性，则可以进一步根据第一特征向量和第二特征向量计算第一人脸与第二人脸之间的相似度，否则则停止人脸识别过程或者更换场景重新执行S110和S120。其中，不具有可比性是指无需计算第一人脸与第二人脸之间的相似度，在此时即使通过某种方法计算出了第一人脸与第二人脸之间的相似度，该计算得到的相似度对于人脸识别不具有参考价值；也就是说，不具有可比性是指无法判断第一人脸与第二人脸是否属于同一人。其中，具有可比性是指可以进一步计算第一人脸与第二人脸之间的相似度，并用于判断两者是否属于同一人。
示例性地，可以根据第一置信度向量与第二置信度向量的重合度来判断是否具有可比性。可选地，可以通过计算两个置信度向量的内积来确定这两个置信度向量的可信维度的重合度。
由此可见，本发明实施例可以根据两个置信度向量来判断是否具有可比性，能够避免由于不具有可比性导致的识别结果不准确。
可选地，可以计算所述第一置信度向量与所述第二置信度向量之间的重合度；若所述重合度小于预设阈值，则确定无法判断所述第一人脸与所述第二人脸是否属于同一人；若所述重合度大于或等于所述预设阈值，则根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度；并根据所述相似度确定所述第一人脸和所述第二人脸是否属于同一人。
其中，作为一例，如果置信度向量中的元素取值为0或1，则两个置信度向量的重合度是指取值均为1的相同位置的个数；或者，可以计算两个置信度向量的内积来得到该重合度。作为另一例，如果置信度向量中的元素取值为[0,1]，则可以计算两个置信度向量的内积来得到该重合度。向量的内积计算是指对应元素相乘后再求和，假设将第一置信度向量表示为Y1，第二置信度向量表示为Y2，且两者的维度均为N，则计算得到的内积为：其中，y1i表示Y1的第i个元素，y2i表示Y2的第i个元素。
其中，预设阈值可以是一个经验值，其可以根据场景进行相应的调整，本发明对此不限定。
可选地，计算所述第一人脸与所述第二人脸之间的相似度，可以包括：根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量，计算所述第一人脸与所述第二人脸之间的距离；根据所述距离计算所述第一人脸与所述第二人脸之间的相似度。
作为一例，可以将所述计算得到的距离直接作为相似度。
作为另一例，可以在得到距离的基础上再计算得到相似度，如可以采用下式计算相似度：其中，S表示所述相似度，D表示所述距离，A和B为预设参数。其中，A和B可以是根据经验得到的固定参数，本发明对此不限定。
可选地，所计算的距离可以称为基于第一人脸图像和第二人脸图像的距离。可以根据第一特征向量、第一置信度向量、第二特征向量和第二置信度向量来计算该距离。在计算该距离时，由于同时考虑了置信度这个因素，使得最终计算得到的距离可以与第一人脸和第二人脸的遮挡状态无关，从而使得对于人脸识别的结果更加准确。
具体地，可以通过下式计算第一特征向量与第二特征向量之间的距离：其中，X1表示所述第一特征向量，X2表示所述第二特征向量，Y1表示所述第一置信度向量，Y2表示所述第二置信度向量，<>表示计算内积，*表示按位相乘。按位相乘是指将两个向量的相同位置处的元素相乘。例如，M＝M1*M2，满足Mi＝M1i×M2i，其中，Mi,M1i,M2i分别表示M、M1和M2的第i个元素。
示例性地，上式也可以表示为其中，K1、K2、Y1、Y2为同维度向量，K1·K2表示K1与K2的内积(即点乘)，Y1·Y2表示Y1与Y2的内积(即点乘)。并且K1、K2的元素满足：K1i＝(X1i-X2i)×Y1i，K2i＝(X1i-X2i)×Y2i。其中，X1i、X2i、Y1i、Y2i、K1i、K2i分别表示向量X1、X2、Y1、Y2、K1、K2的第i个元素。
由此便可以在第一置信度向量与第二置信度向量之间的重合度大于或等于预设阈值时，通过计算距离，得到第一人脸与第二人脸之间的相似度。进一步地，可以根据计算得到的相似度，判断第一人脸与第二人脸是否属于同一人，例如，若计算得到的相似度大于或等于相似度阈值，则确定第一人脸与第二人脸属于同一人；反之不属于同一人。
为了更清楚地理解上述实施例，下面举例进行描述。
假设第一人脸在无遮挡情况下的第一特征向量为(0.5,0.5,0.5,0.5,0.5)，第一置信度向量为(1,1,1,1,1)。假设第二人脸在无遮挡情况下的第二特征向量为(0,1,0,1,0)，第二置信度向量为(1,1,1,1,1)。此时两个置信度向量的重合度为5，根据上式计算得到第一特征向量与第二特征向量之间的距离为0.25。也就是说，在第一人脸和第二人脸均无遮挡时，距离为0.25。
若第一人脸和第二人脸均有不同程度的遮挡，假设第一人脸遮挡了上半边脸，对第一特征向量的前两个维度特征带来了极大的噪声，遮挡后的第一特征向量为(0,1,0.5,0.5,0.5)，第一置信度向量为(0,0,1,1,1)。假设第二人脸遮挡了下半边脸，对第二特征向量的后两个维度特征带来了极大的噪声，遮挡后的第二特征向量为(0,1,0,0.5,0.5)，第二置信度向量为(1,1,1,0,0)。此时计算两个置信度向量的重合度为1。若预设阈值大于1，如为2或3，则由于重合度小于预设阈值，此时第一人脸与第二人脸不具有可比性，无需计算距离。若预设阈值小于1，如为0.5或0.8，则由于重合度大于预设阈值，可以计算得到距离为0.25。也就是说，在第一人脸和第二人脸均有部分遮挡时，距离依然为0.25。
由此可见，对于相同的两个人脸，在不同的遮挡状态下所计算的距离是不变的。即本发明实施例中结合置信度所计算的距离与遮挡状态无关，也就是说，不会由于人脸遮挡导致所计算的距离改变，这样对于人脸识别的准确度更高。
图3是本发明实施例的人脸识别的装置的一个示意性框图。图3所示的装置30包括：获取模块310和判断模块320。
获取模块310，用于获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；还用于获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度。
判断模块320，用于根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
示例性地，判断模块320可以包括计算子模块3210和确定子模块3220。计算子模块3210用于计算所述第一置信度向量与所述第二置信度向量之间的重合度。若计算子模块3210计算的所述重合度小于预设阈值，则确定子模块3220确定无法判断所述第一人脸与所述第二人脸是否属于同一人。若计算子模块3210计算的所述重合度大于或等于所述预设阈值，则由计算子模块3210根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度，并由确定子模块3220根据所述相似度确定所述第一人脸和所述第二人脸是否属于同一人。
示例性地，计算子模块3210可以具体用于：通过计算所述第一置信度向量与所述第二置信度向量的内积，得到所述重合度。
示例性地，计算子模块3210可以具体用于：根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量，计算所述第一人脸与所述第二人脸之间的距离；根据所述距离计算所述第一人脸与所述第二人脸之间的相似度。
其中，计算子模块3210可以具体用于使用如下公式计算所述距离：
其中，X1表示所述第一特征向量，X2表示所述第二特征向量，Y1表示所述第一置信度向量，Y2表示所述第二置信度向量，<>表示计算内积，*表示按位相乘。
可选地，上式也可以表示为其中，K1、K2、Y1、Y2为同维度向量，K1·K2表示K1与K2的内积(即点乘)，Y1·Y2表示Y1与Y2的内积(即点乘)。并且K1、K2的元素满足：K1i＝(X1i-X2i)×Y1i，K2i＝(X1i-X2i)×Y2i。其中，X1i、X2i、Y1i、Y2i、K1i、K2i分别表示向量X1、X2、Y1、Y2、K1、K2的第i个元素。
其中，计算子模块3210可以具体用于使用如下公式计算所述相似度：
其中，S表示所述相似度，D表示所述距离，A和B为预设参数。
示例性地，确定子模块3220可以具体用于：若所述相似度大于或等于相似度阈值，则确定所述第一人脸与所述第二人脸属于同一人；若所述相似度小于所述相似度阈值，则确定所述第一人脸与所述第二人脸不属于同一人。
示例性地，获取模块310可以具体用于：将所述第一人脸图像输入至训练好的神经网络，得到所述第一特征向量以及所述第一置信度向量；将所述第二人脸图像输入至所述训练好的神经网络，得到所述第二特征向量以及所述第二置信度向量。
示例性地，还可以包括训练模块，用于根据人脸样本数据集通过训练的到所述训练好的神经网络。
图3所示的装置30能够实现前述图2所示的人脸识别的方法，为避免重复，这里不再赘述。
另外，本发明实施例还提供了另一种人脸识别的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，处理器执行所述程序时实现前述图2所示的人脸识别的方法的步骤。
另外，本发明实施例还提供了一种电子设备，该电子设备可以包括图3所示的装置30。该电子设备可以实现前述图2所示的人脸识别的方法。
另外，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述图2所示的人脸识别的方法的步骤。例如，该计算机存储介质为计算机可读存储介质。
本发明实施例提供了一种人脸识别的方法、装置、系统、电子设备和计算机存储介质，可以通过置信度向量表示对应的特征向量中各个元素的可信度，进而基于特征向量和置信度向量共同计算两个人脸之间的相似度，能够避免由于人脸遮挡所导致的特征向量不可用的情形，且该方法所得到的相似度与遮挡状态无关，保证了人脸识别的准确度。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processing，DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种人脸识别的方法，其特征在于，所述方法包括：
获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；
获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度；
根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人，包括：
计算所述第一置信度向量与所述第二置信度向量之间的重合度；
若所述重合度小于预设阈值，则确定无法判断所述第一人脸与所述第二人脸是否属于同一人；
若所述重合度大于或等于所述预设阈值，则根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度，并根据所述相似度确定所述第一人脸和所述第二人脸是否属于同一人。
3.根据权利要求2所述的方法，其特征在于，所述计算所述第一置信度向量与所述第二置信度向量之间的重合度，包括：
通过计算所述第一置信度向量与所述第二置信度向量的内积，得到所述重合度。
4.根据权利要求2所述的方法，其特征在于，所述根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量计算所述第一人脸与所述第二人脸之间的相似度，包括：
根据所述第一置信度向量、所述第一特征向量、所述第二置信度向量和所述第二特征向量，计算所述第一人脸与所述第二人脸之间的距离；
根据所述距离计算所述第一人脸与所述第二人脸之间的相似度。
5.根据权利要求4所述的方法，其特征在于，使用如下公式计算所述距离：
其中，X1表示所述第一特征向量，X2表示所述第二特征向量，Y1表示所述第一置信度向量，Y2表示所述第二置信度向量，<>表示计算内积，*表示按位相乘。
6.根据权利要求4或5所述的方法，其特征在于，使用如下公式计算所述相似度：
其中，S表示所述相似度，D表示所述距离，A和B为预设参数。
7.根据权利要求1至5中任一项所述的方法，其特征在于，所述获取过程包括：
将所述第一人脸图像输入至训练好的神经网络，得到所述第一特征向量以及所述第一置信度向量；
将所述第二人脸图像输入至所述训练好的神经网络，得到所述第二特征向量以及所述第二置信度向量。
8.一种人脸识别的装置，其特征在于，所述装置用于实现权利要求1至7中任一项所述方法的步骤，所述装置包括：
获取模块，用于获取第一人脸图像中的第一人脸的第一特征向量以及与所述第一特征向量具有相同维度的第一置信度向量，其中，所述第一置信度向量中的元素用于指示所述第一特征向量中的对应元素所表示的特征的可信度；
还用于获取第二人脸图像中的第二人脸的第二特征向量以及与所述第二特征向量具有相同维度的第二置信度向量，其中，所述第二置信度向量中的元素用于指示所述第二特征向量中的对应元素所表示的特征的可信度；
计算模块，用于根据所述第一特征向量、所述第一置信度向量、所述第二特征向量和所述第二置信度向量，判断所述第一人脸与所述第二人脸是否属于同一人。
9.一种人脸识别的系统，包括存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
CN201810084836.2A 2018-01-29 2018-01-29 人脸识别的方法、装置、系统及计算机存储介质 Active CN108875533B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810084836.2A CN108875533B (zh) 2018-01-29 2018-01-29 人脸识别的方法、装置、系统及计算机存储介质
US16/202,975 US10832032B2 (en) 2018-01-29 2018-11-28 Facial recognition method, facial recognition system, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810084836.2A CN108875533B (zh) 2018-01-29 2018-01-29 人脸识别的方法、装置、系统及计算机存储介质

Publications (2)

Publication Number Publication Date
CN108875533A true CN108875533A (zh) 2018-11-23
CN108875533B CN108875533B (zh) 2021-03-05

Family

ID=64325984

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810084836.2A Active CN108875533B (zh) 2018-01-29 2018-01-29 人脸识别的方法、装置、系统及计算机存储介质

Country Status (2)

Country Link
US (1) US10832032B2 (zh)
CN (1) CN108875533B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657623A (zh) * 2018-12-21 2019-04-19 湖南星汉数智科技有限公司 一种人脸图像相似度计算方法、装置、计算机装置及计算机可读存储介质
CN109726756A (zh) * 2018-12-25 2019-05-07 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111639545A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN111860343A (zh) * 2020-07-22 2020-10-30 杭州海康威视数字技术股份有限公司 确定人脸对比结果的方法及装置
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114255381B (zh) * 2021-12-23 2023-05-12 北京瑞莱智慧科技有限公司 图像识别模型的训练方法、图像识别方法、装置及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
US8471889B1 (en) * 2010-03-11 2013-06-25 Sprint Communications Company L.P. Adjusting an image for video conference display
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN105095856A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于掩膜的有遮挡人脸识别方法
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070086627A1 (en) * 2005-10-18 2007-04-19 Samsung Electronics Co., Ltd. Face identification apparatus, medium, and method
CN212846789U (zh) * 2017-08-01 2021-03-30 苹果公司 电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101398886A (zh) * 2008-03-17 2009-04-01 杭州大清智能技术开发有限公司 一种基于双目被动立体视觉的快速三维人脸识别方法
US8471889B1 (en) * 2010-03-11 2013-06-25 Sprint Communications Company L.P. Adjusting an image for video conference display
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控系统及方法
CN105095856A (zh) * 2015-06-26 2015-11-25 上海交通大学 基于掩膜的有遮挡人脸识别方法
CN104899579A (zh) * 2015-06-29 2015-09-09 小米科技有限责任公司 人脸识别方法和装置
CN106803067A (zh) * 2016-12-28 2017-06-06 浙江大华技术股份有限公司 一种人脸图像质量评估方法及装置
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN107292287A (zh) * 2017-07-14 2017-10-24 深圳云天励飞技术有限公司 人脸识别方法、装置、电子设备及存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109657623A (zh) * 2018-12-21 2019-04-19 湖南星汉数智科技有限公司 一种人脸图像相似度计算方法、装置、计算机装置及计算机可读存储介质
CN109657623B (zh) * 2018-12-21 2021-07-23 湖南星汉数智科技有限公司 一种人脸图像相似度计算方法、装置、计算机装置及计算机可读存储介质
CN109726756A (zh) * 2018-12-25 2019-05-07 北京旷视科技有限公司 图像处理方法、装置、电子设备及存储介质
CN110009052A (zh) * 2019-04-11 2019-07-12 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN110009052B (zh) * 2019-04-11 2022-11-18 腾讯科技（深圳）有限公司 一种图像识别的方法、图像识别模型训练的方法及装置
CN111191533A (zh) * 2019-12-18 2020-05-22 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111191533B (zh) * 2019-12-18 2024-03-19 北京迈格威科技有限公司 行人重识别的处理方法、装置、计算机设备和存储介质
CN111639545A (zh) * 2020-05-08 2020-09-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN111639545B (zh) * 2020-05-08 2023-08-08 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN111860343A (zh) * 2020-07-22 2020-10-30 杭州海康威视数字技术股份有限公司 确定人脸对比结果的方法及装置
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质

Also Published As

Publication number Publication date
US20190236336A1 (en) 2019-08-01
US10832032B2 (en) 2020-11-10
CN108875533B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN108875533A (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
CN109376631B (zh) 一种基于神经网络的回环检测方法及装置
CN109523581B (zh) 一种三维点云对齐的方法和装置
CN108875493A (zh) 人脸识别中相似度阈值的确定方法以及确定装置
CN108875534A (zh) 人脸识别的方法、装置、系统及计算机存储介质
CN108932456A (zh) 人脸识别方法、装置和系统及存储介质
CN107633526A (zh) 一种图像跟踪点获取方法及设备、存储介质
EP3540574B1 (en) Eye tracking method, electronic device, and non-transitory computer readable storage medium
CN108875529A (zh) 人脸空间定位方法、装置、系统及计算机存储介质
CN111598038B (zh) 脸部特征点检测方法、装置、设备及存储介质
CN108875526B (zh) 视线检测的方法、装置、系统及计算机存储介质
CN108734057A (zh) 活体检测的方法、装置及计算机存储介质
CN108875474A (zh) 评估人脸识别算法的方法、装置及计算机存储介质
CN108062544A (zh) 用于人脸活体检测的方法和装置
CN110659570A (zh) 目标对象姿态跟踪方法、神经网络的训练方法及装置
CN108875519A (zh) 对象检测方法、装置和系统及存储介质
CN108875509A (zh) 活体检测方法、装置和系统及存储介质
CN109977764A (zh) 基于平面检测的活体识别方法、装置、终端及存储介质
CN110428394A (zh) 用于目标移动侦测的方法、装置及计算机存储介质
CN110533184B (zh) 一种网络模型的训练方法及装置
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN110188602A (zh) 视频中的人脸识别方法及装置
CN110490058A (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
US9672412B2 (en) Real-time head pose tracking with online face template reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant