CN108416323B - 用于识别人脸的方法和装置 - Google Patents

用于识别人脸的方法和装置 Download PDF

Info

Publication number
CN108416323B
CN108416323B CN201810257454.5A CN201810257454A CN108416323B CN 108416323 B CN108416323 B CN 108416323B CN 201810257454 A CN201810257454 A CN 201810257454A CN 108416323 B CN108416323 B CN 108416323B
Authority
CN
China
Prior art keywords
feature vector
face
feature
face image
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810257454.5A
Other languages
English (en)
Other versions
CN108416323A (zh
Inventor
何涛
刘文献
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810257454.5A priority Critical patent/CN108416323B/zh
Publication of CN108416323A publication Critical patent/CN108416323A/zh
Application granted granted Critical
Publication of CN108416323B publication Critical patent/CN108416323B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了用于识别人脸的方法和装置。该方法的一具体实施方式包括：获取第一人脸图像和第二人脸图像，其中，第一人脸图像和第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像；将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，特征提取模型用于提取图像特征；融合第一特征向量和第二特征向量，得到融合特征向量；根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，其中，人脸特征库用于表征特征向量与用户标识之间的对应关系。该实施方式实现了提高了人脸识别的准确率。

Description

用于识别人脸的方法和装置
技术领域
本申请实施例涉及计算机技术领域，具体涉及计算机视觉技术领域，尤其涉及用于识别人脸的方法和装置。
背景技术
在人脸识别中，大都采用可见光照片来进行人脸识别。然而，在光线不好的情况下，如果仅仅依靠可见光照片来进行人脸识别，可能会造成人脸识别的识别率较低或者识别失败。
发明内容
本申请实施例提出了用于识别人脸的方法和装置。
第一方面，本申请实施例提供了一种用于识别人脸的方法，该方法包括：获取第一人脸图像和第二人脸图像，其中，第一人脸图像和第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像；将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，特征提取模型用于提取图像特征；融合第一特征向量和第二特征向量，得到融合特征向量；根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，其中，人脸特征库用于表征特征向量与用户标识之间的对应关系。
在一些实施例中，融合第一特征向量和第二特征向量，得到融合特征向量，包括：将第一特征向量和第二特征向量输入预设双线性模型，得到融合特征向量。
在一些实施例中，融合第一特征向量和第二特征向量，得到融合特征向量，包括：拼接第一特征向量和第二特征向量，得到融合特征向量。
在一些实施例中，特征提取模型为卷积神经网络。
在一些实施例中，根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，包括：将预设人脸特征库中与融合特征向量的距离最小的特征向量确定为第三特征向量；响应于确定第三特征向量与融合特征向量之间的距离小于预设距离阈值，将人脸特征库中与第三特征向量对应的用户标识确定为与待识别人脸对应的用户标识。
在一些实施例中，根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，还包括：响应于确定第三特征向量与融合特征向量之间的距离不小于预设距离阈值，生成用于指示识别待识别人脸失败的失败提示信息。
第二方面，本申请实施例提供了一种用于识别人脸的装置，该装置包括：获取单元，配置用于获取第一人脸图像和第二人脸图像，其中，第一人脸图像和第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像；输入单元，配置用于将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，特征提取模型用于提取图像特征；融合单元，配置用于融合第一特征向量和第二特征向量，得到融合特征向量；识别单元，配置用于根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，其中，人脸特征库用于表征特征向量与用户标识之间的对应关系。
在一些实施例中，融合单元进一步用于：将第一特征向量和第二特征向量输入预设双线性模型，得到融合特征向量。
在一些实施例中，融合单元进一步用于：拼接第一特征向量和第二特征向量，得到融合特征向量。
在一些实施例中，特征提取模型为卷积神经网络。
在一些实施例中，识别单元包括：第一确定模块，配置用于将预设人脸特征库中与融合特征向量的距离最小的特征向量确定为第三特征向量；第二确定模块，配置用于响应于确定第三特征向量与融合特征向量之间的距离小于预设距离阈值，将人脸特征库中与第三特征向量对应的用户标识确定为与待识别人脸对应的用户标识。
在一些实施例中，识别单元还包括：第三确定模块，配置用于响应于确定第三特征向量与融合特征向量之间的距离不小于预设距离阈值，生成用于指示识别待识别人脸失败的失败提示信息。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
本申请实施例提供的用于识别人脸的方法和装置，通过融合两种类型的相机采集的人脸图像的特征，得到融合特征，再根据融合特征与预设人脸特征库中各特征之间的距离进行人脸识别。由于融合了两种类型的相机采集的人脸图像特征，不再单纯使用可见光图像来进行人脸识别，从而提高了人脸识别的准确率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的用于识别人脸的方法的一个实施例的流程图；
图3是根据本申请的用于生成人脸特征库的注册步骤的一个实施例的流程图；
图4是根据本申请的用于识别人脸的方法的又一个实施例的流程图；
图5是根据本申请的用于识别人脸的装置的一个实施例的结构示意图；
图6是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的用于识别人脸的方法或用于识别人脸的装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如深度图像采集类应用、红外图像采集类应用、可见光图像采集类应用、图像处理类应用、人脸识别类应用、搜索类应用等。
终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供深度图像采集服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的第一人脸图像和第二人脸图像进行人脸识别的人脸识别服务器。人脸识别服务器可以对接收到的第一人脸图像和第二人脸图像等数据进行分析等处理，并将处理结果(例如，用户标识)反馈给终端设备。
需要说明的是，本申请实施例所提供的用于识别人脸的方法一般由服务器105执行，相应地，用于识别人脸的装置一般设置于服务器105中。
需要指出的是，服务器105的本地也可以直接存储第一人脸图像和第二人脸图像，服务器105可以直接提取本地的第一人脸图像和第二人脸图像进行人脸识别，此时，示例性系统架构100可以不包括终端设备101、102、103和网络104。
还需要指出的是，终端设备101、102、103中也可以安装有人脸识别类应用，终端设备101、102、103也可以基于第一人脸图像和第二人脸图像进行人脸识别，此时，用于识别人脸的方法也可以由终端设备101、102、103执行，相应地，用于识别人脸的装置也可以设置于终端设备101、102、103中。此时，示例性系统架构100也可以不包括服务器105和网络104。
需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块(例如用来提供人脸识别服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，其示出了根据本申请的用于识别人脸的方法的一个实施例的流程200。该用于识别人脸的方法，包括以下步骤：
步骤201，获取第一人脸图像和第二人脸图像。
在本实施例中，用于识别人脸的方法的执行主体(例如图1所示的服务器)可以获取第一人脸图像和第二人脸图像。其中，第一人脸图像和第二人脸图像可以分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像。这里，第一相机类型不同于第二相机类型，第一相机类型和第二相机类型可以分别是预设相机类型集合中的相机类型。这里，预设相机类型集合可以包括但不限于：可见光相机类型、红外相机类型和深度相机类型。
例如，第一相机类型和第二相机类型可以分别是可见光相机类型和红外相机类型，或者也可以分别是可见光相机类型和深度相机类型，或者还可以分别是红外相机类型和深度相机类型。
这里，上述第一人脸图像和第二人脸图像可以是与上述执行主体(例如图1所示的服务器)通信连接的终端设备(例如图1所示的终端设备101、102、103)通过有线连接方式或无线连接方式上传至上述执行主体中的。这时，与上述执行主体通信连接的终端设备(比如，手机)中可以安装有第一相机类型的相机和第二相机类型的相机。当上述终端设备上的人脸识别功能被触发时，上述终端设备上安装的第一相机类型的相机和第二相机类型的相机被打开并同时拍摄用户的人脸图像，得到第一人脸图像和第二人脸图像并发送到上述执行主体。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
上述第一人脸图像和第二人脸图像也可以是上述执行主体本地所存储的。例如，当上述执行主体为终端设备时，那么终端设备中可以安装有第一相机类型的相机和第二相机类型的相机。当上述终端设备上的人脸识别功能被触发时，上述终端设备上安装的第一相机类型的相机和第二相机类型的相机被打开并同时拍摄用户的人脸图像，得到第一人脸图像和第二人脸图像，然后上述第一人脸图像和第二人脸图像被存储到终端设备本地，这样，终端设备可以本地获取上述第一人脸图像和第二人脸图像。
步骤202，将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量。
在本实施例中，上述执行主体(例如图1所示的服务器)可以将步骤201所获取的第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量。
其中，特征提取模型可以是各种用于提取图像特征的模型。这里的图像特征也可以是各种特征，包括但不限于颜色特征、纹理特征、二维形状特征、二维空间关系特征、三维形状特征、三维空间关系特征、脸型特征、五官的形状特征、五官的位置及比例特征等等。
在本实施例的一些可选的实现方式中，特征提取模型可以是卷积神经网络。这里，卷积神经网络(Convolutional Neural Network，CNN)可以包括至少一个卷积层和至少一个池化层，其中，卷积层可以用于提取图像特征，池化层可以用于对输入的信息进行下采样(Down Sample)。实践中，卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于图像处理有出色表现，因而，可以利用卷积神经网络进行图像特征的提取，图像的特征可以是图像的各种基本要素(例如颜色、线条、纹理等)。此处，与第一人脸图像和第二人脸图像分别对应的第一特征向量和第二特征向量可以分别用于对第一人脸图像和第二人脸图像中的特征进行表征，同时实现对第一人脸图像和第二人脸图像进行降维，以减少后期计算量。实践中，上述卷积神经网络还可以包括激活函数层，激活函数层使用各种非线性激活函数(例如ReLU(Rectified Linear Units，修正线性单元)函数、Sigmoid函数等)对输入的信息进行非线性计算。
步骤203，融合第一特征向量和第二特征向量，得到融合特征向量。
在本实施例中，为了得到不同相机类型的相机所采集的待识别人脸的图像特征，上述执行主体可以采用各种实现方式将步骤202中得到的第一特征向量和第二特征向量进行融合，得到融合特征向量。
在本实施例的一些可选的实现方式中，上述执行主体可以拼接第一特征向量和第二特征向量，得到融合特征向量。例如，可以将第二特征向量的各个分量拼接在第一特征向量的各个分量之后，或者，也可以将第一特征向量的各个分量拼接在第二特征向量的各个分量之后。
在本实施例的一些可选的实现方式中，上述执行主体也可以对于融合特征向量中的每个分量，按照与该分量对应的公式，对第一特征向量和第二特征向量进行计算以得到该分量的取值，其中，与该分量对应的公式可以是技术人员基于对大量数据的统计而预先设置并存储至上述电子设备中的、对第一特征向量和第二特征向量中的各个分量进行计算以得到该分量的取值的计算公式。
步骤204，根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识。
在本实施例中，上述执行主体可以采用各种实现方式，根据步骤203中融合得到的融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识。其中，上述人脸特征库用于表征特征向量与用户标识之间的对应关系。
这里，两个向量之间的距离可以包括但不限于欧氏距离、曼哈顿距离、切比雪夫距离、闵可夫斯基距离、标准化欧氏距离、马氏距离、夹角余弦、汉明距离、杰卡德距离、相关距离和信息熵，以及其他现在已知或者未来开发的向量之间的距离。
这里，用户标识用于对用户身份进行表征。例如，用户标识可以是用户的姓名或者注册帐户名等等。
在本实施例的一些可选的实现方式中，步骤204可以如下进行：将预设人脸特征库中与融合特征向量的距离最小的特征向量对应的用户标识确定为与待识别人脸对应的用户标识。
在本实施例的一些可选的实现方式中，步骤204也可以如下进行：在上述预设人脸特征库中按照特征向量与融合特征向量的距离从小到大的顺序选取预设数目个用户标识，并将所选取的预设数目个用户标识，确定为与待识别人脸对应的用户标识。
在本实施例的一些可选的实现方式中，步骤204还可以如下进行：
首先，将预设人脸特征库中与融合特征向量的距离最小的特征向量确定为第三特征向量。
其次，确定第三特征向量与融合特征向量之间的距离是否小于预设距离阈值。响应于确定小于预设距离阈值，则将预设人脸特征库中与第三特征向量对应的用户标识确定为与待识别人脸对应的用户标识。
可选地，上述执行主体还可以响应于确定第三特征向量与融合特征向量之间的距离不小于预设距离阈值，生成用于指示识别待识别人脸失败的失败提示信息。可以理解的是，还可以在上述执行主体本地呈现上述失败提示信息或者将上述失败提示信息发送给与上述执行主体通信连接的终端设备。这样，上述执行主体或者终端设备的用户可以接收到上述失败提示信息，从而可以引导用户重新拍摄照片并再次发起人脸识别请求。
这里，对于上述人脸特征库中每个特征向量和对应的用户标识可以是通过注册步骤得到的。请参考图3，图3示出了根据本申请的用于生成预设人脸特征库的注册步骤的一个实施例的流程300。该注册步骤可以包括以下步骤：
步骤301，获取目标用户标识所指示的目标用户的第一注册人脸图像和第二注册人脸图像。
这里，目标用户既可以是新注册用户，也可以是已注册用户。
其中，目标用户的第一注册人脸图像和第二注册人脸图像可以分别是采用第一相机类型的相机和第二相机类型的相机拍摄目标用户的人脸所得到的图像。
步骤302，将第一注册人脸图像和第二注册人脸图像分别输入预先训练的特征提取模型，得到第一注册特征向量和第二注册特征向量。
步骤303，融合第一注册特征向量和第二注册特征向量，得到融合注册特征向量。
步骤304，将融合注册特征向量和目标用户标识对应存储到人脸特征库中。
可以理解的是，当目标用户标识是新注册用户时，可以将融合注册特征向量和目标用户标识添加到上述人脸特征库中。当目标用户标识是已注册用户时，可以基于融合注册特征向量和上述人脸特征库中与目标用户标识对应的特征向量，生成更新用特征向量，并用所生成的更新用特征向量更新上述人脸特征库中与目标用户标识对应的特征向量。例如，可以直接使用融合注册特征向量更新上述人脸特征库中与目标用户标识对应的特征向量。也可以首先对融合注册特征向量和上述人脸特征库中与目标用户标识对应的特征向量进行线性加权，得到加权特征向量，然后用加权特征向量更新上述人脸特征库中与目标用户标识对应的特征向量。
需要说明的是，这里，预先训练的特征提取模型可以是基于大量的训练样本，采用机器学习方法预先训练得到的，其中，每个训练样本可以包括采用第一相机类型的相机和第二相机类型的相机分别拍摄样本用户的人脸所得到的第一样本人脸图像和第二样本人脸图像以及用于指示样本用户的身份的样本用户标识。作为示例，下面给出一种预先训练特征提取模型的方法：
首先，可以获取训练样本集，其中，每个训练样本可以包括采用第一相机类型的相机和第二相机类型的相机分别拍摄样本用户的人脸所得到的第一样本人脸图像和第二样本人脸图像以及用于指示样本用户的身份的样本用户标识。
然后，可以确定初始特征提取模型的模型结构以及初始化初始特征提取模型的模型参数。
接着，可以将训练样本集按照样本用户标识划分成多个训练样本子集，每个训练样本子集中的样本用户标识相同，不同训练样本子集中的样本用户标识不同。
之后，可以对于每个训练样本子集，执行以下参数调整步骤：
参数调整第一步，将该训练样本子集中的每个训练样本中的第一样本人脸图像和第二样本人脸图像分别输入初始特征提取模型，得到第一样本特征向量和第二样本特征向量，以及融合所得到的第一样本特征向量和第二样本特征向量，得到与该训练样本对应的样本融合特征向量。
参数调整第二步，利用预设的损失函数(例如，L1范数或者L2范数)计算该训练样本子集中的任两个训练样本对应的样本融合特征向量之间的差异，以及基于计算所得的差异调整上述初始特征提取模型的模型参数，并在满足预设的训练结束条件的情况下，结束训练。例如，这里预设的训练结束条件可以包括但不限于：训练时间超过预设时长；训练次数超过预设次数；计算所得的差异小于预设差异阈值。
这里，可以采用各种实现方式基于计算所得的差异调整上述初始特征提取模型的模型参数。例如，可以采用BP(Back Propagation，反向传播)算法或者SGD(StochasticGradient Descent，随机梯度下降)算法来调整初始神经网络的网络参数。
最后，可以将参数调整之后的初始特征提取模型确定为预先训练的特征提取模型。
本申请的上述实施例提供的用于识别人脸的方法通过融合两种类型的相机采集的人脸图像的特征，得到融合特征，再根据融合特征与预设人脸特征库中各特征向量之间的距离进行人脸识别。由于融合了两种类型的相机采集的人脸图像特征，不再单纯使用可见光图像来进行人脸识别，从而提高了人脸识别的准确率。
进一步参考图4，其示出了用于识别人脸的方法的又一个实施例的流程400。该用于识别人脸的方法的流程400，包括以下步骤：
步骤401，获取第一人脸图像和第二人脸图像。
步骤402，将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量。
在本实施例中，步骤401和步骤402的具体操作与图2所示的实施例中步骤201和步骤202的具体操作基本相同，在此不再赘述。
步骤403，将第一特征向量和第二特征向量输入预设双线性模型，得到融合特征向量。
在本实施例中，上述执行主体(例如图1所示的服务器)可以步骤402中得到的第一特征向量和第二特征向量输入预设双线性模型，得到融合特征向量。
这里，双线性模型是一种两因素模型，它具有的数学属性是如果固定其中一个因素，模型的输出对另一个因素来说是线性的，它能够灵活地将两个因素分离或者结合起来。
这里，将第一特征向量和第二特征向量输入预设双线性模型，得到融合特征向量，可以用如下公式进行表示：
Fr＝F1WF2 (1)
其中：
F1为V1维的第一特征向量对应的1×V1的矩阵；
F2为V2维的第二特征向量对应的1×V2的矩阵；
W为预设双线性模型中的模型参数张量，W为V1×Vr×V2的张量；
Fr为融合后的Vr维的融合特征向量对应的1×Vr的矩阵。
融合时，将第一特征向量和第二特征向量分别作为上述公式中的F1和F2，计算得到融合特征向量Fr。
可选地，W可以是由技术人员基于大量数据的统计而人工设定的。W也可以是采用各种机器学习算法基于大量样本数据训练后得到的。
步骤404，根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识。
在本实施例中，步骤404的具体操作与图2所示的实施例中步骤204的具体操作基本相同，在此不再赘述。
从图4中可以看出，与图2对应的实施例相比，本实施例中的用于识别人脸的方法的流程400中突出了采用双线性模型融合第一特征向量和第二特征向量得到融合特征向量的步骤，由此，本实施例描述的方案可以提高特征融合的效率，进而进一步提高人脸识别的速度。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种用于识别人脸的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的用于识别人脸的装置500包括：获取单元501、输入单元502、融合单元503和识别单元504。其中，获取单元501，配置用于获取第一人脸图像和第二人脸图像，其中，上述第一人脸图像和上述第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像；输入单元502，配置用于将上述第一人脸图像和上述第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，上述特征提取模型用于提取图像特征；融合单元503，配置用于融合上述第一特征向量和上述第二特征向量，得到融合特征向量；识别单元504，配置用于根据上述融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与上述待识别人脸对应的用户标识，其中，上述人脸特征库用于表征特征向量与用户标识之间的对应关系。
在本实施例中，用于识别人脸的装置500的获取单元501、输入单元502、融合单元503和识别单元504的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，上述融合单元503可以进一步用于：将上述第一特征向量和上述第二特征向量输入预设双线性模型，得到上述融合特征向量。
在本实施例的一些可选的实现方式中，上述融合单元503可以进一步用于：拼接上述第一特征向量和上述第二特征向量，得到上述融合特征向量。
在本实施例的一些可选的实现方式中，上述特征提取模型可以为卷积神经网络。
在本实施例的一些可选的实现方式中，上述识别单元504可以包括：第一确定模块5041，配置用于将上述预设人脸特征库中与上述融合特征向量的距离最小的特征向量确定为第三特征向量；第二确定模块5042，配置用于响应于确定上述第三特征向量与上述融合特征向量之间的距离小于预设距离阈值，将上述人脸特征库中与上述第三特征向量对应的用户标识确定为与上述待识别人脸对应的用户标识。
在本实施例的一些可选的实现方式中，上述识别单元504还可以包括：第三确定模块5043，配置用于响应于确定上述第三特征向量与上述融合特征向量之间的距离不小于上述预设距离阈值，生成用于指示识别上述待识别人脸失败的失败提示信息。
需要说明的是，本申请实施例提供的用于识别人脸的装置中各单元的实现细节和技术效果可以参考本申请中其它实施例的说明，在此不再赘述。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU，Central Processing Unit)601，其可以根据存储在只读存储器(ROM，Read Only Memory)602中的程序或者从存储部分608加载到随机访问存储器(RAM，Random Access Memory)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM602以及RAM 603通过总线604彼此相连。输入/输出(I/O，Input/Output)接口605也连接至总线604。
以下部件连接至I/O接口605：包括硬盘等的存储部分606；以及包括诸如LAN(局域网，Local Area Network)卡、调制解调器等的网络接口卡的通信部分607。通信部分607经由诸如因特网的网络执行通信处理。驱动器608也根据需要连接至I/O接口605。可拆卸介质609，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器608上，以便于从其上读出的计算机程序根据需要被安装入存储部分606。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分607从网络上被下载和安装，和/或从可拆卸介质609被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、输入单元、融合单元和识别单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取第一人脸图像和第二人脸图像的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取第一人脸图像和第二人脸图像，其中，第一人脸图像和第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像；将第一人脸图像和第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，特征提取模型用于提取图像特征；融合第一特征向量和第二特征向量，得到融合特征向量；根据融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与待识别人脸对应的用户标识，其中，人脸特征库用于表征特征向量与用户标识之间的对应关系。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种用于识别人脸的方法，包括：
获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像和所述第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像，所述第一相机类型为红外相机类型，所述第二相机类型为深度相机类型；
将所述第一人脸图像和所述第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，所述特征提取模型用于提取图像特征，所述第一人脸图像和所述第二人脸图像对应同一特征提取模型，所述特征提取模型用于提取如下特征：颜色特征、纹理特征、二维形状特征、三维形状特征、二维空间关系特征、三维空间关系特征、脸型特征、五官的形状特征、五官的位置及比例特征；
融合所述第一特征向量和所述第二特征向量，得到融合特征向量；
根据所述融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与所述待识别人脸对应的用户标识，其中，所述人脸特征库用于表征特征向量与用户标识之间的对应关系；
响应于确定所述待识别人脸为已注册用户，对所述融合特征向量与所述预设人脸特征库中与所述待识别人脸对应的特征向量进行线性加权，得到加权特征向量，以及利用得到的加权特征向量对所述预设人脸特征库中与所述待识别人脸对应的特征向量进行更新；
其中，所述融合所述第一特征向量和所述第二特征向量，得到融合特征向量，包括：按照融合特征向量中的每个分量对应的预设公式，对第一特征向量和所述第二特征向量进行融合，得到融合特征向量。
2.根据权利要求1所述的方法，其中，所述融合所述第一特征向量和所述第二特征向量，得到融合特征向量，包括：
将所述第一特征向量和所述第二特征向量输入预设双线性模型，得到所述融合特征向量。
3.根据权利要求1所述的方法，其中，所述融合所述第一特征向量和所述第二特征向量，得到融合特征向量，包括：
拼接所述第一特征向量和所述第二特征向量，得到所述融合特征向量。
4.根据权利要求1所述的方法，其中，所述特征提取模型为卷积神经网络。
5.根据权利要求1所述的方法，其中，所述根据所述融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与所述待识别人脸对应的用户标识，包括：
将所述预设人脸特征库中与所述融合特征向量的距离最小的特征向量确定为第三特征向量；
响应于确定所述第三特征向量与所述融合特征向量之间的距离小于预设距离阈值，将所述人脸特征库中与所述第三特征向量对应的用户标识确定为与所述待识别人脸对应的用户标识。
6.根据权利要求5所述的方法，其中，所述根据所述融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与所述待识别人脸对应的用户标识，还包括：
响应于确定所述第三特征向量与所述融合特征向量之间的距离不小于所述预设距离阈值，生成用于指示识别所述待识别人脸失败的失败提示信息。
7.一种用于识别人脸的装置，包括：
获取单元，配置用于获取第一人脸图像和第二人脸图像，其中，所述第一人脸图像和所述第二人脸图像分别是采用第一相机类型的相机和第二相机类型的相机拍摄待识别人脸所得到的图像，所述第一相机类型为红外相机类型，所述第二相机类型为深度相机类型；
输入单元，配置用于将所述第一人脸图像和所述第二人脸图像分别输入预先训练的特征提取模型，得到第一特征向量和第二特征向量，其中，所述特征提取模型用于提取图像特征，所述第一人脸图像和所述第二人脸图像对应同一特征提取模型，所述特征提取模型用于提取如下特征：颜色特征、纹理特征、二维形状特征、三维形状特征、二维空间关系特征、三维空间关系特征、脸型特征、五官的形状特征、五官的位置及比例特征；
融合单元，配置用于融合所述第一特征向量和所述第二特征向量，得到融合特征向量；
识别单元，配置用于根据所述融合特征向量与预设人脸特征库中各特征向量之间的距离，确定与所述待识别人脸对应的用户标识，其中，所述人脸特征库用于表征特征向量与用户标识之间的对应关系；
所示识别单元进一步被配置成：响应于确定所述待识别人脸为已注册用户，对所述融合特征向量与所述预设人脸特征库中与所述待识别人脸对应的特征向量进行线性加权，得到加权特征向量，以及利用得到的加权特征向量对所述预设人脸特征库中与所述待识别人脸对应的特征向量进行更新；
其中，其中，所述融合单元进一步用于：按照融合特征向量中的每个分量对应的预设公式，对第一特征向量和所述第二特征向量进行融合，得到融合特征向量。
8.根据权利要求7所述的装置，其中，所述融合单元进一步用于：
将所述第一特征向量和所述第二特征向量输入预设双线性模型，得到所述融合特征向量。
9.根据权利要求7所述的装置，其中，所述融合单元进一步用于：
拼接所述第一特征向量和所述第二特征向量，得到所述融合特征向量。
10.根据权利要求7所述的装置，其中，所述特征提取模型为卷积神经网络。
11.根据权利要求7所述的装置，其中，所述识别单元包括：
第一确定模块，配置用于将所述预设人脸特征库中与所述融合特征向量的距离最小的特征向量确定为第三特征向量；
第二确定模块，配置用于响应于确定所述第三特征向量与所述融合特征向量之间的距离小于预设距离阈值，将所述人脸特征库中与所述第三特征向量对应的用户标识确定为与所述待识别人脸对应的用户标识。
12.根据权利要求11所述的装置，其中，所述识别单元还包括：
第三确定模块，配置用于响应于确定所述第三特征向量与所述融合特征向量之间的距离不小于所述预设距离阈值，生成用于指示识别所述待识别人脸失败的失败提示信息。
13.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
14.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。
CN201810257454.5A 2018-03-27 2018-03-27 用于识别人脸的方法和装置 Active CN108416323B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810257454.5A CN108416323B (zh) 2018-03-27 2018-03-27 用于识别人脸的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810257454.5A CN108416323B (zh) 2018-03-27 2018-03-27 用于识别人脸的方法和装置

Publications (2)

Publication Number Publication Date
CN108416323A CN108416323A (zh) 2018-08-17
CN108416323B true CN108416323B (zh) 2023-06-30

Family

ID=63133525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810257454.5A Active CN108416323B (zh) 2018-03-27 2018-03-27 用于识别人脸的方法和装置

Country Status (1)

Country Link
CN (1) CN108416323B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874602A (zh) * 2018-08-30 2020-03-10 北京嘀嘀无限科技发展有限公司 一种图像识别方法及装置
CN110276257B (zh) * 2019-05-20 2023-04-18 创新先进技术有限公司 人脸识别方法、装置、系统、服务器及可读存储介质
CN110175553B (zh) * 2019-05-23 2021-07-30 银河水滴科技(宁波)有限公司 基于步态识别与人脸识别建立特征库的方法及装置
CN110222789B (zh) * 2019-06-14 2023-05-26 腾讯科技（深圳）有限公司 图像识别方法及存储介质
CN110795584B (zh) * 2019-09-19 2022-03-25 深圳云天励飞技术有限公司 一种用户标识生成方法、装置及终端设备
CN110866443B (zh) * 2019-10-11 2023-06-16 厦门身份宝网络科技有限公司 人像存储方法、人脸识别方法、设备及存储介质
CN111104987B (zh) * 2019-12-25 2023-08-01 盛景智能科技(嘉兴)有限公司 人脸识别方法、装置及电子设备
CN111385454B (zh) * 2020-03-20 2022-03-08 深圳传音控股股份有限公司 拍照方法、移动终端及计算机可读存储介质
CN111898427A (zh) * 2020-06-22 2020-11-06 西北工业大学 一种基于特征融合深度神经网络的多光谱行人检测方法
CN111967314B (zh) * 2020-07-09 2024-06-11 北京迈格威科技有限公司 行人重识别方法、装置、电子设备及存储介质
CN113065576A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种特征提取的方法以及装置
CN113420747B (zh) * 2021-08-25 2021-11-23 成方金融科技有限公司 人脸识别方法、装置、电子设备及存储介质
CN113688820B (zh) * 2021-08-25 2024-07-16 维沃移动通信有限公司 频闪条带信息识别方法、装置和电子设备
CN116129227B (zh) * 2023-04-12 2023-09-01 合肥的卢深视科技有限公司 模型训练方法、装置、电子设备及计算机可读存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105513221A (zh) * 2015-12-30 2016-04-20 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
WO2016107638A1 (en) * 2014-12-29 2016-07-07 Keylemon Sa An image face processing method and apparatus
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107633165A (zh) * 2017-10-26 2018-01-26 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303724A (zh) * 2007-05-10 2008-11-12 中国银联股份有限公司 一种认证授权方法及系统
CN201242756Y (zh) * 2008-07-28 2009-05-20 汉王科技股份有限公司 一种人脸识别装置
CN101404060B (zh) * 2008-11-10 2010-06-30 北京航空航天大学 一种基于可见光与近红外Gabor信息融合的人脸识别方法
CN106709477A (zh) * 2017-02-23 2017-05-24 哈尔滨工业大学深圳研究生院 一种基于自适应得分融合与深度学习的人脸识别方法及系统
CN107341481A (zh) * 2017-07-12 2017-11-10 深圳奥比中光科技有限公司 利用结构光图像进行识别
CN107480206B (zh) * 2017-07-25 2020-06-12 杭州电子科技大学 一种基于多模态低秩双线性池化的图像内容问答方法
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016107638A1 (en) * 2014-12-29 2016-07-07 Keylemon Sa An image face processing method and apparatus
CN105513221A (zh) * 2015-12-30 2016-04-20 四川川大智胜软件股份有限公司 一种基于三维人脸识别的atm机防欺诈装置及系统
CN107609383A (zh) * 2017-10-26 2018-01-19 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107633165A (zh) * 2017-10-26 2018-01-26 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107748869A (zh) * 2017-10-26 2018-03-02 深圳奥比中光科技有限公司 3d人脸身份认证方法与装置
CN107832735A (zh) * 2017-11-24 2018-03-23 百度在线网络技术（北京）有限公司 用于识别人脸的方法和装置

Also Published As

Publication number Publication date
CN108416323A (zh) 2018-08-17

Similar Documents

Publication Publication Date Title
CN108416323B (zh) 用于识别人脸的方法和装置
CN108537152B (zh) 用于检测活体的方法和装置
CN108416324B (zh) 用于检测活体的方法和装置
CN109145781B (zh) 用于处理图像的方法和装置
CN108830235B (zh) 用于生成信息的方法和装置
CN108269254B (zh) 图像质量评估方法和装置
CN108520220B (zh) 模型生成方法和装置
WO2020006961A1 (zh) 用于提取图像的方法和装置
CN108491805B (zh) 身份认证方法和装置
CN109492128B (zh) 用于生成模型的方法和装置
EP3605394A1 (en) Method and apparatus for recognizing body movement
CN108509892B (zh) 用于生成近红外图像的方法和装置
CN108416326B (zh) 人脸识别方法和装置
CN108491809B (zh) 用于生成近红外图像生成模型的方法和装置
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN108491823B (zh) 用于生成人眼识别模型的方法和装置
CN108257178B (zh) 用于定位目标人体的位置的方法和装置
CN108389172B (zh) 用于生成信息的方法和装置
CN108337505B (zh) 信息获取方法和装置
CN111612842B (zh) 生成位姿估计模型的方法和装置
CN108229375B (zh) 用于检测人脸图像的方法和装置
CN108241855B (zh) 图像生成方法和装置
CN108446650A (zh) 用于识别人脸的方法和装置
CN108509994B (zh) 人物图像聚类方法和装置
CN108509921B (zh) 用于生成信息的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant