CN109886222A - 人脸识别方法、神经网络训练方法、装置及电子设备 - Google Patents

人脸识别方法、神经网络训练方法、装置及电子设备 Download PDF

Info

Publication number
CN109886222A
CN109886222A CN201910145024.9A CN201910145024A CN109886222A CN 109886222 A CN109886222 A CN 109886222A CN 201910145024 A CN201910145024 A CN 201910145024A CN 109886222 A CN109886222 A CN 109886222A
Authority
CN
China
Prior art keywords
face
camera
image pattern
face characteristic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910145024.9A
Other languages
English (en)
Other versions
CN109886222B (zh
Inventor
王飞
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201910145024.9A priority Critical patent/CN109886222B/zh
Publication of CN109886222A publication Critical patent/CN109886222A/zh
Priority to KR1020217022399A priority patent/KR20210101313A/ko
Priority to JP2021540572A priority patent/JP7402239B2/ja
Priority to PCT/CN2019/114674 priority patent/WO2020173117A1/zh
Application granted granted Critical
Publication of CN109886222B publication Critical patent/CN109886222B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本公开公开了人脸识别方法、神经网络训练方法、装置及电子设备。其中，方法包括：通过第一摄像头获取第一人脸图像；提取所述第一人脸图像的第一人脸特征；将所述第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，所述第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，所述第二摄像头与所述第一摄像头属于不同类型的摄像头；根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。本公开不仅方便人脸认证，而且对于人脸注册时的摄像头也不作限定，提高了人脸注册的便利性。

Description

人脸识别方法、神经网络训练方法、装置及电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种人脸识别方法、神经网络训练方法、装置及电子设备。
背景技术
随着人工智能和车辆行业的迅速发展，将最新的人工智能技术应用到量产车辆上已经成为一个最具市场前景的方向。目前车辆市场需求的人工智能产品包括但不限于辅助驾驶系统、驾驶员监控系统、车辆运营管理系统等。这些市场需求通常需要对驾驶员的人脸进行识别，并以此为基础进行后续的管理和控制，但目前缺少相应的技术手段。
发明内容
本公开提供了一种人脸识别的技术方案以及一种神经网络训练的技术方案。
第一方面，本公开实施例提供了一种人脸识别方法，包括：
通过第一摄像头获取第一人脸图像；
提取所述第一人脸图像的第一人脸特征；
将所述第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，所述第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，所述第二摄像头与所述第一摄像头属于不同类型的摄像头；
根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
本公开实施例中，在进行人脸识别时，可实现第一人脸图像与第二人脸图像的识别，该第一人脸图像与该第二人脸图像通过不同类型的摄像头获取。实施本公开实施例，通过不同类型摄像头获取第一人脸图像与第二人脸图像，可使得本公开实施例所提供的人脸识别方法应用于更多的场景，不仅方便人脸认证，而且对于人脸注册时的摄像头也不作限定，提高了人脸注册的便利性。
结合第一方面，在一种可能的实现方式中，所述第一摄像头为热成像摄像头，所述第二摄像头为可见光摄像头；
或者，所述第一摄像头为可见光摄像头，所述第一摄像头为热成像摄像头。
结合第一方面或第一方面任一种可能的实现方式，所述根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人，包括：
根据所述参考相似度、参考误报率以及相似度阈值确定所述第一人脸特征与所述第二人脸特征是否对应相同人；其中，不同的误报率对应不同的相似度阈值。
结合第一方面或第一方面任一种可能的实现方式，所述根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人，包括：
根据所述参考相似度以及阈值信息确定归一化后的参考相似度；
根据所述归一化后的参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
结合第一方面或第一方面任一种可能的实现方式，所述提取所述第一人脸图像的第一人脸特征，包括：
将所述第一人脸图像输入预先训练完成的神经网络，通过所述神经网络输出所述第一人脸图像的第一人脸特征；其中，所述神经网络基于第一类型图像样本和第二类型图像样本训练得到，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸。
结合第一方面或第一方面任一种可能的实现方式，所述神经网络基于所述第一类型图像样本、所述第二类型图像样本和混合类型图像样本训练得到，所述混合类型图像样本由所述第一类型图像样本和所述第二类型图像样本配对而得。
结合第一方面或第一方面任一种可能的实现方式，所述第一摄像头包括车载摄像头，所述通过第一摄像头获取第一人脸图像，包括：
通过所述车载摄像头获取所述第一人脸图像，所述第一人脸图像包括车辆的用车人的人脸图像。
结合第一方面或第一方面任一种可能的实现方式，所述用车人包括驾驶所述车辆的人、乘坐所述车辆的人、对所述车辆进行修理的人、给所述车辆加油的人以及控制所述车辆的人中的一项或多项。
结合第一方面或第一方面任一种可能的实现方式，所述用车人包括驾驶所述车辆的人，所述通过所述车载摄像头获取所述第一人脸图像，包括：
在接收到触发指令的情况下，通过所述车载摄像头获取所述第一人脸图像；
或者，在所述车辆运行时，通过所述车载摄像头获取所述第一人脸图像；
或者，在所述车辆的运行速度达到参考速度的情况下，通过所述车载摄像头获取所述第一人脸图像。
结合第一方面或第一方面任一种可能的实现方式，所述第二人脸图像为对所述用车人进行人脸注册的图像，所述将所述第一人脸特征与预先存储的第二人脸特征进行对比之前，所述方法还包括：
通过所述第二摄像头获取所述第二人脸图像；
提取所述第二人脸图像的第二人脸特征；
保存所述第二人脸图像的第二人脸特征。
第二方面，本公开实施例提供了一种神经网络训练方法，包括：
获取第一类型图像样本和第二类型图像样本，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸；
根据所述第一类型图像样本和所述第二类型图像样本训练神经网络。
本公开实施例中，通过采用不同类型摄像头拍摄得到的人脸图像来训练神经网络，可有效提高该神经网络输出人脸特征的准确度；同时在进行人脸识别，应用该神经网络提取人脸特征时，还有效提高了人脸识别的准确度。
结合第二方面，在一种可能的实现方式中，所述根据所述第一类型图像样本和所述第二类型图像样本训练神经网络，包括：
将所述第一类型图像样本和所述第二类型图像样本配对，得到所述第一类型图像样本和所述第二类型图像样本的混合类型图像样本；
根据所述第一类型图像样本、所述第二类型图像样本和所述混合类型图像样本，训练所述神经网络。
结合第二方面或第二方面任一种可能的实现方式，所述根据所述第一类型图像样本、所述第二类型图像样本和所述混合类型图像样本，训练所述神经网络，包括：
通过所述神经网络获取所述第一类型图像样本的人脸预测结果、所述第二类型图像样本的人脸预测结果和所述混合类型图像样本的人脸预测结果；
根据所述第一类型图像样本的人脸预测结果和人脸标注结果的差异、所述第二类型图像样本的人脸预测结果和人脸标注结果之间的差异、以及所述混合类型图像样本的人脸预测结果和人脸标注结果的差异，训练所述神经网络。
结合第二方面或第二方面任一种可能的实现方式，所述神经网络中包括第一分类器、第二分类器和混合分类器，所述通过所述神经网络获取所述第一类型图像样本的人脸预测结果、所述第二类型图像样本的人脸预测结果和所述混合类型图像样本的人脸预测结果，包括：
将所述第一类型图像样本的人脸特征输入至所述第一分类器中，得到所述第一类型图像样本的人脸预测结果；
将所述第二类型图像样本的人脸特征输入至所述第二分类器中，得到所述第二类型图像样本的人脸预测结果；
将所述混合类型图像样本的人脸特征输入至所述混合分类器中，得到所述混合类型图像样本的人脸预测结果。
结合第二方面或第二方面任一种可能的实现方式，结合第二方面或第二方面任一种可能的实现方式，
第三方面，本公开实施例提供了一种人脸识别装置，包括：
第一获取单元，用于通过第一摄像头获取第一人脸图像；
第一提取单元，用于提取所述第一人脸图像的第一人脸特征；
对比单元，用于将所述第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，所述第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，所述第二摄像头与所述第一摄像头属于不同类型的摄像头；
确定单元，用于根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
结合第三方面，在一种可能的实现方式中，所述第一摄像头为热成像摄像头，所述第二摄像头为可见光摄像头；
或者，所述第一摄像头为可见光摄像头，所述第一摄像头为热成像摄像头。
结合第三方面或第三方面任一种可能的实现方式中，所述确定单元，具体用于根据所述参考相似度、参考误报率以及相似度阈值确定所述第一人脸特征与所述第二人脸特征是否对应相同人；其中，不同的误报率对应不同的相似度阈值。
结合第三方面或第三方面任一种可能的实现方式中，所述确定单元，具体用于根据所述参考相似度以及阈值信息确定归一化后的参考相似度；以及根据所述归一化后的参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
结合第三方面或第三方面任一种可能的实现方式中，所述第一提取单元，具体用于将所述第一人脸图像输入预先训练完成的神经网络，通过所述神经网络输出所述第一人脸图像的第一人脸特征；其中，所述神经网络基于第一类型图像样本和第二类型图像样本训练得到，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸。
结合第三方面或第三方面任一种可能的实现方式中，所述神经网络基于所述第一类型图像样本、所述第二类型图像样本和混合类型图像样本训练得到，所述混合类型图像样本由所述第一类型图像样本和所述第二类型图像样本配对而得。
结合第三方面或第三方面任一种可能的实现方式中，所述第一摄像头包括车载摄像头，
所述第一获取单元，具体用于通过所述车载摄像头获取所述第一人脸图像，所述第一人脸图像包括车辆的用车人的人脸图像。
结合第三方面或第三方面任一种可能的实现方式中，所述用车人包括驾驶所述车辆的人、乘坐所述车辆的人、对所述车辆进行修理的人、给所述车辆加油的人以及控制所述车辆的人中的一项或多项。
结合第三方面或第三方面任一种可能的实现方式中，所述用车人包括驾驶所述车辆的人，所述第一获取单元，具体用于在接收到触发指令的情况下，通过所述车载摄像头获取所述第一人脸图像；
或者，所述第一获取单元，具体用于在所述车辆运行时，通过所述车载摄像头获取所述第一人脸图像；
或者，所述第一获取单元，具体用于在所述车辆的运行速度达到参考速度的情况下，通过所述车载摄像头获取所述第一人脸图像。
结合第三方面或第三方面任一种可能的实现方式中，所述第二人脸图像为对所述用车人进行人脸注册的图像，所述装置还包括：
第二获取单元，用于通过所述第二摄像头获取所述第二人脸图像；
第二提取单元，用于提取所述第二人脸图像的第二人脸特征；
保存单元，用于保存所述第二人脸图像的第二人脸特征。
第四方面，本公开实施例提供了一种神经网络训练装置，包括：
获取单元，用于获取第一类型图像样本和第二类型图像样本，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸；
训练单元，用于根据所述第一类型图像样本和所述第二类型图像样本训练神经网络。
结合第四方面，在一种可能的实现方式中，所述训练单元包括：
配对子单元，用于将所述第一类型图像样本和所述第二类型图像样本配对，得到所述第一类型图像样本和所述第二类型图像样本的混合类型图像样本；
训练子单元，用于根据所述第一类型图像样本、所述第二类型图像样本和所述混合类型图像样本，训练所述神经网络。
结合第四方面或第四方面任一种可能的实现方式中，所述训练子单元，具体用于通过所述神经网络获取所述第一类型图像样本的人脸预测结果、所述第二类型图像样本的人脸预测结果和所述混合类型图像样本的人脸预测结果；以及根据所述第一类型图像样本的人脸预测结果和人脸标注结果的差异、所述第二类型图像样本的人脸预测结果和人脸标注结果之间的差异、以及所述混合类型图像样本的人脸预测结果和人脸标注结果的差异，训练所述神经网络。
结合第四方面或第四方面任一种可能的实现方式中，所述神经网络中包括第一分类器、第二分类器和混合分类器，
所述训练子单元，具体用于将所述第一类型图像样本的人脸特征输入至所述第一分类器中，得到所述第一类型图像样本的人脸预测结果；以及将所述第二类型图像样本的人脸特征输入至所述第二分类器中，得到所述第二类型图像样本的人脸预测结果；以及将所述混合类型图像样本的人脸特征输入至所述混合分类器中，得到所述混合类型图像样本的人脸预测结果。
结合第四方面或第四方面任一种可能的实现方式中，所述装置还包括：
神经网络应用单元，用于在训练完成的所述神经网络中去除所述第一分类器、所述第二分类器和所述混合分类器，得到用于进行人脸识别的神经网络。
第五方面，本公开实施例还提供了一种电子设备，包括：处理器和存储器；所述存储器用于与所述处理器耦合，所述存储器还用于存储程序指令，所述处理器被配置为支持所述电子设备执行上述第一方面的方法中相应的功能。
可选的，所述电子设备还包括输入输出接口，所述输入输出接口用于支持所述电子设备与其他电子设备之间的通信。
第六方面，本公开实施例还提供了一种电子设备，包括：处理器和存储器；所述存储器用于与所述处理器耦合，所述存储器还用于存储程序指令，所述处理器被配置为支持所述电子设备执行上述第二方面的方法中相应的功能。
可选的，所述电子设备还包括输入输出接口，所述输入输出接口用于支持所述电子设备与其他电子设备之间的通信。
第七方面，本公开实施例还提供了一种人脸识别系统，所述人脸识别系统包括：神经网络训练装置和人脸识别装置；所述神经网络训练装置和所述人脸识别装置耦合；
其中，所述神经网络训练装置，用于训练神经网络；
所述人脸识别装置，用于应用所述神经网络训练装置所训练的神经网络。
可选的，所述神经网络训练装置，用于执行上述第二方面所述的方法；
所述人脸识别装置，用于执行上述第一方面所述的方法。
第八方面，本公开实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
第九方面，本公开实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。
本公开申请人在实现本公开实施例过程中发现，传统的人脸识别方法往往限制认证的图像类型和注册的图像类型为相同的图像类型，如注册过程采用RGB图像，则认证过程也需采用RGB图像，由此限制了传统人脸识别方案在涉及多类摄像头场景中的应用。本公开实施例为涉及多类摄像头的场景提供了人脸识别解决方案，实施本公开实施例中，通过将一类类型摄像头获取第二人脸图像的人脸图像作为底库特征，通过另一类型摄像头获取的第一人脸图像的人脸特征与底库特征进行比对，根据比对结果实现人脸识别，使得本公开实施例所提供的人脸识别方法应用于更多的场景，不仅方便人脸认证，而且对于人脸注册时的摄像头也不作限定，提高了人脸注册的便利性。
附图说明
为了更清楚地说明本公开实施例或背景技术中的技术方案，下面将对本公开实施例或背景技术中所需要使用的附图进行说明。
图1是本公开实施例提供的一种人脸识别方法的流程示意图；
图2是本公开实施例提供的一种神经网络训练方法的流程示意图；
图3是本公开实施例提供的一种训练过程的示意图；
图4是本公开实施例提供的一种人脸识别装置的结构示意图；
图5是本公开实施例提供的另一种人脸识别装置的结构示意图；
图6是本公开实施例提供的一种神经网络训练装置的结构示意图；
图7是本公开实施例提供的一种训练单元的结构示意图；
图8是本公开实施例提供的另一种神经网络训练装置的结构示意图；
图9是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述。
本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的其他步骤或单元。
参见图1，图1是本公开实施例提供的一种人脸识别方法的流程示意图，该人脸识别方法可应用于人脸识别装置，以及该人脸识别方法还可应用于电子设备，该电子设备可包括服务器或终端设备，该服务器可包括任意类型的服务器，如云服务器等等，本公开实施例不作限定。该终端设备可包括手机、平板电脑、台式电脑、车载设备、驾驶员状况监控系统、乘车管理系统、租车管理系统、网约车管理系统等等，本公开实施例对于该终端设备的具体形式不作唯一性限定。以下以该人脸识别方法应用于电子设备为例来说明。
如图1所示，该人脸识别方法包括：
101、通过第一摄像头获取第一人脸图像。
本公开实施例中，该第一人脸图像可包括第一摄像头拍摄到的图像；或者，该第一人脸图像还可包括通过第一摄像头拍摄的视频流数据中的任意帧图像等等，本公开实施例对于该第一人脸图像的来源不作限定。
本公开实施例中，第一摄像头可为热成像摄像头，又或者，第一摄像头为可见光摄像头。其中，在第一摄像头为热成像摄像头的情况下，第二摄像头可为其他不同于热成像摄像头的摄像头，如第二摄像头可为可见光摄像头。而在第一摄像头为可见光摄像头的情况下，第二摄像头可为其他不同于可见光摄像头的摄像头，如第二摄像头可为热成像摄像头。可选的，可见光摄像头可包括红绿蓝(red green blue，RGB)摄像头。热成像摄像头可包括红外(infrared radiation，IR)摄像头。其中，IR摄像头成像不受环境光线的干扰，无论白天还是夜晚、晴天、阴天还是雨天、外部道路还是隧道等等不同应用场景，均可以采集到质量差异不大的图像。RGB摄像头价格低廉，应用普及，很多终端或者场景中都部署有RGB摄像头，并且RGB图像也非常普及和通用。因此，在车应用场景中车载摄像头可为IR摄像头。从而利用RGB摄像头进行人脸注册，提高注册的方便性和灵活性，利用IR摄像头进行人脸识别，方便利用车载摄像头进行实时图像采集，基于人脸识别结果进行解锁、权限控制、人员/车辆管理等处理。可理解，以上仅为一种示例，在具体实现中，可能还包括其他类型的摄像头，这里不再一一列举。
可选的，第一摄像头可以为与电子设备连接的外接摄像头，又或者为该电子设备内置的摄像头等等，本公开实施例对于该第一摄像头的具体实现形式不作限定。相应的，第二摄像头可选的，第一摄像头和第二摄像头还可为不同类型的车载摄像头，也就是说，第一人脸图像可以为基于车载摄像头在车辆的驾驶区域得到的人脸图像。可理解，在具体实现中，如该第一摄像头和该第二摄像头内置于各种电子设备的情况下，作为示例，如第一摄像头可内置于相机中，又或者，内置于手机中，又或者，内置于车载设备中等等，本公开实施例对于该第一摄像头和该第二摄像头的具体形式不作唯一性限定。
可选的，在第一摄像头为车载摄像头的情况下，通过第一摄像头获取第一人脸图像，包括：
通过车载摄像头获取第一人脸图像，第一人脸图像包括车辆的用车人的人脸图像。
本实施例中，车辆可包括机动车、非机动车、汽车、卡车、班车、出租车、二轮车、三轮车、四轮及四轮以上车、玩具车、车型机器人、遥控车等等，本公开实施例对于该车辆的具体类型不作限定。
本实施例中，用车人可包括驾驶车辆的人、乘坐车辆的人、对车辆进行修理的人、给车辆加油的人以及控制车辆的人中的一项或多项。其中，控制车辆的人可如控制遥控车的人，给车辆加油的人可如加油工人，对车辆进行修改的人可如汽修工人，乘坐车辆的人可如乘坐出租车或乘坐班车等等的人，驾驶车辆的人可为司机等等。本公开实施例对于以上用车人的具体类型不作限定。
可选的，在用车人包括驾驶车辆的人的情况下，本公开实施例还提供了一种电子设备在何时获取第一人脸图像的触发条件，如通过车载摄像头获取第一人脸图像，包括：
在接收到触发指令的情况下，通过车载摄像头获取第一人脸图像；
或者，在车辆运行时，通过车载摄像头获取第一人脸图像
或者，在车辆的运行速度达到参考速度的情况下，通过车载摄像头获取第一人脸图像。
本实施例中，触发指令可以为电子设备接收到的用户输入的触发指令，也可以为与电子设备连接的其他电子设备发送的触发指令等等，本实施例对于该触发指令的来源以及具体形式不作限定。
本实施例中，车辆运行时，可理解为车辆打火时，也就是说，在电子设备检测到车辆开始运行了，则该电子设备便可以获取车辆驾驶区域中的用户的人脸图像即第一人脸图像。
本实施例中，参考速度用于衡量车辆的运行速度达到多少时，电子设备获取第一人脸图像，因此，对于该参考速度具体为多少不作限定。该参考速度可以由用户设置，也可以由与电子设备连接的测量车辆运行速度的器件设置，也可以由电子设备设置等等，本实施例不作限定。
实施本实施例，通过设置触发条件来获取第一人脸图像，从而对用车人的身份进行识别，可有效提高电子设备进行人脸识别的效率。
102、提取第一人脸图像的第一人脸特征。
本公开实施例中，电子设备可通过任意的方法来提取第一人脸图像的第一人脸特征，如该电子设备可通过特征点提取算法来提取第一人脸特征，其中，该特征点提取可采用但不限于susan算子特征提取、harris算子特征提取、sift特征提取或者经神经网络特征方法等等。又如该电子设备通过几何特征的人脸特征提取方法或基于模板匹配的人脸特征提取方法来提取该第一人脸特征等等，本公开实施例对于该电子设备如何提取第一人脸特征不作限定。
可选的，该电子设备可通过神经网络来提取第一人脸的第一人脸特征，其中，该神经网络可为预先训练完成的神经网络。如该预先训练完成的神经网络可以为本公开实施例中的电子设备所训练完成的神经网络；也可以为通过其他设备训练完成的神经网络，而后本公开实施例中的电子设备从该其他设备获取的神经网络等等，本公开实施例不作限定。
本公开实施例中，神经网络可由卷积层、非线性层、池化层等网络层按照一定方式堆叠设计而成，本公开实施例对具体的网络结构并不限制。设计好神经网络结构后，可基于带有标注信息的图像，采用监督或弱监督方式对设计好的神经网络进行梯度反向传播等方法进行成千甚至上万次的迭代训练，调整神经网络的网络参数，直至满足神经网络预定的训练完成条件。具体的训练方式本公开实施例并不限制。
其中，采用神经网络进行人脸图像的特征提取可以实现端到端的输出，例如，将第一人脸图像输入至预先训练完成的神经网络，输出神经网络对该第一人脸图像进行特征提取而得的特征图，也即端到端实现人脸图像特征提取的过程。其中，人脸特征提取就是针对人脸的某些特征进行人脸特征提取，人脸特征也可以称为人脸表征。作为示例，通过神经网络来提取人脸特征可具体为通过深度神经网络来提取人脸深层次的抽象的特征。
可选的，将第一人脸图像输入预先训练完成的神经网络，通过神经网络输出第一人脸图像的第一人脸特征；其中，神经网络基于第一类型图像样本和第二类型图像样本训练得到，第一类型图像样本和第二类型图像样本由不同类型的摄像头拍摄得到，且第一类型图像样本和第二类型图像样本中包括人脸。本公开通过采用基于两种不同类型的摄像头拍摄得到的图像样本对神经网络训练，使得神经网络可以学习到不同类型的图像的特征提取能力，由此基于训练后的神经网络实现对不同类型的图像的人脸识别能力。
103、将第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，第二摄像头与第一摄像头属于不同类型的摄像头。
本公开实施例中，第一人脸图像可理解为需要进行人脸认证的人脸图像，或者可理解为需要进行人脸识别的人脸图像，或者可理解为需要查询的人脸图像。而第二人脸图像则可理解为人脸注册时的人脸图像，或者也可理解为保存在身份底库中的人脸图像。该身份底库中保存有身份信息，以及与每个身份信息对应的人脸特征。以下将以第一人脸图像为需要进行人脸识别的人脸图像，以及第二人脸图像为人脸注册时的人脸图像为例来说明。
本公开实施例中，第一摄像头与第二摄像头属于不同类型的摄像头，也就是说，第一人脸图像与第二人脸图像可理解为不同类型的人脸图像。举例来说，第一人脸图像为RGB人脸图像，则第二人脸图像则可以为IR人脸图像。又或者，第一人脸图像为IR人脸图像，第二人脸图像为RGB人脸图像。又或者，为其他类型的人脸图像等等，本公开实施例不作限定。其中，对于第一摄像头以及第二摄像头的具体描述可参考前述实施例，这里不再一一详述。
本公开实施例中，参考相似度即为第一人脸图像属于与身份底库中的第二人脸图像对应的用户的相似程度，即参考相似度可用于表示第一人脸图像与第二人脸图像对应同一个人的相似程度。如电子设备可通过人脸特征之间的对比来得到参考相似度。
可选的，第二人脸图像为对用车人进行人脸注册的图像的情况下，本公开实施例还提供了一种获取第二人脸图像的人脸特征的方法，如将第一人脸特征与预先存储的第二人脸特征进行对比之前，图1所示的方法还包括：
通过第二摄像头获取第二人脸图像；
提取第二人脸图像的第二人脸特征；
保存第二人脸图像的第二人脸特征。
本实施例对于提取第二人脸图像的人脸特征的方法不作限定，如可通过预先训练完成的神经网络来提取该第二人脸图像的人脸特征，从而得到第二人脸特征。又如还可通过局部二值模式(local binary patterns，LBP)方法来提取该第二人脸图像的人脸特征。又如还可通过sift特征提取方法，几何特征的人脸特征提取方法，基于模板匹配的人脸特征提取方法等等来提取该第二人脸图像的人脸特征。可理解，本实施例对于如何提取第二人脸图像的人脸特征不作唯一性限定。本实施例中，通过将第二人脸特征保存至电子设备中，可为人脸识别提供保障。
104、根据参考相似度确定第一人脸特征与第二人脸特征是否对应相同人。
本公开实施例中，根据参考相似度来确定第一人脸特征与第二人脸特征是否对应相同人，如可通过比较参考相似度与相似度阈值(可理解为静态的相似度阈值)之间的关系来确定，如参考相似度不小于相似度阈值，则可确定第一人脸特征与第二人脸特征对应相同人。而若参考相似度小于相似度阈值，则可确定第一人脸特征与第二人脸特征对应不同人。
可选的，本公开实施例还提供了一种采用动态相似度阈值来确定第一人脸特征与第二人脸特征是否对应相同人的方法。如根据参考相似度确定第一人脸特征与第二人脸特征是否对应相同人，包括：
根据参考相似度、参考误报率以及相似度阈值确定第一人脸特征与第二人脸特征是否对应相同人；其中，不同的误报率对应不同的相似度阈值。
本实施例中，不同的误报率对应不同的相似度阈值，也就是说，误报率与相似度阈值之间有对应关系。其中，不同的误报率具体对应的相似度阈值为多少，本公开实施例不作限定。如该误报率与相似度阈值之间的对应关系可由用户设置，或者也可由电子设备自主设置等等，本公开实施例不作限定。可理解，本公开实施例中的参考误报率即为电子设备所确定的一个误报率，如为电子设备从误报率与相似度阈值之间的对应关系中所确定出的一个误报率。
举例来说，误报率与相似度阈值之间的关系如下：误报率为万分之一时，相似度阈值为0.7；误报率为十万分之一时，相似度阈值可为0.8；误报率为百万分之一时，相似度阈值可为0.9；误报率为千万分之一时，相似度阈值为0.98。由此，在确定出参考误报率之后，该电子设备便可可根据该参考误报率来确定相似度阈值，从而根据获得的参考相似度与确定的相似度阈值来确定第一人脸特征与第二人脸特征是否对应相同人。可理解，本公开实施例对于电子设备如何确定参考误报率不作限定，如该电子设备可通过用户输入的确定指令来确定，或者通过其他方法来确定等等。
实施本实施例，通过不同的误报率得到不同的相似度阈值，从而来确定第一人脸特征与第二人脸特征是否对应相同人，避免了采用固定的相似度阈值的方式对人脸进行认证的方案，从而可以动态的来确定用于衡量两个人脸图像之间关系的相似度，提高了人脸识别的准确度。
可选的，本公开实施例还提供了一种确定第一人脸特征与第二人脸特征是否对应相同人的方法，如根据参考相似度确定第一人脸特征与第二人脸特征是否对应相同人，包括：
根据参考相似度以及阈值信息确定归一化后的参考相似度；
根据归一化后的参考相似度确定第一人脸特征与第二人脸特征是否对应相同人。
本实施例中，阈值信息根据正样本对的相似度和负样本对的相似度以及预设的不同误报率得到；其中，正样本对和负样本对根据第一类型图像和第二类型图像得到，每个正样本对包括两个图像，且两个图像中的人脸对应相同的人；每个负样本对包括两个图像，且两个图像中的人脸对应不同的人，且正样本对和负样本对的相似度由预先训练完成的神经网络确定。可选的，该阈值信息中可包括第一阈值和第二阈值，由此电子设备可根据参考相似度以及该第一阈值和该第二阈值确定归一化后的参考相似度，其中，该参考相似度在第一阈值与第二阈值之间，且在阈值信息中，该参考相似度与第一阈值以及第二阈值最接近。其中，第一类型图像与第二类型图像分别由不同类型的摄像头得到。
本实施例中，可通过参考相似度从阈值信息中确定第一阈值和第二阈值，从而使得电子设备能够根据该第一阈值和该第二阈值确定归一化后的参考相似度。该归一化后的参考相似度即为用于确定第一人脸特征与第二人脸特征是否对应相同人的最终相似度。举例来说，参考相似度的数值在T(n-1)(如为第一阈值)与T(n)(如为第二阈值)之间，则归一化后的参考相似度可确定为0.3+(n－1)/10+0.1*(参考相似度－T(n-1))*(T(n)–T(n-1))。可理解以上仅为一种归一化的方法示例，不应理解为对本实施例的限定。
可理解，本实施例中电子设备在确定归一化后的参考相似度后，该电子设备可利用固定的相似度阈值来确定第一人脸特征与第二人脸特征是否对应相同人。可选的，该电子设备还可利用动态的相似度阈值(即根据不同的误报率得到不同的相似度阈值)来确定第一人脸特征与第二人脸特征是否对应相同人。
实施本实施例，可进一步提高用于确定第一人脸特征与第二人脸特征是否对应相同人的相似度的精确度，提高了人脸认证的准确度。
可选的，由于身份底库中的人脸图像可能为多个，即预先存储的第二人脸特征可能对应多个人，因此该第二人脸图像的数量可以至少包括两个，参考相似度的数量可以至少包括两个。因此，本公开实施例还提供了一种人脸识别方法，根据参考相似度、参考误报率以及相似度阈值确定第一人脸特征与第二人脸特征是否对应相同人，包括：
根据参考误报率确定相似度阈值，以及从至少两个参考相似度中确定与第一人脸特征相似度最高的第二人脸特征；
在相似度最高的第二人脸特征与第一人脸特征的参考相似度大于相似度阈值的情况下，确定相似度最高的第二人脸特征与第一人脸特征对应相同人。
本实施例中，电子设备可分别获取第一人脸特征与至少两个第二人脸特征的参考相似度，从而从至少两个参考相似度中确定出与第一人脸特征相似度最高的第二人脸特征，然后再对比该相似度最高的第二人脸特征与第一人脸特征的参考相似度是否大于相似度阈值(根据不同的误报率得到)，若大于，则说明该相似度最高的第二人脸特征与第一人脸特征对应相同人。
进一步地，电子设备根据第一人脸特征与至少两个第二人脸特征的参考相似度得到的归一化后的参考相似度的数量也至少包括两个。因此在确定归一化后的参考相似度之后，该电子设备还可根据归一化后的参考相似度确定与第一人脸特征相似度最高的第二人脸特征，且在该与第一人脸特征相似度最高的第二人脸特征与第一人脸特征的归一化后的参考相似度大于相似度阈值(可根据不同的误报率得到)的情况下，便可确定与第一人脸特征相似度最高的第二人脸特征与第一人脸特征中的人脸属于同一个人脸，即对应相同人。
本公开实施例中，电子设备由于需要对比注册时的人脸图像与人脸识别时的人脸图像是否对应相同人，因此，本公开实施例对于获取人脸注册时的人脸图像的电子设备以及获取人脸识别时的人脸图像的电子设备是否为同一类型(或同一个)的电子设备不作限定。
本公开申请人在实现本公开实施例过程中发现，传统的人脸识别方法往往限制认证的图像类型和注册的图像类型为相同的图像类型，如注册过程采用RGB图像，则认证过程也需采用RGB图像，由此限制了传统人脸识别方案在涉及多类摄像头场景中的应用。本公开实施例为涉及多类摄像头的场景提供了人脸识别解决方案，实施本公开实施例中，通过将一类类型摄像头获取第二人脸图像的人脸图像作为底库特征，通过另一类型摄像头获取的第一人脸图像的人脸特征与底库特征进行比对，根据比对结果实现人脸识别，使得本公开实施例所提供的人脸识别方法应用于更多的场景，不仅方便人脸认证，而且对于人脸注册时的摄像头也不作限定，提高了人脸注册的便利性。
作为示例，以下将以举例的方式来说明本公开实施例所应用的场景：
场景一、
(1)注册过程：用户可通过手机完成人脸注册，即由手机上设置的摄像头拍摄的人脸图像进行注册流程，由于手机通常设置的是可见光摄像头(如RGB摄像头)，因此注册的人脸图像就是RGB摄像头拍摄的第二人脸图像。然后将注册的人脸图像通过手机或经手机通过服务器发送给车载设备，车载设备存储该注册的人脸图像，即车载设备存储第二人脸图像。或者，用户可通过手机上设置的可见光摄像头拍摄得到第二人脸图像，然后将该第二人脸图像发送给服务器或车载设备，从而在服务器或车载设备上完成对第二人脸图像的注册，注册完成后保存基于第二人脸图像提取的第二人脸特征。
(2)识别过程：用户通过车载设备采集需要识别的人脸图像(即第一人脸图像)，车载设备上可设置有红外摄像头，由此经红外摄像头拍摄的如IR人脸图像可作为待进行人脸识别的图像，即第一人脸图像。该车载设备提取IR图像的人脸特征，然后将IR图像的人脸特征和已注册的RGB图像的人脸特征进行比对，从而来确定待识别的用户和已注册的用户是否是同一人。
可理解，本公开实施例所示出的场景一可应用于驾驶员状态监控系统、乘车管理系统、租车管理系统以及网约车管理系统等等。如对于驾驶员状态监控系统来说，该系统常常包括人脸识别、驾驶员动作检测、驾驶员疲劳检测以及驾驶员注意力监控等几个模块。因此上述系统在人脸识别阶段可通过场景一所示的方法来进行人脸识别，从而确定驾驶员的身份或者租赁车辆的人的身份等等。
场景二、
本公开实施例所提供的人脸识别方法还可应用于小区门禁管理系统以及安防布控系统等等，如以小区门禁管理系统为例：
(1)注册过程：用户(某小区内的住户)可通过手机进行人脸注册，即由手机上设置的可见光摄像头(如RGB摄像头)获取该用户的人脸图像即第二人脸图像。然后将注册的人脸图像通过手机或经手机通过服务器发送给门禁控制设备，门禁控制设备存储该第二人脸图像。或者，用户可通过手机上设置的可见光摄像头拍摄得到第二人脸图像，然后将该第二人脸图像发送给门禁控制设备，从而由该门禁控制设备完成对第二人脸图像的注册，注册完成后保存基于该第二人脸图像提取的第二人脸特征。
(2)识别过程：用户需要进入小区时，门禁控制设备可通过红外摄像头(如IR摄像头)来获取该用户的人脸图像即第一人脸图像。然后该门禁控制设备提取第一人脸图像的人脸特征得到第一人脸特征，该门禁控制将通过IR摄像头拍摄的第一人脸图像也即IR图像的人脸特征与已注册的通过RGB摄像头拍摄的RGB图像的人脸特征进行对比，从而来确定待进入小区的用户与已注册的用户是否为同一人。
可理解，以上仅为本公开实施例示出的一些场景，在具体实现中，本公开实施例所提供的方法还可应用于更多的场景中，如本公开实施例所提供的方法还可应用于终端解锁如手机解锁以及银行身份认证系统中等等，本公开实施例不作限定。如对于手机解锁应用来说，用户可通过手机进行人脸注册，然后在每一次使用手机的过程中，该手机均可执行本公开实施例所提供的方法从而实现对人脸图像的识别。可理解，人脸注册时的手机与人脸识别时的手机可为不同的手机，即人脸注册时的手机中的摄像头与人脸识别时的手机中的摄像头类型可不同。又如对金融身份认证系统即银行身份认证系统来说，用户在开银行账号时，可通过银行终端来进行人脸注册，然后在后续办理银行业务的过程中，其他银行终端可执行本公开实施例所提供的方法从而实现对人脸图像的识别，以确保用户银行业务的安全性。其中，人脸注册时的银行终端与人脸识别时的银行终端中的摄像头类型可不同。
因此，不应将本公开实施例所示出的场景理解为对本公开实施例的限定。
本公开申请人在实践本公开实施例过程中进一步发现，同一个人通过RGB摄像头和IR摄像头拍摄两张人脸图像，然后用这两张图像形成RGB图像、IR图像和RGB与红外图像的混合图像这3组混合比较组合，经过同一个神经网络得到的相似度可能存在差异。
同时，两个不同的人分别通过RGB摄像头和IR摄像头拍摄四张人脸图像，然后用这四张人脸图像组成不同的图像组合，如用户1RGB图像与用户2RGB图像，用户1IR图像与用户2IR图像，用户1RGB图像与用户2IR图像，用户1IR图像与用户2RGB图像。这4组混合比较组合，经过同一个神经网络得到的相似度也可能存在差异。
由此，本公开实施例提供了一种训练神经网络(neural network，NN)的技术方案，可有效减小甚至避免上述所出现的问题。可理解，本公开实施例中的神经网络可包括深度神经网络(deep neural network，DNN)、卷积神经网络等等，本公开实施例对于该神经网络的具体形式不作限定。
以下将详细介绍本公开实施例提供的训练神经网络的技术方案。
参见图2，图2是本公开实施例提供的一种神经网络训练方法的流程示意图，该神经网络训练方法可应用于神经网络训练装置，以及该神经网络训练方法还可应用于电子设备，该电子设备可包括服务器或终端设备，该终端设备可包括手机、平板电脑、台式电脑、个人掌上电脑、车载设备、车载机器人等等，本公开实施例对于该电子设备的具体形式不作唯一性限定。可理解，该神经网络的训练方法还可应用于人脸识别装置中。也就是说，图2所示的方法与图1所示的方法可以由同一类型的电子设备执行，也可以由不同类型的电子设备执行等等，本公开实施例不作限定。其中，同一类型的电子设备执行，也就是说，图1所示的方法由终端设备执行，图2所示的方法也可由终端设备执行。又或者，图2所示的方法可以与图1所示的方法由同一个设备执行等等，本公开实施例不作限定。
以下将神经网络训练过程中使用到的训练图像称为图像样本，图像样本包括有标注信息，标注信息可包括但不限于以下至少之一：图像中的人脸ID(也可理解为人脸标注信息)，图像的类型等，其中，对应相同人的人脸ID相同，图像的类型用于表征图像采集对应的摄像头类型。如图2所示，该神经网络训练方法包括：
201、获取第一类型图像样本和第二类型图像样本，第一类型图像样本和第二类型图像样本由不同类型的摄像头拍摄得到，且第一类型图像样本和第二类型图像样本中包括人脸。
本公开实施例中，第一类型图像样本中至少包括人脸的图像，第二类型图像样本中至少包括人脸的图像，且该第一类型图像样本与该第二类型图像样本由不同类型的摄像头得到。如第一类型图像样本由RGB摄像头得到，则第二类型图像样本则可由其他类型摄像头如IR摄像头得到。可理解，对于不同类型的摄像头的具体实施方式可参考图1所示的方式，这里不再一一赘述。
可理解，该第一类型图像样本的数量，以及该第二类型图像样本的数量本公开实施例不作限定。如该第一类型图像样本的数量以及该第二类型图像样本的数量可以以神经网络的训练程度为衡量标准等等。
202、根据第一类型图像样本和第二类型图像样本训练神经网络。
本公开实施例中，电子设备可通过两种不同类型的摄像头拍摄得到的图像样本来训练神经网络，使得神经网络在训练过程中可以学习到对两类不同图像的特征提取能力。当神经网络训练完成之后，基于训练完成的神经网络可对这两类不同图像中的任一类图像进行特征提取，并且保证特征提取的精度，由此满足基于这两类摄像头进行人脸注册和识别的应用需求。也就是说，在训练神经网络时，不单纯使用一个类型图像样本进行训练，而是使用多个类型图像样本进行训练，从而可使得训练出的神经网络能够有效得到不同类型图像样本的特征。
可选的，以监督训练为例，神经网络的训练方法可包括：如将第一类型图像样本和第二类型图像样本输入神经网络，经神经网络对第一类型图像样本和第二类型图像样本进行处理后分别输出神经网络对第一类型图像样本的预测结果和第二类型图像样本的预测结果(即每个图像样本的人脸预测结果)。然后通过预定的损失函数计算图像样本的人脸预测结果和图像样本的标注信息(即真实的人脸标注信息)之间的损失；即通过预定的损失函数计算第一类型图像样本的预测结果与标注信息之间的损失，以及第二类型图像样本的预测结果与标注信息之间的损失。从而将该损失反向回传到神经网络，神经网络根据反向回传的损失调整如卷积核、权重等网络参数的参数值。一般来说，在进行调整后，可再输入其他的第一类型图像样本和其他的第二类型图像样本，重复上述训练过程，如此反复，直至满足预定的训练完成条件(如损失小于预定阈值，或迭代训练次数超过设置次数等等)。可理解，以上仅为本公开实施例提供的一种训练过程，在具体实现中，可能还包括其他方法等，本公开实施例不作限定。
可选的，根据第一类型图像样本和第二类型图像样本训练神经网络包括：
将第一类型图像样本和第二类型图像样本配对，得到第一类型图像样本和第二类型图像样本的混合类型图像样本；
根据第一类型图像样本、第二类型图像样本和混合类型图像样本，训练神经网络。
本实施例中，第一类型图像样本和第二类型图像样本配对，也就是说，混合类型图像样本中每对混合类型图像样本包括第一类型图像样本和第二类型图像样本，由此形成两种不同类型的训练用图像样本。其中，通过第一类型图像样本、第二类型图像样本以及混合类型图像样本来训练神经网络，使得该神经网络不单可以学习到各单一类型的图像的特征提取能力，还可以更好地共同学习到这两类不同类型的图像的特征提取能力，提高神经网络特征提取的准确度，使得训练完成的神经网络能够有效地应用于本公开实施例所提供的人脸识别方法。
可选的，根据第一类型图像样本、第二类型图像样本和混合类型图像样本，训练神经网络，包括：
通过神经网络获取第一类型图像样本的人脸预测结果、第二类型图像样本的人脸预测结果和混合类型图像样本的人脸预测结果；
根据第一类型图像样本的人脸预测结果和人脸标注结果的差异、第二类型图像样本的人脸预测结果和人脸标注结果之间的差异、以及混合类型图像样本的人脸预测结果和人脸标注结果的差异，训练神经网络。
本实施例中，电子设备可通过神经网络分别获取第一类型图像样本的人脸预测结果、第二类型图像样本的人脸预测结果以及混合类型图像样本的人脸预测结果。然后基于该第一类型图像样本的人脸预测结果和人脸标注结果的差异、第二类型图像样本的人脸预测结果和人脸标注结果之间的差异、以及混合类型图像样本的人脸预测结果和人脸标注结果的差异，训练神经网络。如可基于第一类型图像样本的人脸预测结果与人脸标注结果之间的损失来训练神经网络，以及基于第二类型图像样本的人脸预测结果与人脸标注结果之间的损失来训练神经网络，以及基于混合类型图像样本的人脸预测结果与人脸标注结果之间的损失来训练神经网络。可理解，对于具体的训练方法可参考前述实施例的描述，这里不再一一详述。
可选的，为进一步提高神经网络提取人脸特征的准确度，本公开实施例还提供了一种训练方法，如神经网络中包括第一分类器、第二分类器和混合分类器，通过神经网络获取第一类型图像样本、第二类型图像样本和混合类型图像样本的人脸预测结果，包括：
将第一类型图像样本的特征输入至第一分类器中，得到第一类型图像样本的人脸预测结果；
将第二类型图像样本输入至第二分类器中，得到第二类型图像样本的人脸预测结果；
将混合类型图像样本的特征输入至混合分类器中，得到混合类型图像样本的人脸预测结果。
本实施例中，分类器可用于对不同类型图像样本的人脸预测结果进行分类，如通过分类器可得到输入该分类器的图像样本的人脸预测结果，从而可根据分类器的输出确定损失进而反向回传至神经网络，训练该神经网络。可选的，可分别通过第一分类器来输出第一类型图像样本的人脸预测结果，第二分类器来输出第二类型图像样本的人脸预测结果以及混合分类器来输出混合类型图像样本的人脸预测结果。通过与图像样本的类型相对应的分类器来输出人脸预测结果，可有效提高分类器输出人脸预测结果的准确度，进而基于分类器的输出结果提高支持混合类型图像特征提取的神经网络训练的精准度，提高神经网络对不同类型图像人脸特征提取的准确性和鲁棒性。
其中，根据第一类型图像样本、第二类型图像样本和混合类型图像样本，训练神经网络的具体实现方式可如图3所示，图3是本公开实施例提供的一种训练过程示意图。其中，以第一类型图像样本为RGB图像样本，RGB图像样本库包括的各图像样本均为RGB图像样本；第二类型图像样本为IR图像样本，IR图像样本库包括的各图像样本均为IR图像样本；混合类型图像样本为RGB&IR图像样本为例，混合类型图像样本库中包括部分RGB图像样本和部分IR图像样本，表示为RGB&IR图像样本。同时，以第一分类器为RGB分类器、第二分类器为IR分类器以及混合分类器为RGB&IR分类器为例，其中：RGB分类器用于对RGB图像样本库中的RGB图像样本进行分类，某RGB图像样本的分类结果表示该RGB图像样本中的人脸属于RGB图像样本库中各人脸ID类别的概率；IR分类器用于对IR图像样本库中的IR图像样本进行分类，某IR图像样本的分类结果表示该IR图像样本中的人脸属于IR图像样本库中各人脸ID类别的概率；RGB&IR分类器用于对混合类型图像样本库中的RGB图像样本和IR图像样本进行分类，某RGB&IR图像样本表示该图像样本中的人脸属于混合类型图像样本库中各人脸ID类别的概率。其中，RGB&IR图像样本中“&”可表示输入至混合分类器即RGB&IR分类器的图像样本可能为RGB类型的图像样本，也可能为IR类型的图像样本。因此，不应将本公开中的“&”理解为对本公开具有限定意义。
如图3所示，RGB图像样本、IR图像样本和RGB&IR图像样本分别输入至神经网络之后，该神经网络便可通过特征提取器输出RGB图像样本的特征、IR图像样本的特征以及RGB&IR图像样本的特征。而后将RGB图像样本的特征、IR图像样本的特征以及RGB&IR图像样本的特征分别输入至RGB分类器、IR分类器和RGB&IR分类器。由此，由该神经网络通过分类器输出各个图像样本的人脸预测结果，该各个图像样本的人脸预测结果与各个图像样本的人脸标注结果进行比较，即得到各个图像样本的人脸预测结果与各个图像样本的人脸标注结果的损失，再将该损失反向传播至整个神经网络，训练整个神经网络。本实施例中，通过在神经网络中加入分类器，通过分类器来辅助训练整个神经网络，可使得训练完成的神经网络能够准确且有效地提取出不同类型图像的特征，从而提高人脸识别的准确度以及效率。
可理解，在通过第一分类器、第二分类器和混合分类器完成对整个神经网络的训练之后，图2所示的方法还包括：
在训练完成的所述神经网络中去除第一分类器、第二分类器和混合分类器，得到用于进行人脸识别的神经网络。
也就是说，第一分类器、第二分类器和混合分类器可以用来辅助训练神经网络，但是在具体应用中，如应用本公开实施例所提供的方法通过神经网络对人脸识别的过程中，该神经网络中可以不包括该第一分类器、第二分类器以及混合分类器，由此，在神经网络训练装置训练完成之后，可以将神经网络中的第一分类器、第二分类器和混合分类器去除。
本公开实施例中，通过采用不同类型摄像头拍摄得到的图像来训练神经网络，可有效提高该神经网络输出特征的效率，减少甚至避免了不同类型图像经过同一神经网络来提取特征导致的相似度差异。
可选的，为了得到图1所示的用于确定归一化后的参考相似度的阈值信息，本公开实施例还提供了一种阈值信息获取方法，如下所示：
根据第一类型图像样本、第二类型图像样本和混合类型图像样本，训练神经网络之后，图2所示的方法还包括：
获取第一类型图像和第二类型图像，第一类型图像与第二类型图像由不同的摄像头获得；
根据第一类型图像和第二类型图像，获取正样本对和负样本对，每个正样本对包括两个图像，且每个正样本对中两个图像中的人脸对应相同的人；每个负样本对包括两个图像，且每个负样本对中两个图像中的人脸对应不同的人；
经训练完成后的神经网络分别确定正样本对的相似度和负样本对的相似度；
根据正样本对的相似度和负样本对的相似度以及预设不同的误报率，确定阈值信息，阈值信息中包括第一阈值和第二阈值。
本实施例中，第一类型图像中至少包括人脸的图像，第二类型图像中至少包括人脸的图像，且该第一类型图像和该第二类型图像由不同类型的摄像头得到。如可通过RGB摄像头获取若干人的RGB图像，以及通过IR摄像头获取若干人的IR图像，如包括N个人，每个人包括M张RGB图像以及M张IR图像。该M和N均为大于或等于2的整数。
可选的，根据第一类型图像和第二类型图像，获取正样本对，包括：
将第一类型图像进行配对，得到第一类型图像的正样本对；
以及将第二类型图像进行配对，得到第二类型图像的正样本对；
以及将第一类型图像和第二类型图像配对，得到混合图像的正样本对。
本实施例中，如以包括N个人，每个人包括M张RGB图像以及M张IR图像为例，则将每个人包括的M张RGB图像进行配对，得到M*(M-1)/2个RGB正样本对；将每个人包括的M张IR图像进行配对，得到M*(M-1)/2个IR正样本对；将每个人包括的M张RGB图像和M张IR图像进行配对，得到M*M个RGB&IR正样本对。
对于负样本对则可以将每个人的图像与其他不同人的图像配对，构成负样本对。如以第一用户和第二用户为例，则该负样本对可包括第一用户的IR图像、第二用户的IR图像；第一用户的RGB图像、第二用户的RGB图像；以及第一用户的IR图像、第二用户的RGB图像。
得到正负样本和负样本对之后，便可在图2所示的训练的神经网络上测试，如通过训练完成的神经网络输出正样本对的人脸特征以及负样本对的人脸特征，根据该正样本对的人脸特征获得该正样本对的相似度，以及根据该负样本对的人脸特征获得该负样本对的相似度。从而来获得不同误报率下的通过率和对应的阈值。具体的，如在已获得正样本对的相似度以及负样本对的相似度的情况下，根据目标误报率，从各个样本对的相似度中找出相似度最低的样本对，且该相似度最低的样本对属于误报的样本对；从而可将该相似度最低的样本对所对应的相似度作为该目标误报率对应的阈值。可理解，目标误报率可理解为预先设置或选取的一个误报率，本公开实施例对于该目标误报率的具体取值不作限定。
如表1所示，表1是本公开实施例提供的一种阈值信息。
表1
误报率 1e-1 1e-2 … 1e-n
通过率 tpr1 tpr2 … tpr(n)
阈值 T(1) T(2) … T(n)
其中，误报率可由电子设备自主设置等等，本公开实施例对于该误报率的具体取值不作限定。
举例来说，目标误报率为0.00001，正样本对和负样本对一共有1000000对，则可知误报的样本对共有10对。则可以从正样本对和负样本对中找出该10对误报的样本对，然后从中选取出相似度最低的样本对，由此该相似度最低的样本对的相似度即为目标误报率所对应的阈值。如对于表1来说，与目标误报率0.00001对应的阈值为T(5)。可理解，本公开实施例对于如何选取出相似度最低的样本对的方法不作限定，如可通过排序法来获取该相似度最低的样本对等等。以及表1所示的各个对应关系仅为一种示例，对于具体的取值本公开实施例不作限定。
本实施例中，在训练完成神经网络之后，再根据大量的图像来对该神经网络进行测试，从而得到不同误报率下的阈值，即可得到阈值信息，进而使得在应用该神经网络时，可以根据不同的误报率来采用不同的阈值信息(如第一阈值和第二阈值)来确定归一化后的参考相似度。可理解，对于表1的具体应用可参考图1所示的实现方式，如电子设备可根据表1中的阈值信息以及电子设备得到的第一人脸特征与第二人脸特征的参考相似度，确定归一化后的参考相似度，从而根据归一化后的参考相似度确定该第一人脸特征与该第二人脸特征是否对应相同人。
可理解，以上各个实施例各有侧重，一个实施例中未详尽描述的实现方式，可对应参考其他实施例的实现方式，这里不再一一详述。
上述详细阐述了本公开实施例的方法，下面提供了本公开实施例的装置及电子设备，鉴于简洁描述的考虑，装置中在技术原理、技术效果等方面下文未详述的部分，可参见上文中方法实施例的相应记载，不再赘述。
参见图4，图4是本公开实施例提供的一种人脸识别装置的结构示意图，该人脸识别装置可用于执行图1所示的人脸识别方法。如图4所示，该人脸识别装置包括：
第一获取单元401，用于通过第一摄像头获取第一人脸图像；
第一提取单元402，用于提取第一人脸图像的第一人脸特征；
对比单元403，用于将第一人脸特征与第二人脸特征进行对比，获得参考相似度，第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，第二摄像头与第一摄像头属于不同类型的摄像头；
确定单元404，用于根据参考相似度确定第一人脸特征与第二人脸特征是否对应相同人。
本公开申请人在实现本公开实施例过程中发现，传统的人脸识别方法往往限制认证的图像类型和注册的图像类型为相同的图像类型，如注册过程采用RGB图像，则认证过程也需采用RGB图像，由此限制了传统人脸识别方案在涉及多类摄像头场景中的应用。本公开实施例为涉及多类摄像头的场景提供了人脸识别解决方案，实施本公开实施例中，通过将一类类型摄像头获取第二人脸图像的人脸图像作为底库特征，通过另一类型摄像头获取的第一人脸图像的人脸特征与底库特征进行比对，根据比对结果实现人脸识别，使得本公开实施例所提供的人脸识别方法应用于更多的场景，不仅方便人脸认证，而且对于人脸注册时的摄像头也不作限定，提高了人脸注册的便利性。
可选的，第一摄像头为热成像摄像头，第二摄像头为可见光摄像头；或者，第一摄像头为可见光摄像头，第一摄像头为热成像摄像头。
可选的，确定单元404，具体用于根据参考相似度、参考误报率以及相似度阈值确定第一人脸特征与第二人脸特征是否对应相同人；其中，不同的误报率对应不同的相似度阈值。
实施本公开实施例，通过不同的误报率得到不同的相似度阈值，从而来确定第一人脸特征与第二人脸特征是否对应相同人，避免了采用固定的相似度阈值的方式对人脸进行认证的方案，从而可以动态的来确定用于衡量两个人脸图像之间关系的相似度，提高了人脸认证或人脸识别的效率以及准确度。
可选的，确定单元404，具体用于根据参考相似度以及阈值信息确定归一化后的参考相似度；以及根据归一化后的参考相似度确定第一人脸特征与第二人脸特征是否对应相同人。
本公开实施例中，通过参考相似度以及预置信息来确定归一化后的参考相似度，从而根据该归一化后的参考相似度来确定第一人脸特征与第二人脸特征是否对应相同人。有效改进了采用固定阈值的方式来对人脸进行识别的方案，从而可以动态的来确定用于衡量两个人脸图像之间关系的相似度(即归一化后的参考相似度)，提高了人脸识别的效率以及准确度。
可选的，第一提取单元402，具体用于将第一人脸图像输入预先训练完成的神经网络，通过神经网络输出第一人脸图像的第一人脸特征；其中，神经网络基于第一类型图像样本和第二类型图像样本训练得到，第一类型图像样本和第二类型图像样本由不同类型的摄像头拍摄得到，且第一类型图像样本和第二类型图像样本中包括人脸。
本公开实施例中，通过不同类型的图像样本训练神经网络，从而再应用该神经网络如对人脸进行识别等等，提高了人脸识别的效率以及准确度。
可选的，神经网络基于第一类型图像样本、第二类型图像样本和混合类型图像样本训练得到，混合类型图像样本由第一类型图像样本和第二类型图像样本配对而得。
可选的，第一摄像头包括车载摄像头，第一获取单元401，具体用于通过车载摄像头获取第一人脸图像，第一人脸图像包括车辆的用车人的人脸图像。
本公开实施例可有效应用于驾驶员监控系统，从而提高对驾驶员的人脸识别效率。
可选的，用车人包括驾驶车辆的人、乘坐车辆的人、对车辆进行修理的人、给车辆加油的人以及控制车辆的人中的一项或多项。
可选的，在所述用车人包括驾驶车辆的人的情况下，第一获取单元401，具体用于在接收到触发指令的情况下，通过车载摄像头获取第一人脸图像；
或者，第一获取单元401，具体用于在车辆运行时，通过车载摄像头获取第一人脸图像；
或者，第一获取单元401，具体用于在车辆的运行速度达到参考速度的情况下，通过车载摄像头获取第一人脸图像。
可选的，第二人脸图像为对用车人进行人脸注册的图像，如图5所示，人脸识别装置还包括：
第二获取单元405，用于通过第二摄像头获取第二人脸图像；
第二提取单元406，用于提取第二人脸图像的第二人脸特征；
保存单元407，用于保存第二人脸图像的第二人脸特征。
需要说明的是，各个单元的实现还可以对应参照图1所示的方法实施例的相应描述。
参见图6，图6是本公开实施例提供的一种神经网络训练装置的结构示意图，该神经网络训练装置可用于执行图2所示的人脸识别方法。如图6所示，该神经网络训练装置包括：
获取单元601，用于获取第一类型图像样本和第二类型图像样本，第一类型图像样本和第二类型图像样本由不同类型的摄像头拍摄得到，且第一类型图像样本和第二类型图像样本中包括人脸；
训练单元602，用于根据第一类型图像样本和第二类型图像样本训练神经网络。
本公开实施例中，通过采用不同类型摄像头拍摄得到的人脸图像来训练神经网络，可有效提高该神经网络输出人脸特征的准确度；同时在进行人脸识别，应用该神经网络提取人脸特征时，还有效提高了人脸识别的准确度。
可选的，如图7所示，训练单元602包括：
配对子单元6021，用于将第一类型图像样本和第二类型图像样本配对，得到第一类型图像样本和第二类型图像样本的混合类型图像样本；
训练子单元6022，用于根据第一类型图像样本、第二类型图像样本和混合类型图像样本，训练神经网络。
本实施例中，第一类型图像样本和第二类型图像样本配对，也就是说，混合类型图像样本中每对混合类型图像样本包括第一类型图像样本和第二类型图像样本，由此形成两种不同类型的训练用图像样本。其中，通过第一类型图像样本、第二类型图像样本以及混合类型图像样本来训练神经网络，使得该神经网络不单可以学习到各单一类型的图像的特征提取能力，还可以更好地共同学习到这两类不同类型的图像的特征提取能力，提高神经网络特征提取的准确度，使得训练完成的神经网络能够有效地应用于本公开实施例所提供的人脸识别方法。
可选的，训练子单元6022，具体用于通过神经网络获取第一类型图像样本的人脸预测结果、第二类型图像样本的人脸预测结果和混合类型图像样本的人脸预测结果；以及根据第一类型图像样本的人脸预测结果和人脸标注结果的差异、第二类型图像样本的人脸预测结果和人脸标注结果之间的差异、以及混合类型图像样本的人脸预测结果和人脸标注结果的差异，训练神经网络。
可选的，神经网络中包括第一分类器、第二分类器和混合分类器，训练子单元6022，具体用于将第一类型图像样本的特征输入至第一分类器中，得到第一类型图像样本的人脸预测结果；以及将第二类型图像样本输入至第二分类器中，得到第二类型图像样本的人脸预测结果；以及将混合类型图像样本的特征输入至混合分类器中，得到混合类型图像样本的人脸预测结果。
可选的，如图8所示，上述装置还包括：
神经网络应用单元，用于在训练完成的神经网络中去除第一分类器、第二分类器和混合分类器，得到用于进行人脸识别的神经网络。
需要说明的是，各个单元的实现还可以对应参照图2所示的方法实施例的相应描述。
请参见图9，图9是本公开实施例提供的一种电子设备的结构示意图。如图9所示，该电子设备包括处理器901、存储器902和输入输出接口903，所述处理器901、存储器902和输入输出接口903通过连接线相互连接，该连接线可包括总线等等。
输入输出接口903，可用于输入数据和/或信号，以及输出数据和/或信号。
存储器902包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)，该存储器902用于相关指令及数据。
处理器901可以是一个或多个，所述一个或者多个处理器可以为：一个或者多个中央处理器(central processing unit，CPU)，，和/或，一个或多个加速单元等。CPU可以是单核CPU，也可以是多核CPU。加速单元可包括但不限于图像处理器(graphics processingunit，GPU)、可编程逻辑单元(field－programmable gate array，FPGA)等。
可理解，本公开实施例所提供的处理器还可以是其他类型的处理器，本公开实施例对于该处理器的类型不作唯一性限定。以及本公开实施例提供的存储器还可以是其他类型的存储器等等，本公开实施例对于该存储器的类型也不作限定。
可选的，各个操作的实现还可以对应参照图1所示的方法实施例的相应描述。以及各个操作的实现还可对应参考图2所示的方法实施例的相应描述。或者，各个操作的实现还可对应参考图4和图5所示的实施例的相应描述。以及各个操作的实现还可对应参考图6至图8所示的实施例的相应描述。
如在一个实施例中，处理器901可用于执行步骤101至步骤104所示的方法。作为一种示例，处理器还可用于控制输入输出接口来获取第一人脸图像等等，本公开实施例对于如何获取第一人脸图像不作唯一性限定。
又如在一个实施例中，处理器还可用于在执行步骤201和步骤202所示的方法。
又如处理器901还可用于执行第一获取单元401、第一提取单元402、对比单元403、确定单元404所执行的方法等等。
又如处理器901还可用于执行获取单元601和训练单元602所执行的方法等等。
由此，对于图9所示的电子设备的具体实现方式，可对应参考前述各个实施例的描述，这里不再一一详述。
本公开实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机程序来指令相关的硬件完成，该程序可存储于上述计算机存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的人脸识别装置或神经网络训练装置的内部存储单元，例如人脸识别装置或神经网络训练装置的硬盘或内存。上述计算机可读存储介质也可以是上述人脸识别装置或神经网络训练装置的外部存储设备，例如上述人脸识别装置或神经网络训练装置上配备的插接式硬盘，智能存储卡(smart media card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述人脸识别装置或神经网络训练装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述人脸识别装置或神经网络训练装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
在一个或多个可选实施方式中，本公开实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任意实施例中任一所述的方法。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，SDK)等等。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者通过所述计算机可读存储介质进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如，固态硬盘(solid state disk，SSD))等。
本公开实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本公开实施例装置中的模块可以根据实际需要进行合并、划分和删减。
以上所述，以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (10)

1.一种人脸识别方法，其特征在于，包括：
通过第一摄像头获取第一人脸图像；
提取所述第一人脸图像的第一人脸特征；
将所述第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，所述第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，所述第二摄像头与所述第一摄像头属于不同类型的摄像头；
根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
2.根据权利要求1所述的方法，其特征在于，
所述第一摄像头为热成像摄像头，所述第二摄像头为可见光摄像头；
或者，所述第一摄像头为可见光摄像头，所述第一摄像头为热成像摄像头。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人，包括：
根据所述参考相似度、参考误报率以及相似度阈值确定所述第一人脸特征与所述第二人脸特征是否对应相同人；其中，不同的误报率对应不同的相似度阈值。
4.根据权利要求1或2所述的方法，其特征在于，所述根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人，包括：
根据所述参考相似度以及阈值信息确定归一化后的参考相似度；
根据所述归一化后的参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述提取所述第一人脸图像的第一人脸特征，包括：
将所述第一人脸图像输入预先训练完成的神经网络，通过所述神经网络输出所述第一人脸图像的第一人脸特征；其中，所述神经网络基于第一类型图像样本和第二类型图像样本训练得到，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸。
6.一种神经网络训练方法，其特征在于，包括：
获取第一类型图像样本和第二类型图像样本，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸；
根据所述第一类型图像样本和所述第二类型图像样本训练神经网络。
7.一种人脸识别装置，其特征在于，包括：
第一获取单元，用于通过第一摄像头获取第一人脸图像；
第一提取单元，用于提取所述第一人脸图像的第一人脸特征；
对比单元，用于将所述第一人脸特征与预先存储的第二人脸特征进行对比，获得参考相似度，所述第二人脸特征经第二摄像头获取的第二人脸图像的特征提取而得，所述第二摄像头与所述第一摄像头属于不同类型的摄像头；
确定单元，用于根据所述参考相似度确定所述第一人脸特征与所述第二人脸特征是否对应相同人。
8.一种神经网络训练装置，其特征在于，包括：
获取单元，用于获取第一类型图像样本和第二类型图像样本，所述第一类型图像样本和所述第二类型图像样本由不同类型的摄像头拍摄得到，且所述第一类型图像样本和所述第二类型图像样本中包括人脸；
训练单元，用于根据所述第一类型图像样本和所述第二类型图像样本训练神经网络。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器耦合；其中，所述存储器用于存储程序指令，所述程序指令被所述处理器执行时，使所述处理器执行权利要求1-5任一项所述的方法；和/或，使所述处理器执行权利要求6所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时，使所述处理器执行权利要求1-5任一项所述的方法；和/或，使所述处理器执行权利要求6所述的方法。
CN201910145024.9A 2019-02-26 2019-02-26 人脸识别方法、神经网络训练方法、装置及电子设备 Active CN109886222B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910145024.9A CN109886222B (zh) 2019-02-26 2019-02-26 人脸识别方法、神经网络训练方法、装置及电子设备
KR1020217022399A KR20210101313A (ko) 2019-02-26 2019-10-31 얼굴 인식 방법, 신경망 훈련방법, 장치 및 전자 디바이스
JP2021540572A JP7402239B2 (ja) 2019-02-26 2019-10-31 顔認識方法、ニューラルネットワークのトレーニング方法、顔認識装置、電子機器及びコンピュータ可読記憶媒体
PCT/CN2019/114674 WO2020173117A1 (zh) 2019-02-26 2019-10-31 人脸识别方法、神经网络训练方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910145024.9A CN109886222B (zh) 2019-02-26 2019-02-26 人脸识别方法、神经网络训练方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN109886222A true CN109886222A (zh) 2019-06-14
CN109886222B CN109886222B (zh) 2022-03-15

Family

ID=66929610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910145024.9A Active CN109886222B (zh) 2019-02-26 2019-02-26 人脸识别方法、神经网络训练方法、装置及电子设备

Country Status (4)

Country Link
JP (1) JP7402239B2 (zh)
KR (1) KR20210101313A (zh)
CN (1) CN109886222B (zh)
WO (1) WO2020173117A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244728A (zh) * 2019-06-17 2019-09-17 北京三快在线科技有限公司 确定无人驾驶控制策略的方法、装置、设备及存储介质
CN110263744A (zh) * 2019-06-26 2019-09-20 苏州万店掌网络科技有限公司 提高无感人脸识别率的方法
CN110874588A (zh) * 2020-01-17 2020-03-10 南京甄视智能科技有限公司 动态优化人脸识别中光线影响的方法与装置
CN111160149A (zh) * 2019-12-16 2020-05-15 山东大学 基于运动场景及深度学习的车载人脸识别系统及方法
WO2020173117A1 (zh) * 2019-02-26 2020-09-03 北京市商汤科技开发有限公司 人脸识别方法、神经网络训练方法、装置及电子设备
CN112809697A (zh) * 2021-01-11 2021-05-18 福建思特电子有限公司 一种5g智能门卫机器人

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112199998B (zh) * 2020-09-09 2023-06-20 浙江大华技术股份有限公司 一种人脸识别方法、装置、设备及介质
CN112241698A (zh) * 2020-10-12 2021-01-19 安徽富煌科技股份有限公司 一种基于人脸识别的公交车载机
US20220343690A1 (en) * 2021-04-21 2022-10-27 Tascent, Inc. Thermal based presentation attack detection for biometric systems
CN113807319A (zh) * 2021-10-15 2021-12-17 云从科技集团股份有限公司 人脸识别优化方法、装置、设备和介质
CN116311477B (zh) * 2023-05-15 2023-08-01 华中科技大学 一种面向跨身份一致性的面部运动单元检测模型构建方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040005086A1 (en) * 2002-07-03 2004-01-08 Equinox Corporation Method and apparatus for using thermal infrared for face recognition
CN102622579A (zh) * 2012-02-20 2012-08-01 华焦宝 人脸预警方法及系统
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN108491805A (zh) * 2018-03-27 2018-09-04 百度在线网络技术（北京）有限公司 身份认证方法和装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108108711B (zh) * 2017-12-29 2019-12-17 深圳云天励飞技术有限公司 人脸布控方法、电子设备及存储介质
CN108765407A (zh) * 2018-05-31 2018-11-06 上海依图网络科技有限公司 一种人像图片质量判定方法及装置
CN109308495B (zh) * 2018-07-05 2021-07-02 科亚医疗科技股份有限公司 从患者的医学图像自动预测生理状况的装置和系统
CN109241888B (zh) * 2018-08-24 2022-01-28 北京旷视科技有限公司 神经网络训练与对象识别方法、装置和系统及存储介质
CN109886222B (zh) * 2019-02-26 2022-03-15 北京市商汤科技开发有限公司 人脸识别方法、神经网络训练方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040005086A1 (en) * 2002-07-03 2004-01-08 Equinox Corporation Method and apparatus for using thermal infrared for face recognition
CN102622579A (zh) * 2012-02-20 2012-08-01 华焦宝 人脸预警方法及系统
CN105608450A (zh) * 2016-03-01 2016-05-25 天津中科智能识别产业技术研究院有限公司 基于深度卷积神经网络的异质人脸识别方法
CN108491805A (zh) * 2018-03-27 2018-09-04 百度在线网络技术（北京）有限公司 身份认证方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020173117A1 (zh) * 2019-02-26 2020-09-03 北京市商汤科技开发有限公司 人脸识别方法、神经网络训练方法、装置及电子设备
CN110244728A (zh) * 2019-06-17 2019-09-17 北京三快在线科技有限公司 确定无人驾驶控制策略的方法、装置、设备及存储介质
CN110263744A (zh) * 2019-06-26 2019-09-20 苏州万店掌网络科技有限公司 提高无感人脸识别率的方法
CN111160149A (zh) * 2019-12-16 2020-05-15 山东大学 基于运动场景及深度学习的车载人脸识别系统及方法
CN111160149B (zh) * 2019-12-16 2023-05-23 山东大学 基于运动场景及深度学习的车载人脸识别系统及方法
CN110874588A (zh) * 2020-01-17 2020-03-10 南京甄视智能科技有限公司 动态优化人脸识别中光线影响的方法与装置
CN112809697A (zh) * 2021-01-11 2021-05-18 福建思特电子有限公司 一种5g智能门卫机器人

Also Published As

Publication number Publication date
JP2022521038A (ja) 2022-04-05
CN109886222B (zh) 2022-03-15
KR20210101313A (ko) 2021-08-18
WO2020173117A1 (zh) 2020-09-03
JP7402239B2 (ja) 2023-12-20

Similar Documents

Publication Publication Date Title
CN109886222A (zh) 人脸识别方法、神经网络训练方法、装置及电子设备
CN108596277B (zh) 一种车辆身份识别方法、装置和存储介质
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
CN103413147B (zh) 一种车牌识别方法和系统
CN110837807A (zh) 一种套牌车辆的识别方法及系统
WO2019127273A1 (zh) 一种多人脸检测方法、装置、服务器、系统及存储介质
CN109086691A (zh) 一种三维脸部活体检测方法、脸部认证识别方法及装置
CN105574550A (zh) 一种车辆识别方法及装置
CN107273836A (zh) 一种行人检测识别方法、装置、模型和介质
CN105320923B (zh) 车型识别方法及装置
CN110163078A (zh) 活体检测方法、装置及应用活体检测方法的服务系统
CN106022317A (zh) 人脸识别方法及装置
CN107111750A (zh) 欺骗性脸部的检测
Türkyılmaz et al. License plate recognition system using artificial neural networks
CN105069448A (zh) 一种真假人脸识别方法及装置
CN105654066A (zh) 一种车辆识别方法及装置
CN109948616A (zh) 图像检测方法、装置、电子设备及计算机可读存储介质
CN112418360B (zh) 卷积神经网络的训练方法、行人属性识别方法及相关设备
CN108154160A (zh) 车牌颜色识别方法及系统
CN109033175A (zh) 一种以图搜车的方法及系统
CN108984644B (zh) 一种套牌车检索方法及系统
CN106257490A (zh) 检测行驶车辆信息的方法及系统
CN109344856B (zh) 一种基于多层判别式特征学习的脱机签名鉴别方法
CN110175615A (zh) 模型训练方法、域自适应的视觉位置识别方法及装置
CN108764302A (zh) 一种基于颜色特征和词袋特征的票据图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant