CN109784243B - 身份确定方法及装置、神经网络训练方法及装置、介质 - Google Patents
身份确定方法及装置、神经网络训练方法及装置、介质 Download PDFInfo
- Publication number
- CN109784243B CN109784243B CN201811653391.1A CN201811653391A CN109784243B CN 109784243 B CN109784243 B CN 109784243B CN 201811653391 A CN201811653391 A CN 201811653391A CN 109784243 B CN109784243 B CN 109784243B
- Authority
- CN
- China
- Prior art keywords
- image
- face
- identity information
- neural network
- recognized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Collating Specific Patterns (AREA)
Abstract
本公开的实施方式提供了一种身份确定方法，该方法包括：获取待识别图像；确定待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像；利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果；根据关联结果确定待识别脸部侧面图像所表征的身份。本公开的方法使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。此外，本公开的实施方式提供了一种神经网络训练方法、一种身份确定装置、一种神经网络训练装置、一种介质和一种计算设备。
Description
技术领域
本公开的实施方式涉及数据处理领域，更具体地，本公开的实施方式涉及一种身份确定方法、一种身份确定装置、一种神经网络训练方法、一种神经网络训练装置、一种介质和一种计算设备。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
近年来，随着深度学习方法的不断发展，海量人脸识别数据集和多种神经网络框架的相继出现，使得深度学习方法在人脸识别领域也得到了较好的应用，并且取得了一定的效果。
但是，由于自然场景下人脸往往会进行多种角度变换，不同角度的人脸图像往往具有不同的特征，如果将不同变换角度的特征映射到同一向量空间会导致某些特征的丢失，影响人脸识别准确率。因此，目前的人脸识别技术难以适应不同角度的脸部识别，导致无法达到理想的识别效果。
发明内容
因此在现有技术中，人脸识别技术难以适应不同角度的脸部识别继而无法确定被识别脸部的身份信息，这是非常令人烦恼的过程。
为此，非常需要一种改进的身份确定方法及装置、神经网络训练方法及装置、介质和计算设备。
在本上下文中，本发明的实施方式期望提供一种身份确定方法、一种身份确定装置、一种神经网络训练方法、一种神经网络训练装置、一种介质和一种计算设备。
在本发明实施方式的第一方面中，提供了一种身份确定方法，包括获取待识别图像；确定上述待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像；利用神经网络处理上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像，获取上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像之间的关联结果；根据上述关联结果确定上述待识别脸部侧面图像所表征的身份。
可选地，利用神经网络处理上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像包括将上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像进行组合，得到待识别组合图像；利用上述神经网络处理上述待识别组合图像。
可选地，上述神经网络包括第一神经网络、第二神经网络和特征融合网络。
上述利用神经网络处理上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像包括利用上述第一神经网络对上述包含身份信息的脸部正面图像进行处理，获取上述包含身份信息的脸部正面图像的图像特征；利用上述第二神经网络对上述待识别脸部侧面图像进行处理，获取上述待识别脸部侧面图像的图像特征；利用上述特征融合网络将上述包含身份信息的脸部正面图像的图像特征和上述待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征；利用上述特征融合网络处理上述待识别组合图像的图像特征，获取上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像的关联结果。
可选地，上述方法还包括利用正侧脸分类模型对上述待识别图像进行处理，以获取上述待识别图像的类别信息；根据上述待识别图像的类别信息确定上述待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
可选地，根据上述关联结果确定上述待识别脸部侧面图像所表征的身份包括在上述关联结果为概率值的情况下，判断上述概率值是否大于或等于阈值；在上述概率值大于或等于上述阈值的情况下，根据上述包含身份信息的脸部正面图像的身份信息确定上述待识别脸部侧面图像所表征的身份。
可选地，上述在上述概率值大于或等于上述阈值的情况下，根据上述包含身份信息的脸部正面图像的身份信息确定上述待识别脸部侧面图像所表征的身份，还包括在上述概率值大于或等于上述阈值的情况下，将上述包含身份信息的脸部正面图像的身份信息确定为上述待识别侧面图像的身份信息。
可选地，通过如下步骤训练上述神经网络：获取图像样本集，其中，上述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；处理上述图像样本集中的脸部正面图像和脸部侧面图像，以提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征；根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练上述神经网络，以使得训练后的神经网络能够输出脸部正面图像和脸部侧面图像之间的关联结果。
在本发明实施方式的第二方面中，提供了一种神经网络训练方法，包括获取图像样本集，其中，上述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；处理上述图像样本集中的脸部正面图像和脸部侧面图像，以提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征；根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出上述包含身份信息的脸部正面图像和上述包含身份信息的脸部侧面图像之间的关联结果。
可选地，处理上述图像样本集中的脸部正面图像和脸部侧面图像，提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征包括将上述脸部正面图像和上述脸部侧面图像进行组合，得到组合图像；通过上述神经网络的第一特征提取网络提取上述组合图像中的正面部分的特征，得到上述正面部分的图像特征；以及通过上述神经网络的第二特征提取网络提取上述组合图像中的侧面部分的特征，得到上述侧面部分的图像特征。
可选地，根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练神经网络包括将上述正面部分的图像特征和上述侧面部分的图像特征进行组合，得到组合后的图像特征；根据上述组合后的图像特征训练上述神经网络。
可选地，上述神经网络包括第一神经网络、第二神经网络和特征融合网络。
其中，处理上述图像样本集中的脸部正面图像和脸部侧面图像，提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征包括根据上述包含身份信息的脸部正面图像训练上述第一神经网络，输出上述包含身份信息的脸部正面图像的图像特征；根据上述包含身份信息的脸部侧面图像训练上述第二神经网络，输出上述包含身份信息的脸部侧面图像的图像特征；其中，根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练神经网络包括：利用上述特征融合网络将上述包含身份信息的脸部正面图像的图像特征和上述包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练上述特征融合网络，以使得训练后的特征融合网络能够输出上述包含身份信息的脸部正面图像和上述包含身份信息的脸部侧面图像之间的关联结果。
可选地，上述第一神经网络和上述第二神经网络包括卷积神经网络；上述特征融合网络为多层全连接层；其中，在将上述第一神经网络和上述第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为上述特征融合网络的输入。
在本发明实施方式的第三方面中，提供了一种身份确定装置，包括第一获取模块，用于获取待识别图像；第一确定模块，用于确定上述待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像；第二获取模块，用于利用神经网络处理上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像，获取上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像之间的关联结果；第二确定模块，用于根据上述关联结果确定上述待识别脸部侧面图像所表征的身份。
可选地，上述第二获取模块包括第一组合单元，用于将上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像进行组合，得到待识别组合图像；第一处理单元，用于利用上述神经网络处理上述待识别组合图像。
可选地，上述神经网络包括第一神经网络、第二神经网络和特征融合网络；上述第二获取模块包括第二处理单元，用于利用上述第一神经网络对上述包含身份信息的脸部正面图像进行处理，获取上述包含身份信息的脸部正面图像的图像特征；第三处理单元，用于利用上述第二神经网络对上述待识别脸部侧面图像进行处理，获取上述待识别脸部侧面图像的图像特征；第二组合单元，用于利用上述特征融合网络将上述包含身份信息的脸部正面图像的图像特征和上述待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征；第四处理单元，用于利用上述特征融合网络处理上述待识别组合图像的图像特征，获取上述待识别脸部侧面图像和上述包含身份信息的脸部正面图像的关联结果。
可选地，上述装置还包括第三获取模块，用于利用正侧脸分类模型对上述待识别图像进行处理，以获取上述待识别图像的类别信息；第三确定模块，用于根据上述待识别图像的类别信息确定上述待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
可选地，上述第二确定模块包括判断单元，用于在上述关联结果为概率值的情况下，判断上述概率值是否大于或等于阈值；确定单元，用于在上述概率值大于或等于上述阈值的情况下，根据上述包含身份信息的脸部正面图像的身份信息确定上述待识别脸部侧面图像所表征的身份。
可选地，上述确定单元用于在上述概率值大于或等于上述阈值的情况下，将上述包含身份信息的脸部正面图像的身份信息确定为上述待识别侧面图像的身份信息。
可选地，上述装置还包括第一训练模块，用于通过如下步骤训练上述神经网络：获取图像样本集，其中，上述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；处理上述图像样本集中的脸部正面图像和脸部侧面图像，以提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征；根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练上述神经网络，以使得训练后的神经网络能够输出脸部正面图像和脸部侧面图像之间的关联结果。
在本公开实施方式的第四方面中，提供了一种神经网络训练装置，包括第四获取模块，用于获取图像样本集，其中，上述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；第五获取模块，用于处理上述图像样本集中的脸部正面图像和脸部侧面图像，以提取上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征；以及第二训练模块，用于根据上述脸部正面图像的图像特征和上述脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出上述包含身份信息的脸部正面图像和上述包含身份信息的脸部侧面图像之间的关联结果。
可选地，上述第五获取模块包括第三组合单元，用于将上述脸部正面图像和上述脸部侧面图像进行组合，得到组合图像；第一提取单元，用于通过上述神经网络的第一特征提取网络提取上述组合图像中的正面部分的特征，得到上述正面部分的图像特征；第二提取单元，用于通过上述神经网络的第二特征提取网络提取上述组合图像中的侧面部分的特征，得到上述侧面部分的图像特征。
可选地，上述第二训练模块用于将上述正面部分的图像特征和上述侧面部分的图像特征进行组合，得到组合后的图像特征；以及根据上述组合后的图像特征训练上述神经网络。
可选地，上述神经网络包括第一神经网络、第二神经网络和特征融合网络。
其中，上述第五获取模块用于根据上述包含身份信息的脸部正面图像训练上述第一神经网络，输出上述包含身份信息的脸部正面图像的图像特征；根据上述包含身份信息的脸部侧面图像训练上述第二神经网络，输出上述包含身份信息的脸部侧面图像的图像特征；
其中，上述第二训练模块用于利用上述特征融合网络将上述包含身份信息的脸部正面图像的图像特征和上述包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练上述特征融合网络，以使得训练后的特征融合网络能够输出上述包含身份信息的脸部正面图像和上述包含身份信息的脸部侧面图像之间的关联结果。
可选地，上述第一神经网络和上述第二神经网络包括卷积神经网络；以及上述特征融合网络为多层全连接层；其中，在将上述第一神经网络和上述第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为上述特征融合网络的输入。
在本发明实施方式的第五方面中，提供了一种介质，存储有计算机可执行指令，上述指令在被处理单元执行时用于实现如上上述的方法。
在本公开实施方式的第六方面中，提供了一种计算设备，包括处理单元；以及存储单元，存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现如上上述的方法。
通过本公开的实施例，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
图1示意性地示出了根据本公开实施方式的应用场景示意图；
图2示意性地示出了根据本公开实施例的身份确定方法的流程图；
图3A示意性示出了根据本公开实施例的利用神经网络处理待识别组合图像的流程图；
图3B示意性示出了根据本公开实施例的利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像的流程图；
图4示意性示出了根据本公开实施例的神经网络训练方法的流程图；
图5示意性地示出了根据本公开实施例的身份确定装置的框图；
图6示意性地示出了根据本公开实施例的神经网络训练装置的框图；
图7示意性地示出了根据本公开实施方式的用于实现身份确定方法或神经网络训练方法的程序产品示意图；以及
图8示意性地示出了根据本公开实施例的用于实现身份确定方法或神经网络训练方法的计算设备的框图。
在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道，本公开的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
根据本公开的实施方式，提出了一种身份确定方法、一种身份确定装置、一种神经网络训练方法、一种神经网络训练装置、一种介质和一种计算设备。
根据本公开的实施方式，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
下面参考本公开的若干代表性实施方式，详细阐释本公开的原理和精神。
发明概述
本发明人发现，随着深度学习方法的不断发展，海量人脸识别数据集和多种神经网络框架的相继出现，使得深度学习方法在人脸识别领域也得到了较好的应用。但是，在自然场景下人脸往往会进行多种角度变换，不同角度的人脸图像往往具有不同的特征，如果将不同变换角度的特征映射到同一向量空间会导致某些特征的丢失，影响人脸识别准确率。因此，目前的人脸识别技术难以适应不同角度的脸部识别，导致无法达到理想的识别效果。
基于以上分析，发明人构想到利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。根据本公开的技术构想，可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
在介绍了本公开的基本原理之后，下面具体介绍本公开的各种非限制性实施方式。
应用场景总览
首先参考图1详细阐述本公开实施例的身份确定方法及装置的应用场景。
图1示意性地示出了根据本公开实施方式的应用场景示意图。
如图1所示，可以通过电子设备101上的采集装置1011采集用户图像，在该用户图像为待识别脸部侧面图像的情况下，可以从正脸图像库中获取包含身份信息的脸部正面图像，然后利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。
根据本公开的实施例，例如，在待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果表明两张图像为同一个人的情况下，可以将脸部正面图像的身份确定为待识别脸部侧面图像的身份。
本公开实施例所提供的身份确定方法一般可以由电子设备101执行，或者也可以由不同于电子设备101的其他终端设备执行。相应地，本公开实施例所提供的身份确定装置也可以设置于电子设备101中，或设置于不同于电子设备101的其他终端设备中。
本公开实施例所提供的身份确定方法也可以由能够与电子设备101通信的服务器(图中未示出)执行。相应地，本公开实施例所提供的身份确定装置一般可以设置于服务器中。本公开实施例所提供的身份确定方法也可以由不同于服务器且能够与电子设备101和/或服务器通信的服务器或服务器集群执行。相应地，本公开实施例所提供的身份确定装置也可以设置于不同于服务器且能够与电子设备101和/或服务器通信的服务器或服务器集群中。
需要说明的是，图1所示仅为可以应用本公开实施例的场景的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
根据本公开的实施例，例如，用户在超市购物时，当需要支付货款时，可以通过超市的摄像头采集用户的待识别脸部侧面图像，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。
通过本公开的实施例，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
示例性方法
下面结合图1的应用场景，参考图2来描述根据本公开示例性实施方式的身份确定方法。需要注意的是，上述应用场景仅是为了便于理解本公开的精神和原理而示出，本公开的实施方式在此方面不受任何限制。相反，本公开的实施方式可以应用于适用的任何场景。
图2示意性地示出了根据本公开实施例的身份确定方法的流程图。
如图2所示，该身份确定方法包括操作S201～操作S204。
在操作S201，获取待识别图像。
根据本公开的实施例，在自然场景下，往往具有多种角度变换的人脸。因此，待识别图像可能是脸部正面图像，也可能是不同角度的脸部侧面图像。
根据本公开的实施例，可以利用正侧脸分类模型对待识别图像进行处理，以获取待识别图像的类别信息，然后根据待识别图像的类别信息确定待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
根据本公开的实施例，可以将待识别图像输入正侧脸分类模型中，确定待识别图像的类别信息。根据待识别图像的类别信息可以判断要识别的人脸是正脸还是侧脸，如果待识别图像为正脸，可以使用相关技术中准确率较高的正脸识别方法确定用户身份。如果待识别图像为侧脸，可以采用本公开所提供的身份确定方法。
根据本公开的实施例，可以通过正脸数据集和侧脸数据集训练得到正侧脸分类模型，该正侧脸分类模型可以确定待识别图像的类别信息。
在操作S202，确定待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像。
根据本公开的实施例，可以从人脸验证库中获取一张或多张包含身份信息的脸部正面图像。
在操作S203，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果。
根据本公开的实施例，可以利用神经网络处理待识别脸部侧面图像和每一张包含身份信息的脸部正面图像，输出待识别脸部侧面图像和每一张包含身份信息的脸部正面图像之间的关联结果，得到一个或多个关联结果。
在操作S204，根据关联结果确定待识别脸部侧面图像所表征的身份。
根据本公开的实施例，在具有多个关联结果的情况下，可以从多个关联结果中确定图像相关性最高的关联结果，然后将相关性最高的关联结果对应的包含身份信息的脸部正面图像的身份信息确定为待识别侧面图像的身份信息。
根据本公开的实施例，在关联结果为概率值的情况下，判断概率值是否大于或等于阈值，在概率值大于或等于阈值的情况下，根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份。
根据本公开的实施例，在概率值大于或等于阈值的情况下，将包含身份信息的脸部正面图像的身份信息确定为待识别侧面图像的身份信息。
根据本公开的实施例，例如，待识别脸部侧面图像和某一包含身份信息的脸部正面图像之间的关联结果为0.8，设定阈值为0.6，由于0.8大于0.6，说明待识别脸部侧面图像和包含身份信息的脸部正面图像相关性较高，此时，可以将包含身份信息的脸部正面图像的身份信息确定为待识别侧面图像的身份信息。
根据本公开的实施例，若神经网络输出的的关联结果为1，说明待识别脸部侧面图像和包含身份信息的脸部正面图像为同一人，若神经网络输出的的关联结果为0，则说明两张图像所表征的用户为不同的人。
根据本公开的实施例，通过神经网络最终输出正侧脸属于同一人的概率值，从而实现对侧脸的识别，将多分类问题转化为二分类问题，简化了识别过程，提高了识别效率。
通过本公开的实施例，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
根据本公开的实施例，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像包括将待识别脸部侧面图像和包含身份信息的脸部正面图像进行组合，得到待识别组合图像，利用神经网络处理待识别组合图像。
根据本公开的实施例，可以将脸部侧面图像与人脸验证库中包含身份信息的脸部正面图像拼接在一起，得到正侧脸图像作为待识别组合图像。例如，脸部侧面图像和脸部正面图像的高度与宽度均为112个像素，在组合之后，待识别组合图像的宽为224个像素，高为112个像素。在待识别组合图像中，宽度方向上的前(以下称作“宽度前”)112个像素、高度方向上的112个像素的图像为脸部正面图像，宽度方向上的后(以下称作“宽度后”)112个像素以及高度方向上的112个像素的图像为脸部侧面图像。再例如，脸部侧面图像和脸部正面图像的高度与宽度均为112个像素，在组合之后，待识别组合图像的高为224个像素，宽为112个像素。在待识别组合图像中，高度方向上的前(以下称作“高度前”)112个像素、宽度方向上的112个像素的图像为脸部正面图像，高度方向上的后(以下称作“高度后”)112个像素以及宽度方向上的112个像素的图像为脸部侧面图像。
根据本公开的实施例，处理待识别组合图像所使用的神经网络可以是端到端的深度卷积神经网络，深度卷积神经网络可以由主干卷积网络和多层全连接层构成。
图3A示意性示出了根据本公开实施例的利用神经网络处理待识别组合图像的流程图。
如图3A所示，在将待识别脸部侧面图像和包含身份信息的脸部正面图像进行组合，得到待识别组合图像之后，将待识别组合图像输入神经网络中。
根据本公开的实施例，例如，使用人脸验证库中的包含身份信息的脸部正面图像与该脸部侧面图像拼接为测试图像ti，将测试图像ti送入训练好的神经网络中并输出结果。
根据本公开的实施例，可以通过神经网络的第一卷积网络处理待识别组合图像的脸部正面图像部分，通过神经网络的第二卷积网络处理待识别组合图像的脸部侧面图像部分。
例如，在待识别组合图像中，宽度前112个像素，高度112个像素的图像为脸部正面图像，宽度后112个像素，高度112个像素的图像为脸部侧面图像。通过第一卷积网络处理宽度前112个像素，高度112个像素的图像部分，通过神经网络的第二卷积网络处理宽度后112个像素，高度112个像素的图像部分。最后取每一全连接层的输出作为人脸图像的特征向量，具体地，特征向量的维度可以是512维特征向量，然后可以将两个主干卷积网络输出的两个512维特征向量拼接成1024维向量。
再例如，在待识别组合图像中，高度前112个像素，宽度方向上的112个像素的图像为脸部正面图像，高度后112个像素，宽度方向上的112个像素的图像为脸部侧面图像。通过第一卷积网络处理高度前112个像素，宽度方向上的112个像素的图像部分，通过神经网络的第二卷积网络处理高度后112个像素，宽度方向上的112个像素的图像部分。
将待识别组合图像的1024维向量经过一层或多层全连接层处理后，最后输入到softmax分类层，得到一个二维向量，代表预测的正侧脸相关性结果。其中，损失函数可以由Softmax和交叉熵函数组成。
其中，Softmax的表达式如下：
交叉熵的表达式如下：
其中，yi代表第i个样本的真实类别，其中，真实类别表示第i个样本所涉及的正脸图像和侧脸图像是否属于同一个人，若属于同一个人为1，若不属于同一个人为0，
代表第i个样本预测的概率值，k为正整数，代表训练网络过程中设置的样本批尺寸大小。
图3B示意性示出了根据本公开实施例的利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像的流程图。
如图3B所示，根据本公开的实施例，神经网络包括第一神经网络、第二神经网络和特征融合网络。
根据本公开的实施例，第一神经网络和第二神经网络包括卷积神经网络，特征融合网络为多层全连接层。其中，在将第一神经网络和第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为特征融合网络的输入。
根据本公开的实施例，利用第一神经网络对包含身份信息的脸部正面图像进行处理，获取包含身份信息的脸部正面图像的图像特征。
根据本公开的实施例，利用第二神经网络对待识别脸部侧面图像进行处理，获取待识别脸部侧面图像的图像特征。
根据本公开的实施例，利用特征融合网络将包含身份信息的脸部正面图像的图像特征和待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征，利用特征融合网络处理待识别组合图像的图像特征，获取待识别脸部侧面图像和包含身份信息的脸部正面图像的关联结果。
根据本公开的实施例，例如，利用第一神经网络对包含身份信息的脸部正面图像进行处理后得到脸部正面图像特征为512维特征向量，利用第二神经网络对待识别脸部侧面图像进行处理后得到脸部侧面图像特征为512维特征向量，然后可以将第一神经网络和第二神经网络分别输出的512维特征向量拼接成1024维向量。利用特征融合网络中的全连接层处理待识别组合图像的图像特征，获取待识别脸部侧面图像和包含身份信息的脸部正面图像的关联结果。
根据本公开的实施例，通过两种神经网络处理包含身份信息的脸部正面图像和待识别脸部侧面图像，可以输出正侧脸属于同一人的概率值，从而对侧脸进行识别，将多分类问题转化为多个二分类问题，简化了识别过程，提高了识别效率。
下面参考图4，结合具体实施例对图2、图3A和图3B所示的方法做进一步说明。
在该实施例中，提供了一种神经网络的训练方法。需要说明的是，对于图2、图3A和图3B所示的方法描述部分，涉及神经网络部分的内容同样适用于本实施例，为了描述的简洁起见，在此不再赘述。
图4示意性示出了根据本公开实施例的神经网络训练方法的流程图。
如图4所示，神经网络训练方法包括操作S401～S403。
在操作S401，获取图像样本集，其中，图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像。
根据本公开的实施例，图像样本集也可以称之为正侧脸图像样本数据集，数据集中的一个样本可以是由一张脸部正面图像和一张脸部侧面图像构成的一对样本。根据本公开的实施例，脸部正面图像和脸部侧面图像可以是3通道，宽高均为112个像素的图像，其中正侧脸图像是否属于同一人对应不同的样本标签。例如，正侧脸图像属于同一人对应样本标签1，正侧脸图像不属于同一人对应样本标签0。
在操作S402，处理图像样本集中的脸部正面图像和脸部侧面图像，以提取脸部正面图像的图像特征和脸部侧面图像的图像特征。
在操作S403，根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像之间的关联结果。
根据本公开的实施例，利用图像样本集对神经网络进行训练，网络结构可以包含特征提取网络和特征融合网络。根据本公开的实施例，可以将一张包含正侧脸两部分的图像输入神经网络，然后分别对两部分进行特征提取，也可以是将脸部正面图像和脸部侧面图像分别输入不同神经网络，分别输出对应的特征向量。再将得到的两个特征向量进行融合，最终输出正侧脸属于同一人的概率值。
根据本公开的实施例，根据神经网络输出的概率值，当概率大于阈值时判断该正面图像和侧面图像为同一人，否则为不同的人。通过匹配阈值，确定与侧脸最大相关性的脸部正面图像，对侧脸进行识别。可以根据实际需求设定该阈值，例如0.7，当然，本公开实施例不局限于此。
通过本公开的实施例，通过上述方式训练得到的神经网络，可以用于处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
根据本公开的实施例，处理图像样本集中的脸部正面图像和脸部侧面图像，提取脸部正面图像的图像特征和脸部侧面图像的图像特征包括：
将脸部正面图像和脸部侧面图像进行组合，得到组合图像，通过神经网络的第一特征提取网络提取组合图像中的正面部分的特征，得到正面部分的图像特征，通过神经网络的第二特征提取网络提取组合图像中的侧面部分的特征，得到侧面部分的图像特征。
根据本公开的实施例，图像样本集可以包含人脸样本数据集A和B。其中，数据集A为包含人脸正脸部分的数据集，数据集B为与数据集A中的正脸的身份信息对应的包含人脸侧脸部分的数据集。每个数据集中的人脸图像可以经过人脸对齐操作，每幅人脸图像均为3通道，高度与宽度均为112个像素。
根据本公开的实施例，图像样本集可以由数据集A与B组合而来。若假设xi为图像样本集中的一个样本，yi为其对应的代表身份信息的真实类别，那么xi可以是数据集A与B中任意选出的两张图像组合在一起的正侧脸图像。根据本公开的实施例，其中，组合后的正侧脸图像的宽可以为224个像素，高可以为112个像素，或者高可以为224个像素，宽可以为112个像素。在正侧脸图像的宽为224个像素，高可以为112个像素的情况下，在xi中，宽度前112个像素，高度112个像素的图像为被选出的数据集A中的脸部正面图像xif。宽度后112个像素，高度112个像素的图像为被选出的数据集B中的脸部侧面图像xip。若同一个样本中的正脸与侧脸来自于同一个人ID，则正侧脸图像的真实类别为1，否则为0。根据本发明的实施例，正脸与例脸来自于同一人ID表示正脸的身份信息和侧脸的身份信息表征为同一个人。
根据本公开的实施例，如图3A所示，第一特征提取网络可以是第一卷积网络，用于提取组合图像中的正面部分的特征。第二特征提取网络可以是第二卷积网络，用于提取组合图像中的侧面部分的特征。
根据本公开的实施例，根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络包括：将正面部分的图像特征和侧面部分的图像特征进行组合，得到组合后的图像特征，根据组合后的图像特征训练神经网络。
根据本公开的实施例，如图3A所示，可以将正面部分的图像特征和侧面部分的图像特征进行组合，即经过特征拼接，得到组合后的图像特征，将组合后的图像特征经过多层全连接层处理。第一特征提取网络和第二特征提取网络可以是两个结构相同但不共享权重的网络。
根据本公开的实施例，经过多层全连接层后计算损失函数，通过计算损失函数对网络权重进行反向更新。该损失函数由Softmax和交叉熵函数组成，Softmax和交叉熵函数可参考上述图3A中的描述，在此不再赘述。
根据本公开的实施例，具体地，在将图像样本集中的样本xi输入神经网络后，首先根据宽度的位置或者根据高度的位置分成数据集A、B中的正脸xif与侧脸xip两张图像。然后通过两个结构相同但不共享权重的卷积网络CNN来提取正脸图像xif与侧脸图像xip的特征，该CNN可以具有与resnet50相同的结构，把CNN最后一层提取的特征利用全连接层进行处理。接着将二者组合后的图像特征连接起来构成组合向量输入三层全连接层，并使用损失函数反向传播来更新梯度，训练整个神经网络。
根据本公开的实施例，神经网络包括第一神经网络、第二神经网络和特征融合网络。具体地，神经网络的架构可参考图3B。
根据本公开的实施例，根据包含身份信息的脸部正面图像训练第一神经网络，输出包含身份信息的脸部正面图像的图像特征，根据包含身份信息的脸部侧面图像训练第二神经网络，输出包含身份信息的脸部侧面图像的图像特征。
根据本公开的实施例，根据图像样本集中的脸部正面图像和脸部侧面图像分别训练神经网络。例如，利用图像样本集中的脸部正面图像训练第一神经网络，利用图像样本集中的脸部侧面图像训练第二神经网络。使得第一神经网络具有提取脸部正面图像特征的能力，例如可提取脸部正面图像的512维特征向量。使得第二神经网络具有提取脸部侧面图像特征的能力，例如可提取脸部侧面图像的512维特征向量。
根据本公开的实施例，根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络包括：
利用特征融合网络将包含身份信息的脸部正面图像的图像特征和包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练特征融合网络，以使得训练后的特征融合网络能够输出包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像之间的关联结果。
根据本公开的实施例，例如，包含身份信息的脸部正面图像的图像特征和包含身份信息的脸部侧面图像的图像特征分别为512维特征向量，将二者组合起来得到1024维特征向量，若向量来自同一人ID，其标签yi为1，否则yi则为0。将组合后的图像特征输入多层全连接层，并使用损失函数反向传播来更新梯度，训练神经网络。
根据本公开的实施例，在使用训练好的神经网络进行侧脸识别的过程中，由于自然场景下人脸往往具有多种角度，可以先将需要识别的脸部侧面图像经过人脸对齐，例如变为112*112大小的图像，将其送入第二神经网络中获得其512维特征向量，使用人脸验证库中的已知身份的脸部正面图像送入第一神经网络中获得其512维特征向量，并将二者的特征向量拼接起来，得到全连接层的输入数据，即1024维特征向量。将其送入后半部分的全连接网络中，即输入特征融合网络中，最后得到神经网络的输出。若神经网络的输出为1，则该脸部侧面图像与该人脸验证库中的已知身份的脸部正面图像为同一人，若神经网络的输出为0，则为不同人。
示例性装置
在介绍了本公开示例性实施方式的方法之后，接下来，参考图5对本公开示例性实施方式的身份确定装置进行描述。
图5示意性地示出了根据本公开实施例的身份确定装置的框图。
如图5所示，身份确定装置500包括第一获取模块501、第一确定模块502、第二获取模块503和第二确定模块504。
第一获取模块501用于获取待识别图像。
第一确定模块502用于确定待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像。
第二获取模块503用于利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果。
第二确定模块504用于根据关联结果确定待识别脸部侧面图像所表征的身份。
通过本公开的实施例，利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
根据本公开的实施例，第二获取模块503包括第一组合单元，用于将待识别脸部侧面图像和包含身份信息的脸部正面图像进行组合，得到待识别组合图像；第一处理单元，用于利用神经网络处理待识别组合图像。
根据本公开的实施例，神经网络包括第一神经网络、第二神经网络和特征融合网络。
根据本公开的实施例，第二获取模块503包括第二处理单元，用于利用第一神经网络对包含身份信息的脸部正面图像进行处理，获取包含身份信息的脸部正面图像的图像特征；第三处理单元，用于利用第二神经网络对待识别脸部侧面图像进行处理，获取待识别脸部侧面图像的图像特征；第二组合单元，用于利用特征融合网络将包含身份信息的脸部正面图像的图像特征和待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征；第四处理单元，用于利用特征融合网络处理待识别组合图像的图像特征，获取待识别脸部侧面图像和包含身份信息的脸部正面图像的关联结果。
根据本公开的实施例，身份确定装置500还包括第三获取模块，用于利用正侧脸分类模型对待识别图像进行处理，以获取待识别图像的类别信息；第三确定模块，用于根据待识别图像的类别信息确定待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
根据本公开的实施例，第二确定模块504包括判断单元，用于在关联结果为概率值的情况下，判断概率值是否大于或等于阈值；确定单元，用于在概率值大于或等于阈值的情况下，根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份。
根据本公开的实施例，确定单元用于在概率值大于或等于阈值的情况下，将包含身份信息的脸部正面图像的身份信息确定为待识别侧面图像的身份信息。
根据本公开的实施例，身份确定装置500还包括第一训练模块，用于通过如下步骤训练神经网络：获取图像样本集，其中，图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；处理图像样本集中的脸部正面图像和脸部侧面图像，以提取脸部正面图像的图像特征和脸部侧面图像的图像特征；根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出脸部正面图像和脸部侧面图像之间的关联结果。
图6示意性地示出了根据本公开实施例的神经网络训练装置的框图。
如图6所示，神经网络训练装置600包括第四获取模块601、第五获取模块602和第二训练模块603。
第四获取模块601用于获取图像样本集，其中，图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像。
第五获取模块602用于处理图像样本集中的脸部正面图像和脸部侧面图像，以提取脸部正面图像的图像特征和脸部侧面图像的图像特征。
第二训练模块603用于根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像之间的关联结果。
通过本公开实施例的神经网络训练装置，可以用于处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果，根据关联结果确定待识别脸部侧面图像所表征的身份。使得可以根据包含身份信息的脸部正面图像的身份信息确定待识别脸部侧面图像所表征的身份，使得可以识别不同角度的脸部侧面图像，从而显著地提高了人脸识别的准确率，为用户带来了更好的体验。
根据本公开的实施例，第五获取模块602包括第三组合单元，用于将脸部正面图像和脸部侧面图像进行组合，得到组合图像；第一提取单元，用于通过神经网络的第一特征提取网络提取组合图像中的正面部分的特征，得到正面部分的图像特征；第二提取单元，用于通过神经网络的第二特征提取网络提取组合图像中的侧面部分的特征，得到侧面部分的图像特征。
根据本公开的实施例，第二训练模块603用于将正面部分的图像特征和侧面部分的图像特征进行组合，得到组合后的图像特征；根据组合后的图像特征训练神经网络。
根据本公开的实施例，神经网络包括第一神经网络、第二神经网络和特征融合网络；
根据本公开的实施例，第五获取模块602用于根据包含身份信息的脸部正面图像训练第一神经网络，输出包含身份信息的脸部正面图像的图像特征；根据包含身份信息的脸部侧面图像训练第二神经网络，输出包含身份信息的脸部侧面图像的图像特征；
根据本公开的实施例，第二训练模块603用于利用特征融合网络将包含身份信息的脸部正面图像的图像特征和包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练特征融合网络，以使得训练后的特征融合网络能够输出包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像之间的关联结果。
根据本公开的实施例，第一神经网络和第二神经网络包括卷积神经网络；特征融合网络为多层全连接层；其中，在将第一神经网络和第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为特征融合网络的输入。
示例性介质
在介绍了本公开示例性实施方式的装置之后，接下来，参考图7对本公开示例性实施方式的、用于存储有计算机可执行指令，该指令在被处理单元执行时用于实现本公开所提供的身份确定方法或神经网络训练方法的介质进行描述。
在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算设备上运行时，所述程序代码用于使所述计算设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的身份确定方法或神经网络训练方法中的操作，例如，计算设备可以执行如图2中所示的操作S201：获取待识别图像。操作S202：确定待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像。操作S203：利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果。操作S204：根据关联结果确定待识别脸部侧面图像所表征的身份。再例如，计算设备可以执行如图4中所示的操作S401：获取图像样本集。操作S402：处理图像样本集中的脸部正面图像和脸部侧面图像，以提取脸部正面图像的图像特征和脸部侧面图像的图像特征。操作S403：根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
图7示意性地示出了根据本公开实施方式的用于实现身份确定方法或神经网络训练方法的程序产品示意图。
如图7所示，描述了根据本公开的实施方式的用于实现身份确定方法或神经网络训练方法的程序产品70，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆，RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言——诸如Java，C++等，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
示例性计算设备
在介绍了本公开示例性实施方式的方法、介质和装置之后，接下来，参考图8对本公开示例性实施方式的计算设备进行描述，该计算设备包括处理单元和存储单元，存储单元存储有计算机可执行指令，上述指令在被上述处理单元执行时用于实现本公开所提供的身份确定方法或神经网络训练方法。
本公开实施例还提供了一种计算设备。所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
在一些可能的实施方式中，根据本公开的计算设备可以至少包括至少一个处理单元、以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的身份确定方法或神经网络训练方法中的操作。例如，所述处理单元可以执行如图2中所示的操作S201：获取待识别图像。操作S202：确定待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像。操作S203：利用神经网络处理待识别脸部侧面图像和包含身份信息的脸部正面图像，获取待识别脸部侧面图像和包含身份信息的脸部正面图像之间的关联结果。操作S204：根据关联结果确定待识别脸部侧面图像所表征的身份。再例如，所述处理单元可以执行如图4中所示的操作S401：获取图像样本集。操作S402：处理图像样本集中的脸部正面图像和脸部侧面图像，以提取脸部正面图像的图像特征和脸部侧面图像的图像特征。操作S403：根据脸部正面图像的图像特征和脸部侧面图像的图像特征训练神经网络。
图8示意性地示出了根据本公开实施例的用于实现身份确定方法或神经网络训练方法的计算设备的框图。
下面参照图8来描述根据本公开的这种实施方式的用于实现身份确定方法或神经网络训练方法的计算设备80。如图8所示的计算设备80仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图8所示，计算设备80以通用计算设备的形式表现。计算设备80的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802、连接不同系统组件(包括存储单元802和处理单元801)的总线803。
总线803包括数据总线、地址总线和控制总线。
存储单元802可以包括易失性存储器，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022，还可以进一步包括只读存储器(ROM)8023。
存储单元802还可以包括具有一组(至少一个)程序模块8024的程序/实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
计算设备80也可以与一个或多个外部设备804(例如键盘、指向设备、蓝牙设备等)通信，这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器806通过总线803与计算设备80的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
应当注意，尽管在上文详细描述中提及了装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
Claims (18)
1.一种身份确定方法，包括：
获取待识别图像；
确定所述待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像；
利用神经网络处理所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像，获取所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像之间的关联结果；以及
根据所述关联结果确定所述待识别脸部侧面图像所表征的身份；
其中，利用神经网络处理所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像包括：
将所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像进行组合，得到待识别组合图像；以及
利用所述神经网络处理所述待识别组合图像；其中，所述神经网络包括第一神经网络、第二神经网络和特征融合网络；
所述利用神经网络处理所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像包括：
利用所述第一神经网络对所述包含身份信息的脸部正面图像进行处理，获取所述包含身份信息的脸部正面图像的图像特征；
利用所述第二神经网络对所述待识别脸部侧面图像进行处理，获取所述待识别脸部侧面图像的图像特征；
利用所述特征融合网络将所述包含身份信息的脸部正面图像的图像特征和所述待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征；以及
利用所述特征融合网络处理所述待识别组合图像的图像特征，获取所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像的关联结果。
2.根据权利要求1所述的方法，还包括：
利用正侧脸分类模型对所述待识别图像进行处理，以获取所述待识别图像的类别信息；以及
根据所述待识别图像的类别信息确定所述待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
3.根据权利要求1所述的方法，根据所述关联结果确定所述待识别脸部侧面图像所表征的身份包括：
在所述关联结果为概率值的情况下，判断所述概率值是否大于或等于阈值；以及
在所述概率值大于或等于所述阈值的情况下，根据所述包含身份信息的脸部正面图像的身份信息确定所述待识别脸部侧面图像所表征的身份。
4.根据权利要求3所述的方法，所述在所述概率值大于或等于所述阈值的情况下，根据所述包含身份信息的脸部正面图像的身份信息确定所述待识别脸部侧面图像所表征的身份，还包括：
在所述概率值大于或等于所述阈值的情况下，将所述包含身份信息的脸部正面图像的身份信息确定为所述待识别侧面图像的身份信息。
5.根据权利要求1所述的方法，还包括，通过如下步骤训练所述神经网络：
获取图像样本集，其中，所述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；
处理所述图像样本集中的脸部正面图像和脸部侧面图像，以提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征；以及
根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练所述神经网络，以使得训练后的神经网络能够输出脸部正面图像和脸部侧面图像之间的关联结果。
6.一种神经网络训练方法，包括：
获取图像样本集，其中，所述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；
处理所述图像样本集中的脸部正面图像和脸部侧面图像，以提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征；以及
根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出所述包含身份信息的脸部正面图像和所述包含身份信息的脸部侧面图像之间的关联结果；
其中，处理所述图像样本集中的脸部正面图像和脸部侧面图像，提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征包括：
将所述脸部正面图像和所述脸部侧面图像进行组合，得到组合图像；
通过所述神经网络的第一特征提取网络提取所述组合图像中的正面部分的特征，得到所述正面部分的图像特征；以及
通过所述神经网络的第二特征提取网络提取所述组合图像中的侧面部分的特征，得到所述侧面部分的图像特征；
其中，所述神经网络包括第一神经网络、第二神经网络和特征融合网络；
其中，处理所述图像样本集中的脸部正面图像和脸部侧面图像，提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征包括：
根据所述包含身份信息的脸部正面图像训练所述第一神经网络，输出所述包含身份信息的脸部正面图像的图像特征；
根据所述包含身份信息的脸部侧面图像训练所述第二神经网络，输出所述包含身份信息的脸部侧面图像的图像特征；
其中，根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练神经网络包括：
利用所述特征融合网络将所述包含身份信息的脸部正面图像的图像特征和所述包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练所述特征融合网络，以使得训练后的特征融合网络能够输出所述包含身份信息的脸部正面图像和所述包含身份信息的脸部侧面图像之间的关联结果。
7.根据权利要求6所述的方法，其中，根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练神经网络包括：
将所述正面部分的图像特征和所述侧面部分的图像特征进行组合，得到组合后的图像特征；以及
根据所述组合后的图像特征训练所述神经网络。
8.根据权利要求6所述的方法，其中，
所述第一神经网络和所述第二神经网络包括卷积神经网络；以及
所述特征融合网络为多层全连接层；
其中，在将所述第一神经网络和所述第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为所述特征融合网络的输入。
9.一种身份确定装置，包括：
第一获取模块，用于获取待识别图像；
第一确定模块，用于确定所述待识别图像为待识别脸部侧面图像的情况下，获取包含身份信息的脸部正面图像；
第二获取模块，用于利用神经网络处理所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像，获取所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像之间的关联结果；以及
第二确定模块，用于根据所述关联结果确定所述待识别脸部侧面图像所表征的身份；
其中，所述第二获取模块包括：
第一组合单元，用于将所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像进行组合，得到待识别组合图像；以及
第一处理单元，用于利用所述神经网络处理所述待识别组合图像；
其中，所述神经网络包括第一神经网络、第二神经网络和特征融合网络；
所述第二获取模块包括：
第二处理单元，用于利用所述第一神经网络对所述包含身份信息的脸部正面图像进行处理，获取所述包含身份信息的脸部正面图像的图像特征；
第三处理单元，用于利用所述第二神经网络对所述待识别脸部侧面图像进行处理，获取所述待识别脸部侧面图像的图像特征；
第二组合单元，用于利用所述特征融合网络将所述包含身份信息的脸部正面图像的图像特征和所述待识别脸部侧面图像的图像特征进行组合，得到待识别组合图像的图像特征；以及
第四处理单元，用于利用所述特征融合网络处理所述待识别组合图像的图像特征，获取所述待识别脸部侧面图像和所述包含身份信息的脸部正面图像的关联结果。
10.根据权利要求9所述的装置，还包括：
第三获取模块，用于利用正侧脸分类模型对所述待识别图像进行处理，以获取所述待识别图像的类别信息；以及
第三确定模块，用于根据所述待识别图像的类别信息确定所述待识别图像为待识别脸部侧面图像或待识别脸部正面图像。
11.根据权利要求9所述的装置，所述第二确定模块包括：
判断单元，用于在所述关联结果为概率值的情况下，判断所述概率值是否大于或等于阈值；以及
确定单元，用于在所述概率值大于或等于所述阈值的情况下，根据所述包含身份信息的脸部正面图像的身份信息确定所述待识别脸部侧面图像所表征的身份。
12.根据权利要求11所述的装置，所述确定单元用于在所述概率值大于或等于所述阈值的情况下，将所述包含身份信息的脸部正面图像的身份信息确定为所述待识别侧面图像的身份信息。
13.根据权利要求9所述的装置，还包括第一训练模块，用于通过如下步骤训练所述神经网络：
获取图像样本集，其中，所述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；
处理所述图像样本集中的脸部正面图像和脸部侧面图像，以提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征；以及
根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练所述神经网络，以使得训练后的神经网络能够输出脸部正面图像和脸部侧面图像之间的关联结果。
14.一种神经网络训练装置，包括：
第四获取模块，用于获取图像样本集，其中，所述图像样本集包括包含身份信息的脸部正面图像和包含身份信息的脸部侧面图像；
第五获取模块，用于处理所述图像样本集中的脸部正面图像和脸部侧面图像，以提取所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征；以及
第二训练模块，用于根据所述脸部正面图像的图像特征和所述脸部侧面图像的图像特征训练神经网络，以使得训练后的神经网络能够输出所述包含身份信息的脸部正面图像和所述包含身份信息的脸部侧面图像之间的关联结果；
其中，所述第五获取模块包括：
第三组合单元，用于将所述脸部正面图像和所述脸部侧面图像进行组合，得到组合图像；
第一提取单元，用于通过所述神经网络的第一特征提取网络提取所述组合图像中的正面部分的特征，得到所述正面部分的图像特征；以及
第二提取单元，用于通过所述神经网络的第二特征提取网络提取所述组合图像中的侧面部分的特征，得到所述侧面部分的图像特征：
其中，所述神经网络包括第一神经网络、第二神经网络和特征融合网络；
其中，所述第五获取模块用于：
根据所述包含身份信息的脸部正面图像训练所述第一神经网络，输出所述包含身份信息的脸部正面图像的图像特征；
根据所述包含身份信息的脸部侧面图像训练所述第二神经网络，输出所述包含身份信息的脸部侧面图像的图像特征；
其中，第二训练模块用于：
利用所述特征融合网络将所述包含身份信息的脸部正面图像的图像特征和所述包含身份信息的脸部侧面图像的图像特征进行组合，根据组合后的图像特征训练所述特征融合网络，以使得训练后的特征融合网络能够输出所述包含身份信息的脸部正面图像和所述包含身份信息的脸部侧面图像之间的关联结果。
15.根据权利要求14所述的装置，其中，所述第二训练模块用于：
将所述正面部分的图像特征和所述侧面部分的图像特征进行组合，得到组合后的图像特征；以及
根据所述组合后的图像特征训练所述神经网络。
16.根据权利要求14所述的装置，其中，
所述第一神经网络和所述第二神经网络包括卷积神经网络；以及
所述特征融合网络为多层全连接层；
其中，在将所述第一神经网络和所述第二神经网络分别输出的图像特征组合之后，将组合后的图像特征作为所述特征融合网络的输入。
17.一种介质，存储有计算机可执行指令，所述指令在被处理单元执行时用于实现权利要求1至8中任一项所述的方法。
18.一种计算设备，包括：
处理单元；以及
存储单元，存储有计算机可执行指令，所述指令在被所述处理单元执行时用于实现权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811653391.1A CN109784243B (zh) | 2018-12-29 | 2018-12-29 | 身份确定方法及装置、神经网络训练方法及装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811653391.1A CN109784243B (zh) | 2018-12-29 | 2018-12-29 | 身份确定方法及装置、神经网络训练方法及装置、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109784243A CN109784243A (zh) | 2019-05-21 |
| CN109784243B true CN109784243B (zh) | 2021-07-09 |
Family
ID=66499067
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811653391.1A Active CN109784243B (zh) | 2018-12-29 | 2018-12-29 | 身份确定方法及装置、神经网络训练方法及装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109784243B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110399811A (zh) * | 2019-07-08 | 2019-11-01 | 厦门市美亚柏科信息股份有限公司 | 一种人脸识别方法、装置及存储介质 |
| CN110852150B (zh) * | 2019-09-25 | 2022-12-20 | 珠海格力电器股份有限公司 | 一种人脸验证方法、系统、设备及计算机可读存储介质 |
| CN111259183B (zh) * | 2020-02-21 | 2023-08-01 | 北京百度网讯科技有限公司 | 图像识图方法、装置、电子设备和介质 |
| CN111491180B (zh) * | 2020-06-24 | 2021-07-09 | 腾讯科技（深圳）有限公司 | 关键帧的确定方法和装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013011A (zh) * | 2010-12-16 | 2011-04-13 | 重庆大学 | 基于正脸补偿算子的多姿态人脸识别方法 |
| CN102034097A (zh) * | 2010-12-21 | 2011-04-27 | 中国科学院半导体研究所 | 综合利用正面与侧面图像的人脸识别的方法 |
| KR101438011B1 (ko) * | 2013-11-08 | 2014-09-04 | 수원대학교산학협력단 | 3차원 스캐너를 이용한 얼굴 인식 시스템 |
| CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
| CN106503687A (zh) * | 2016-11-09 | 2017-03-15 | 合肥工业大学 | 融合人脸多角度特征的监控视频人物身份识别系统及其方法 |
| CN107292299A (zh) * | 2017-08-14 | 2017-10-24 | 河南工程学院 | 基于内核规范相关分析的侧面人脸识别方法 |
| CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106355066A (zh) * | 2016-08-28 | 2017-01-25 | 乐视控股（北京）有限公司 | 人脸验证方法及人脸验证装置 |
| CN108197547B (zh) * | 2017-12-26 | 2019-12-17 | 深圳云天励飞技术有限公司 | 人脸姿态估计方法、装置、终端及存储介质 |
| CN108446609B (zh) * | 2018-03-02 | 2022-03-11 | 南京邮电大学 | 一种基于生成对抗网络的多角度面部表情识别方法 |
| CN108764031B (zh) * | 2018-04-17 | 2023-04-18 | 平安科技（深圳）有限公司 | 识别人脸的方法、装置、计算机设备和存储介质 |
-
2018
- 2018-12-29 CN CN201811653391.1A patent/CN109784243B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102013011A (zh) * | 2010-12-16 | 2011-04-13 | 重庆大学 | 基于正脸补偿算子的多姿态人脸识别方法 |
| CN102034097A (zh) * | 2010-12-21 | 2011-04-27 | 中国科学院半导体研究所 | 综合利用正面与侧面图像的人脸识别的方法 |
| KR101438011B1 (ko) * | 2013-11-08 | 2014-09-04 | 수원대학교산학협력단 | 3차원 스캐너를 이용한 얼굴 인식 시스템 |
| CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
| CN106503687A (zh) * | 2016-11-09 | 2017-03-15 | 合肥工业大学 | 融合人脸多角度特征的监控视频人物身份识别系统及其方法 |
| CN107292299A (zh) * | 2017-08-14 | 2017-10-24 | 河南工程学院 | 基于内核规范相关分析的侧面人脸识别方法 |
| CN107844782A (zh) * | 2017-11-29 | 2018-03-27 | 济南浪潮高新科技投资发展有限公司 | 一种基于多任务串行深度网络的人脸识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Frontal to profile face verification in the wild;Soumyadip Sengupta 等;《2016 IEEE Winter Conference on Applications of Computer Vision》;20160526;第1-9页 * |
| 教室场景中学生定位与身份识别;单存杰;《中国优秀硕士学位论文全文数据库社会科学II辑》;20170215;第H127-393页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109784243A (zh) | 2019-05-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109784243B (zh) | 身份确定方法及装置、神经网络训练方法及装置、介质 | |
| CN108427939B (zh) | 模型生成方法和装置 | |
| CN110163205B (zh) | 图像处理方法、装置、介质和计算设备 | |
| CN110555405B (zh) | 目标跟踪方法及装置、存储介质和电子设备 | |
| CN112749666B (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
| JP2022177232A (ja) | 画像処理方法、テキスト認識方法及び装置 | |
| CN113570689A (zh) | 人像卡通化方法、装置、介质和计算设备 | |
| CN110909578A (zh) | 一种低分辨率图像识别方法、装置和存储介质 | |
| CN114943937A (zh) | 行人重识别方法、装置、存储介质及电子设备 | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| CN114120454A (zh) | 活体检测模型的训练方法、装置、电子设备及存储介质 | |
| CN113569855A (zh) | 一种舌象分割方法、设备及存储介质 | |
| CN113705293A (zh) | 图像场景的识别方法、装置、设备及可读存储介质 | |
| CN112464873A (zh) | 模型的训练方法、人脸活体识别方法、系统、设备及介质 | |
| CN114741697B (zh) | 恶意代码分类方法、装置、电子设备和介质 | |
| CN114419514B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN113191364B (zh) | 车辆外观部件识别方法、装置、电子设备和介质 | |
| CN115937993A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN113971830A (zh) | 一种人脸识别方法、装置、存储介质及电子设备 | |
| CN115222047A (zh) | 一种模型训练方法、装置、设备及存储介质 | |
| CN114943995A (zh) | 人脸识别模型的训练方法、人脸识别方法及装置 | |
| CN114842541A (zh) | 模型的训练及人脸识别方法、装置、设备以及存储介质 | |
| CN112801960A (zh) | 图像处理方法及装置、存储介质、电子设备 | |
| CN111079704A (zh) | 一种基于量子计算的人脸识别方法及装置 | |
| CN113221920B (zh) | 图像识别方法、装置、设备、存储介质以及计算机程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210926 Address after: 310052 Room 408, building 3, No. 399, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Hangzhou Netease Zhiqi Technology Co.,Ltd. Address before: 310052 7 / F, building 4, 599 Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province 310052 Patentee before: NETEASE (HANGZHOU) NETWORK Co.,Ltd. |