CN111310743B - 人脸识别方法、装置、电子设备及可读存储介质 - Google Patents

人脸识别方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111310743B
CN111310743B CN202010389985.7A CN202010389985A CN111310743B CN 111310743 B CN111310743 B CN 111310743B CN 202010389985 A CN202010389985 A CN 202010389985A CN 111310743 B CN111310743 B CN 111310743B
Authority
CN
China
Prior art keywords
image
normalized
feature
face
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010389985.7A
Other languages
English (en)
Other versions
CN111310743A (zh
Inventor
许剑清
沈鹏程
李绍欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010389985.7A priority Critical patent/CN111310743B/zh
Publication of CN111310743A publication Critical patent/CN111310743A/zh
Application granted granted Critical
Publication of CN111310743B publication Critical patent/CN111310743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本申请涉及图像处理技术领域，公开了一种人脸识别方法、装置、电子设备和可读存储介质，人脸识别方法包括：获取待识别人脸图像和用户标识，提取待识别人脸图像的第一图像特征；基于用户标识获取注册人脸图像，提取注册人脸图像的第二图像特征；基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征；其中，归一化矩阵是基于归一化图像库得到的；归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度。本申请提供的人脸识别方法可以减少模型训练耗时，提高人脸识别效率。

Description

人脸识别方法、装置、电子设备及可读存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种人脸识别方法、装置、电子设备及可读存储介质。
背景技术
人机交互技术的应用日益广泛，在人机交互领域中，人脸识别技术具有非常重要的意义。在人脸识别方法中，通常人脸识别模型的训练数据中不同类型的人脸数据分布不均衡，对不同类型的人脸数据，特征相似度不统一，导致人脸识别准确率较低。
为了解决人脸识别模型的训练数据中不同类型的人脸数据分布不均衡的问题，现有技术中对人脸识别模型的训练数据需要重新进行调整采样，使得各种类型的人脸数据分布均衡，从而使人脸识别模型对不同类型的人脸数据具有统一的识别尺度。
然而，现有技术中对于不同的场景，需要分别对人脸识别模型进行重新训练，模型更新迭代的耗时较长，人脸识别效率较低。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：
第一方面，提供了一种人脸识别方法，包括：
获取待识别人脸图像和用户的用户标识，提取待识别人脸图像的第一图像特征；
基于用户标识获取用户预先存储的注册人脸图像，提取注册人脸图像的第二图像特征；
基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征；
其中，归一化矩阵是基于归一化图像库得到的；归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；
基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别。
在第一方面的可选实施例中，基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征之前，还包括：
从预设的图像数据库中获取归一化图像库；图像数据库中设置有多种不同类型的人脸图像；
提取归一化图像库中每一人脸图像的特征向量，基于所提取的特征向量获取归一化矩阵。
在第一方面的可选实施例中，从预设的图像数据库中获取归一化图像库，包括：
从图像数据库中随机抽取第一预设数量的人脸图像，获取所抽取的人脸图像中各个类型的人脸图像的数量之间的比例；
若各个类型的人脸图像的数量之间的比例符合预设比例，基于所抽取的人脸图像构建归一化图像库；
若各个类型的人脸图像的数量之间的比例不符合预设比例，基于各个类型的人脸图像的比例从图像数据库中抽取指定类型的人脸图像，直至各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围，基于所抽取的人脸图像构建归一化图像库。
在第一方面的可选实施例中，基于所提取的特征向量获取归一化矩阵，包括：
对归一化图像库中每一人脸图像的特征向量进行规范化，得到各人脸图像的规范化特征向量；
基于各人脸图像的规范化特征向量构建归一化矩阵。
在第一方面的可选实施例中，基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征，包括：
对第一图像特征进行规范化，得到第一规范特征；
将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵；
基于第一得分矩阵获取第一规范特征的第一相似度归一因子；
基于第一相似度归一因子和第一规范特征，获取第一归一化特征。
在第一方面的可选实施例中，将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵，包括：
获取归一化矩阵的转置矩阵；
将第一规范特征与归一化矩阵的转置矩阵相乘，得到第一得分矩阵。
在第一方面的可选实施例中，第一得分矩阵为行矩阵；基于第一得分矩阵获取第一规范特征的第一相似度归一因子，包括：
对第一得分矩阵中的各个元素按照从大到小的顺序进行排序；
从排序后的第一得分矩阵中选取连续的第二预设数量的元素；
基于所选取的元素获取第一相似度归一因子。
在第一方面的可选实施例中，基于第一相似度归一因子和第一规范特征，获取第一归一化特征，包括：
将第一相似度归一因子组合入第一规范特征的最后一个维度中，得到第一归一化特征。
在第一方面的可选实施例中，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别，包括：
获取第一归一化特征和第二归一化特征之间的相似度；
若相似度不小于预设阈值，则确定待识别人脸图像属于用户；
若相似度小于预设阈值，则确定待识别人脸图像不属于用户。
第二方面，提供了一种人脸识别装置，包括：
第一提取模块，用于获取待识别人脸图像和用户的用户标识，提取待识别人脸图像的第一图像特征；
第二提取模块，用于基于用户标识获取用户预先存储的注册人脸图像，提取注册人脸图像的第二图像特征；
归一化模块，用于基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征；
其中，归一化矩阵是基于归一化图像库得到的；归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；
识别模块，用于基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别。
在第二方面的可选实施例中，人脸识别装置还包括获取模块，用于：
从预设的图像数据库中获取归一化图像库；图像数据库中设置有多种不同类型的人脸图像；
提取归一化图像库中每一人脸图像的特征向量，基于所提取的特征向量获取归一化矩阵。
在第二方面的可选实施例中，获取模块在从预设的图像数据库中获取归一化图像库时，具体用于：
从图像数据库中随机抽取第一预设数量的人脸图像，获取所抽取的人脸图像中各个类型的人脸图像的数量之间的比例；
若各个类型的人脸图像的数量之间的比例符合预设比例，基于所抽取的人脸图像构建归一化图像库；
若各个类型的人脸图像的数量之间的比例不符合预设比例，基于各个类型的人脸图像的比例从图像数据库中抽取指定类型的人脸图像，直至各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围，基于所抽取的人脸图像构建归一化图像库。
在第二方面的可选实施例中，获取模块在基于所提取的特征向量获取归一化矩阵时，具体用于：
对归一化图像库中每一人脸图像的特征向量进行规范化，得到各人脸图像的规范化特征向量；
基于各人脸图像的规范化特征向量构建归一化矩阵。
在第二方面的可选实施例中，归一化模块在基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征时，具体用于：
对第一图像特征进行规范化，得到第一规范特征；
将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵；
基于第一得分矩阵获取第一规范特征的第一相似度归一因子；
基于第一相似度归一因子和第一规范特征，获取第一归一化特征。
在第二方面的可选实施例中，归一化模块在将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵时，具体用于：
获取归一化矩阵的转置矩阵；
将第一规范特征与归一化矩阵的转置矩阵相乘，得到第一得分矩阵。
在第二方面的可选实施例中，第一得分矩阵为行矩阵；归一化模块在基于第一得分矩阵获取第一规范特征的第一相似度归一因子时，具体用于：
对第一得分矩阵中的各个元素按照从大到小的顺序进行排序；
从排序后的第一得分矩阵中选取连续的第二预设数量的元素；
基于所选取的元素获取第一相似度归一因子。
在第二方面的可选实施例中，归一化模块在基于第一相似度归一因子和第一规范特征，获取第一归一化特征时，具体用于：
将第一相似度归一因子组合入第一规范特征的最后一个维度中，得到第一归一化特征。
在第二方面的可选实施例中，识别模块在基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别时，具体用于：
获取第一归一化特征和第二归一化特征之间的相似度；
若相似度不小于预设阈值，则确定待识别人脸图像属于用户；
若相似度小于预设阈值，则确定待识别人脸图像不属于用户。
第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的人脸识别方法。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的人脸识别方法。
本申请提供的技术方案带来的有益效果是：
通过设置归一化图像库，归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例，基于归一化图像库获取归一化矩阵，然后通过归一化矩阵对待识别人脸图像的第一图像特征进行归一化得到第一归一化特征、并对注册人脸图像的第二图像特征进行归一化得到第二归一化特征，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
此外，只需要设置归一化图像库，相对于不同的应用场景需要收集不同类型的训练样本图像，还可以节省图像收集成本。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提供的一种人脸识别方法的应用环境图；
图2为本申请实施例提供的一种人脸识别方法的流程示意图；
图3为本申请实施例提供的获取归一化图像库的方案的流程示意图；
图4为本申请实施例提供的一种人脸识别方法的流程示意图；
图5为本申请一个示例中提供的一种人脸识别方法的流程示意图；
图6为本申请实施例提供的一种人脸识别装置的结构示意图；
图7为本申请实施例提供的一种人脸识别装置的结构示意图；
图8为本申请实施例提供的一种人脸识别的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
目前人脸识别模型的训练数据无法全部覆盖到所有的人脸数据类型（如：种族、国籍、安防场景、支付场景等类型），或者在训练数据中，各种人脸数据类型的数据分布无法达到均衡的状态，这些原因导致了在相同的人脸识别系统中对不同的人脸图像，存在特征相似度不统一的问题。从而导致了某一些数据类型的图片相似度过高，故不同人脸图像的误报率存在不一致的情况，最终导致了整个人脸识别系统的识别准确率下降。
本发明所提出的使用特征相似度归一化因子对识别特征相似度进行归一化的方法是在已有的人脸识别系统（模型）的基础之上，采用第三方的人脸库对人脸识别模型所提取的特征进行特征相似度归一化。该方法并不需要对已部署的人脸识别（系统）模型进行重新训练，只需要增加几千个人脸图像作为第三方人脸库。从经济角度出发该方法只需要收集几千个第三方人脸库，相对于收集百万级别身份（ID）数目的训练数据而言，其成本很低，而且收集难度很小。而且该方法对原有的人脸识别系统的改动很少，只需要后续添加一个对特征相似度进行归一化的步骤即可。
本申请提供的人脸识别方法、装置、电子设备及计算机可读存储介质，旨在解决现有技术的如上技术问题。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请提供的人脸识别方法，可以应用于如图1所示的应用环境中。具体的，具有摄像功能的终端101获取待识别人脸图像，并获取用户输入的用户标识，终端101将待识别人脸图像和用户的用户标识发送给服务器102；服务器102提取待识别人脸图像的第一图像特征；服务器102基于用户标识获取用户预先存储的注册人脸图像，提取注册人脸图像的第二图像特征；服务器102基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征；服务器102基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别。
上述应用场景中的人脸识别方法在服务器中进行，在其他应用场景中，上述的人脸识别方法也可以应用于终端；在其他应用场景中，终端101也可以获取待识别人脸图像，并进行人脸识别。
本技术领域技术人员可以理解，这里所使用的“终端”可以是手机、平板电脑、PDA（Personal Digital Assistant，个人数字助理）、MID（Mobile Internet Device，移动互联网设备）等；“服务器”可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例中提供了一种可能的实现方式，如图2所示，提供了一种人脸识别方法，以该方法应用于图1中的服务器为例进行说明，可以包括以下步骤：
步骤S201，获取待识别人脸图像和用户的用户标识，提取待识别人脸图像的第一图像特征。
具体的，可以是具有摄像功能的终端拍摄待识别人脸图像，并获取用户输入的用户标识，将待识别人脸图像和用户标识发送至进行人脸识别的服务器。
在具体实施过程中，可以采用训练好的神经网络提取待识别人脸图像的第一图像特征，针对训练好的神经网络将会在下文进行详细阐述。
步骤S202，基于用户标识获取用户预先存储的注册人脸图像，提取注册人脸图像的第二图像特征。
具体的，服务器中可以预先存储有多个注册人脸图像，每一注册人脸图像设置有对应的用户标识，当接收到用户标识时，可以直接查询与该用户标识对应的注册人脸图像。
在具体实施过程中，同样可以采用训练好的神经网络提取注册人脸图像的第二图像特征，针对训练好的神经网络将会在下文进行详细阐述。
步骤S203，基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征。
其中，归一化矩阵是基于归一化图像库得到的；归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例。
具体的，可以从设置有多个人脸图像的图像数据库中获取归一化图像库，使得归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例，例如可以使每一种类型的人脸图像的数量都相同。
具体针对第一图像特征和第二图像特征的归一化过程将在下文进行详细阐述。
步骤S204，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别。
在具体实施过程中，可以根据第一归一化特征和第二归一化特征之间的相似度，确定待识别人脸图像和注册人脸图像之间的匹配度，从而确定待识别人脸图像对应的用户是否为注册人脸图像对应的用户。
本实施例提供的人脸识别方法，通过设置归一化图像库，归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例，基于归一化图像库获取归一化矩阵，然后通过归一化矩阵对待识别人脸图像的第一图像特征进行归一化得到第一归一化特征、并对注册人脸图像的第二图像特征进行归一化得到第二归一化特征，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
此外，只需要设置归一化图像库，相对于不同的应用场景需要收集不同类型的训练样本图像，还可以节省图像收集成本。
以下将结合附图和实施例详细阐述归一化图像库和归一化矩阵的获取过程。
本申请实施例中提供了一种可能的实现方式，如图3所示，步骤S203的基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征之前，还可以包括：
步骤S202a，从预设的图像数据库中获取归一化图像库；图像数据库中设置有多种不同类型的人脸图像。
具体的，图像数据库可以从基础图像库中获取，基础图像库中设置有多个人脸图像，对多个人脸图像进行与人脸数据有关类型的信息提取，例如，种族、性别、年龄、姿态等，基于提取出类型信息的人脸图像构建图像数据库。
具体的，步骤S202a的从预设的图像数据库中获取归一化图像库，可以包括：
（1）从图像数据库中随机抽取第一预设数量的人脸图像，获取所抽取的人脸图像中各个类型的人脸图像的数量之间的比例；
（2）若各个类型的人脸图像的数量之间的比例符合预设比例，基于所抽取的人脸图像构建归一化图像库；
（3）若各个类型的人脸图像的数量之间的比例不符合预设比例，基于各个类型的人脸图像的比例从图像数据库中抽取指定类型的人脸图像，直至各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围，基于所抽取的人脸图像构建归一化图像库。
其中，预设比例可以是不同类型的人脸图像的数量均相同，也可以是不同类型的人脸图像的数量之间的差值不超过预设数值，例如，不同类型的人脸图像的数量之间的差值不超过10，即满足不同类型的人脸图像的数量均衡。
如图4所示，统计所抽取的人脸图像中各个人脸图像的类型的分布，判断统计出的各个类型中人脸图像的数量是否均衡。如果各个类型的人脸图像的数量均衡且所抽取的人脸图像的数目满足所需求的图像数量，则停止采样；否则根据统计出的分布结果指导采样器对图像数据库进行采样，直至满足停止采样条件，即各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围。
步骤S202b，提取归一化图像库中每一人脸图像的特征向量，基于所提取的特征向量获取归一化矩阵。
具体的，可以通过训练后的神经网络提取归一化图像库中每一人脸图像的特征向量。
具体的，步骤S202b的基于所提取的特征向量获取归一化矩阵，可以包括：
（1）对归一化图像库中每一人脸图像的特征向量进行规范化，得到各人脸图像的规范化特征向量；
（2）基于各人脸图像的规范化特征向量构建归一化矩阵。
其中，向量的规范化就是把向量的模（长度）变为1，即变成单位向量，通常是将向量除以向量的长度，得到对应的规范化向量。
具体的，将所提取出的每一人脸图像的特征向量进行L2规范化，具体规范化如式（1）所示：
Figure 209631DEST_PATH_IMAGE001
（1）
上式中，
Figure 804560DEST_PATH_IMAGE002
表示规范化特征向量；f表示每一人脸图像的特征向量。基于规范化特征向量构成归一化矩阵C f ，
Figure 331357DEST_PATH_IMAGE003
其中f i 表示为第i个图片的规范化特征向量，k表示归一化图像库中人脸图像的个数。
上述实施例阐述了归一化图像库的构建获取，以及归一化矩阵的获取过程，以下将结合实施例和附图进一步详细阐述用于提取人脸图像的图像特征的神经网络的结构和训练过程。
在一种实施方式中，用于提取待识别人脸图像的第一图像特征的神经网络、用于提取注册人脸图像的第二图像特征的神经网络以及用于提取归一化图像库中每一人脸图像的特征向量的神经网络可以为同一训练后的神经网络，也可以为具有相同结构、但参数不同的神经网络。
具体的，神经网络可以是由包含CNN（Convolutional Neural Networks, 卷积神经网络）结构的神经网络构成，该神经网络中包含有卷积（convolution）计算、非线性激活函数（Relu）计算、池化（Pooling）计算等操作。该神经网络的输入是一个图像，输出为一组n d 维度的结构化的图像特征。
本实施方式中，神经网络的参数可以由以下步骤训练得到的：
（a）获取人脸识别训练集，该人脸识别训练集中包括多个样本人脸图像，为每一个样本人脸图像分配一个ID编号，随机选取不同ID的若干样本人脸图像组成一个batch（一批），并随机初始化一组网络参数。
（b）将一个batch的样本人脸图像送入初始的神经网络中，得到一组
Figure 469077DEST_PATH_IMAGE004
维特征向量
Figure 55916DEST_PATH_IMAGE005
，其中n d 表示特征维数。
（c）采用约束的目标函数，该目标函数可以为一般的分类目标函数如：softmax，也可以为各类加margin类型的目标函数约束：
Figure 279087DEST_PATH_IMAGE006
(2)
上式中，L s 表示损失函数；n表示一个batch内部的样本个数；s表示超球半径；
Figure 609574DEST_PATH_IMAGE007
表示特征与分类权重之间的夹角；m表示加入的夹角的一个margin（外边距）；y i 表示不属于当前类别的第i类样本。
（d）基于随机梯度下降（或各类基于梯度的变种优化方法，如带动量项的随机梯度下降，adam, adagrad）调整模型参数。训练中重复上述步骤（b）和（c），直至训练终止条件满足。训练终止条件通常设置为固定的迭代次数限制，或者当目标函数的变化小于某个阈值。优化时，学习率可以设置从0.1开始，以step的方式，每5万次迭代下降为原来的十分之一，以达到对初始神经网络的快速微调的目的。
若不采用本申请实施例中的方式，设置归一化图像库，那么需要对整个人脸识别的训练集进行调整，使得各种人脸数据类型的训练数据分布均衡，以确保模型对不同的人脸数据类型具有统一的识别尺度；这种情况下，对于不同的场景，要收集具有不同数据类型的人脸图像样本，其数据的收集难度大，收集成本高，此外，为了适配于不同的场景，需要采用该场景下收集到的数据进行从头训练，而人脸识别模型的训练任务中，其样本的身份（ID）数目都是百万级别的，从头训练模型导致了模型更新迭代的时间成本很高。
若不采用本申请实施例中的方式，设置归一化图像库，还可以对不同的人脸数据类型采用不同的相似度报警阈值，相似度高的人脸数据类型采用更高的报警阈值，从而降低具有该数据类型的人脸图像的虚警率；但这种情况下在人脸识别的系统中增加一项对于人脸数据类型的识别，用于判别进入识别系统的测试样本的数据类型，从而针对不同的数据类型采用不同的虚警阈值，就需要引入一个识别数据类型的附加系统，增加了人脸识别系统的复杂性；此外，由于引入了人脸数据类型识别的系统，整个人脸识别系统的识别准确率势必受到该人脸数据类型识别系统识别准确率的限制。然而本申请中设置归一化图像库，只需要归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例即可，且归一化图像库中不需要百万级别的样本，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率；此外，不需要引入识别数据类型的附加系统，可以减少人脸识别的复杂性。
上述实施例阐述了用于提取人脸图像的图像特征的神经网络的结构和训练过程，以下将结合实施例和附图进一步详细阐述对第一图像特征和第二图像特征进行归一化的具体过程。
本申请实施例中提供了一种可能的实现方式，步骤S203的基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征，可以包括：
（1）对第一图像特征进行规范化，得到第一规范特征。
具体的，规范化可以参照上述公式（1），得到第一规范特征。
（2）将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵。
具体的，将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵，可以包括：
a、获取归一化矩阵的转置矩阵；
b、将第一规范特征与归一化矩阵的转置矩阵相乘，得到第一得分矩阵。
具体的，可以按照如下公式得到第一得分矩阵：
S=f b ×C f T (3)
式中，f b 表示第一规范特征；C f T 表示归一化矩阵的转置矩阵。
（3）基于第一得分矩阵获取第一规范特征的第一相似度归一因子。
具体的，第一得分矩阵是由第一规范特征与归一化矩阵的转置矩阵相乘得到的，第一规范特征为1×n d ，归一化矩阵的转置矩阵的维度为n d ×k，因此得到的第一得分矩阵的维度为1×k，即，第一得分矩阵为行矩阵。
具体的，基于第一得分矩阵获取第一规范特征的第一相似度归一因子，可以包括：
a、对第一得分矩阵中的各个元素按照从大到小的顺序进行排序；
b、从排序后的第一得分矩阵中选取连续的第二预设数量的元素；
c、基于所选取的元素获取第一相似度归一因子。
具体的，可以对S进行从大到小排序，得到取其序列的第j至第t个值，再对其取均值，其中，j和t均为自然数，且t大于j。
第一相似度归一因子可以按照下式进行计算：
Figure 336222DEST_PATH_IMAGE008
(4)
式中，d表示第一相似度归一因子；S表示第一得分矩阵；j和t均为自然数，且t大于j。
（4）基于第一相似度归一因子和第一规范特征，获取第一归一化特征。
具体的，基于第一相似度归一因子和第一规范特征，获取第一归一化特征，可以包括：
将第一相似度归一因子组合入第一规范特征的最后一个维度中，得到第一归一化特征。
在具体实施过程中，将第一相似度归一因子d组合到第一规范特征f b 的最后一个维度中，得到第一归一化特征
Figure 359541DEST_PATH_IMAGE009
，f a 为n d +1维特征向量。
需要说明的是，针对第二图像特征，同样采用上述过程，先对第二图像特征进行规范化，得到第二规范特征，再将第二规范特征和归一化矩阵进行比对，得到第二规范特征的第二得分矩阵；基于第二得分矩阵获取第二规范特征的第二相似度归一因子；最后基于第二相似度归一因子和第二规范特征，获取第二归一化特征，具体过程在此不再赘述。
本申请实施例中提供了一种可能的实现方式，步骤S204的基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别，可以包括：
（1）获取第一归一化特征和第二归一化特征之间的相似度；
（2）若相似度不小于预设阈值，则确定待识别人脸图像属于用户；
（3）若相似度小于预设阈值，则确定待识别人脸图像不属于用户。
具体的，可以采用如下公式获取第一归一化特征和第二归一化特征之间的相似度：
sim=f t ×f g T +α（d t +d g ）-d t d g （5）
式中，sim表示相似度；f t 表示第一归一化特征；f g T 表示第二归一化特征的转置；d t 表示第一相似度归一因子；d g 表示第二相似度归一因子；α表示的是预设的可伸缩的尺度因子。
具体的，α可以根据不同的场景进行设定，一般推荐设置可以为-1。
具体的，再通过相似度判断待识别人脸图像和注册人脸图像是否为来自同一个用户的图像。
如下式所示：
Figure 70008DEST_PATH_IMAGE010
(6)
式中：sim表示相似度；阈值th的确定是根据在实际应用场景中所要求满足的误报率确定的；L out 表示判定结果。
为了更好地理解上述人脸识别方法，如图5所示，以下详细阐述一个本发明的人脸识别方法的示例：
在一个示例中，本申请提供的人脸识别方法，可以包括如下步骤：
1）从预设的图像数据库中获取归一化图像库（即图中所示的第三方人脸库图片）；
2）分别提取待识别人脸图像（即图中所示的测试图片）的第一图像特征（即图中所示的测试图片特征）、提取归一化图像库中每一人脸图像的特征向量得到归一化矩阵（即图中所示的第三方库特征），以及提取注册人脸图像（即图中所示的注册图片）的第二图像特征（即图中所示的注册图片特征）；
3）基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征（即图中所示的携带相似度归一化因子的测试图片特征）；
4）基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征（即图中所示的携带相似度归一化因子的注册图片特征）；
5）获取第一归一化特征和第二归一化特征之间的相似度（即图中所示的图片相似度）；
6）通过相似度判定待识别人脸图像中的人脸和注册人脸图像中的人脸是否属于同一用户。
上述的人脸识别方法，通过设置归一化图像库，归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例，基于归一化图像库获取归一化矩阵，然后通过归一化矩阵对待识别人脸图像的第一图像特征进行归一化得到第一归一化特征、并对注册人脸图像的第二图像特征进行归一化得到第二归一化特征，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
此外，只需要设置归一化图像库，相对于不同的应用场景需要收集不同类型的训练样本图像，还可以节省图像收集成本。
本申请实施例中提供了一种可能的实现方式，如图6所示，提供了一种人脸识别装置60，该人脸识别装置60可以包括：第一提取模块601、第二提取模块602、归一化模块603和识别模块604，其中，
第一提取模块601，用于获取待识别人脸图像和用户的用户标识，提取待识别人脸图像的第一图像特征；
第二提取模块602，用于基于用户标识获取用户预先存储的注册人脸图像，提取注册人脸图像的第二图像特征；
归一化模块603，用于基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征；基于归一化矩阵对第二图像特征进行归一化，得到第二归一化特征；
其中，归一化矩阵是基于归一化图像库得到的；归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；
识别模块604，用于基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别。
本申请实施例中提供了一种可能的实现方式，如图7所示，人脸识别装置还包括获取模块602a，用于：
从预设的图像数据库中获取归一化图像库；图像数据库中设置有多种不同类型的人脸图像；
提取归一化图像库中每一人脸图像的特征向量，基于所提取的特征向量获取归一化矩阵。
本申请实施例中提供了一种可能的实现方式，获取模块602a在从预设的图像数据库中获取归一化图像库时，具体用于：
从图像数据库中随机抽取第一预设数量的人脸图像，获取所抽取的人脸图像中各个类型的人脸图像的数量之间的比例；
若各个类型的人脸图像的数量之间的比例符合预设比例，基于所抽取的人脸图像构建归一化图像库；
若各个类型的人脸图像的数量之间的比例不符合预设比例，基于各个类型的人脸图像的比例从图像数据库中抽取指定类型的人脸图像，直至各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围，基于所抽取的人脸图像构建归一化图像库。
本申请实施例中提供了一种可能的实现方式，获取模块602a在基于所提取的特征向量获取归一化矩阵时，具体用于：
对归一化图像库中每一人脸图像的特征向量进行规范化，得到各人脸图像的规范化特征向量；
基于各人脸图像的规范化特征向量构建归一化矩阵。
本申请实施例中提供了一种可能的实现方式，归一化模块603在基于归一化矩阵对第一图像特征进行归一化，得到第一归一化特征时，具体用于：
对第一图像特征进行规范化，得到第一规范特征；
将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵；
基于第一得分矩阵获取第一规范特征的第一相似度归一因子；
基于第一相似度归一因子和第一规范特征，获取第一归一化特征。
本申请实施例中提供了一种可能的实现方式，归一化模块603在将第一规范特征和归一化矩阵进行比对，得到第一规范特征的第一得分矩阵时，具体用于：
获取归一化矩阵的转置矩阵；
将第一规范特征与归一化矩阵的转置矩阵相乘，得到第一得分矩阵。
本申请实施例中提供了一种可能的实现方式，第一得分矩阵为行矩阵；归一化模块603在基于第一得分矩阵获取第一规范特征的第一相似度归一因子时，具体用于：
对第一得分矩阵中的各个元素按照从大到小的顺序进行排序；
从排序后的第一得分矩阵中选取连续的第二预设数量的元素；
基于所选取的元素获取第一相似度归一因子。
本申请实施例中提供了一种可能的实现方式，归一化模块603在基于第一相似度归一因子和第一规范特征，获取第一归一化特征时，具体用于：
将第一相似度归一因子组合入第一规范特征的最后一个维度中，得到第一归一化特征。
本申请实施例中提供了一种可能的实现方式，识别模块604在基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，以对待识别人脸图像进行识别时，具体用于：
获取第一归一化特征和第二归一化特征之间的相似度；
若相似度不小于预设阈值，则确定待识别人脸图像属于用户；
若相似度小于预设阈值，则确定待识别人脸图像不属于用户。
上述的人脸识别装置，通过设置归一化图像库，归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例，基于归一化图像库获取归一化矩阵，然后通过归一化矩阵对待识别人脸图像的第一图像特征进行归一化得到第一归一化特征、并对注册人脸图像的第二图像特征进行归一化得到第二归一化特征，基于第一归一化特征和第二归一化特征确定待识别人脸图像和注册人脸图像的匹配度，在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
此外，只需要设置归一化图像库，相对于不同的应用场景需要收集不同类型的训练样本图像，还可以节省图像收集成本。
本公开实施例的图片的人脸识别装置可执行本公开的实施例所提供的一种图片的人脸识别方法，其实现原理相类似，本公开各实施例中的图片的人脸识别装置中的各模块所执行的动作是与本公开各实施例中的图片的人脸识别方法中的步骤相对应的，对于图片的人脸识别装置的各模块的详细功能描述具体可以参见前文中所示的对应的图片的人脸识别方法中的描述，此处不再赘述。
基于与本公开的实施例中所示的方法相同的原理，本公开的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机操作指令；处理器，用于通过调用计算机操作指令执行实施例所示的人脸识别方法。与现有技术相比，本申请中的人脸识别方法在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
在一个可选实施例中提供了一种电子设备，如图8所示，图8所示的电子设备4000包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与现有技术相比，本申请中的人脸识别方法在提升了人脸识别准确度的同时，不需要再对人脸识别模型进行重新训练，可以有效减少模型训练的耗时，从而提高人脸识别效率。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，归一化模块还可以被描述为“用于分别对第一图像特征和第二图像特征进行归一化的模块”。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (12)

1.一种人脸识别方法，其特征在于，包括：
获取待识别人脸图像和用户的用户标识，提取所述待识别人脸图像的第一图像特征；
基于所述用户标识获取所述用户预先存储的注册人脸图像，提取所述注册人脸图像的第二图像特征；
基于归一化矩阵对所述第一图像特征进行归一化，得到第一归一化特征；基于所述归一化矩阵对所述第二图像特征进行归一化，得到第二归一化特征；
其中，所述归一化矩阵是基于归一化图像库得到的；所述归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；
基于所述第一归一化特征和所述第二归一化特征确定所述待识别人脸图像和所述注册人脸图像的匹配度，以对所述待识别人脸图像进行识别。
2.根据权利要求1所述的人脸识别方法，其特征在于，所述基于归一化矩阵对所述第一图像特征进行归一化，得到第一归一化特征之前，还包括：
从预设的图像数据库中获取所述归一化图像库；所述图像数据库中设置有多种不同类型的人脸图像；
提取所述归一化图像库中每一人脸图像的特征向量，基于所提取的特征向量获取所述归一化矩阵。
3.根据权利要求2所述的人脸识别方法，其特征在于，所述从预设的图像数据库中获取所述归一化图像库，包括：
从所述图像数据库中随机抽取第一预设数量的人脸图像，获取所抽取的人脸图像中各个类型的人脸图像的数量之间的比例；
若各个类型的人脸图像的数量之间的比例符合预设比例，基于所抽取的人脸图像构建所述归一化图像库；
若各个类型的人脸图像的数量之间的比例不符合预设比例，基于各个类型的人脸图像的比例从所述图像数据库中抽取指定类型的人脸图像，直至各个类型的人脸图像的数量之间的比例符合预设比例，且所抽取的人脸图像的总数量符合预设数量范围，基于所抽取的人脸图像构建所述归一化图像库。
4.根据权利要求2所述的人脸识别方法，其特征在于，所述基于所提取的特征向量获取所述归一化矩阵，包括：
对所述归一化图像库中每一人脸图像的特征向量进行规范化，得到各人脸图像的规范化特征向量；
基于各人脸图像的规范化特征向量构建所述归一化矩阵。
5.根据权利要求1所述的人脸识别方法，其特征在于，所述基于归一化矩阵对所述第一图像特征进行归一化，得到第一归一化特征，包括：
对所述第一图像特征进行规范化，得到第一规范特征；
将所述第一规范特征和所述归一化矩阵进行比对，得到所述第一规范特征的第一得分矩阵；
基于所述第一得分矩阵获取所述第一规范特征的第一相似度归一因子；
基于所述第一相似度归一因子和所述第一规范特征，获取所述第一归一化特征。
6.根据权利要求5所述的人脸识别方法，其特征在于，所述将所述第一规范特征和所述归一化矩阵进行比对，得到所述第一规范特征的第一得分矩阵，包括：
获取所述归一化矩阵的转置矩阵；
将所述第一规范特征与所述归一化矩阵的转置矩阵相乘，得到所述第一得分矩阵。
7.根据权利要求5所述的人脸识别方法，其特征在于，所述第一得分矩阵为行矩阵；所述基于所述第一得分矩阵获取所述第一规范特征的第一相似度归一因子，包括：
对所述第一得分矩阵中的各个元素按照从大到小的顺序进行排序；
从排序后的第一得分矩阵中选取连续的第二预设数量的元素；
基于所选取的元素获取所述第一相似度归一因子。
8.根据权利要求5所述的人脸识别方法，其特征在于，所述基于所述第一相似度归一因子和所述第一规范特征，获取所述第一归一化特征，包括：
将所述第一相似度归一因子组合入所述第一规范特征的最后一个维度中，得到所述第一归一化特征。
9.根据权利要求1所述的人脸识别方法，其特征在于，所述基于所述第一归一化特征和所述第二归一化特征确定所述待识别人脸图像和所述注册人脸图像的匹配度，以对所述待识别人脸图像进行识别，包括：
获取所述第一归一化特征和所述第二归一化特征之间的相似度；
若所述相似度不小于预设阈值，则确定所述待识别人脸图像属于所述用户；
若所述相似度小于所述预设阈值，则确定所述待识别人脸图像不属于所述用户。
10.一种人脸识别装置，其特征在于，包括：
第一提取模块，用于获取待识别人脸图像和用户的用户标识，提取所述待识别人脸图像的第一图像特征；
第二提取模块，用于基于所述用户标识获取所述用户预先存储的注册人脸图像，提取所述注册人脸图像的第二图像特征；
归一化模块，用于基于归一化矩阵对所述第一图像特征进行归一化，得到第一归一化特征；基于所述归一化矩阵对所述第二图像特征进行归一化，得到第二归一化特征；
其中，所述归一化矩阵是基于归一化图像库得到的；所述归一化图像库中各个不同类型的人脸图像的数量之间的比例符合预设比例；
识别模块，用于基于所述第一归一化特征和所述第二归一化特征确定所述待识别人脸图像和所述注册人脸图像的匹配度，以对所述待识别人脸图像进行识别。
11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9任一项所述的人脸识别方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-9任一项所述的人脸识别方法。
CN202010389985.7A 2020-05-11 2020-05-11 人脸识别方法、装置、电子设备及可读存储介质 Active CN111310743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010389985.7A CN111310743B (zh) 2020-05-11 2020-05-11 人脸识别方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010389985.7A CN111310743B (zh) 2020-05-11 2020-05-11 人脸识别方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111310743A CN111310743A (zh) 2020-06-19
CN111310743B true CN111310743B (zh) 2020-08-25

Family

ID=71147538

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010389985.7A Active CN111310743B (zh) 2020-05-11 2020-05-11 人脸识别方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111310743B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112183480B (zh) * 2020-10-29 2024-06-04 奥比中光科技集团股份有限公司 一种人脸识别方法、装置、终端设备及存储介质
CN112818909A (zh) * 2021-02-22 2021-05-18 Oppo广东移动通信有限公司 图像更新方法、装置、电子设备及计算机可读介质
CN113656422A (zh) * 2021-08-17 2021-11-16 北京百度网讯科技有限公司 人脸底库的更新方法及装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885310A (zh) * 2006-06-01 2006-12-27 北京中星微电子有限公司 人脸模型训练模块及方法、人脸实时认证系统及方法
CN101324923A (zh) * 2008-08-05 2008-12-17 北京中星微电子有限公司 用于人脸识别的特征提取方法和装置
CN102262723A (zh) * 2010-05-24 2011-11-30 汉王科技股份有限公司 一种人脸识别方法及装置
CN105095829A (zh) * 2014-04-29 2015-11-25 华为技术有限公司 一种人脸识别方法及系统
CN106339676A (zh) * 2016-08-22 2017-01-18 湖南联信科技有限公司 一种人脸认证及人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109214273A (zh) * 2018-07-18 2019-01-15 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109657652A (zh) * 2019-01-16 2019-04-19 平安科技（深圳）有限公司 一种人脸识别方法和装置
CN110188703A (zh) * 2019-05-31 2019-08-30 广州软盈科技有限公司 一种基于人脸识别的信息推送及引流方法
CN110879984A (zh) * 2019-11-18 2020-03-13 上海眼控科技股份有限公司 一种人脸比对的方法及设备
US20200104574A1 (en) * 2018-09-28 2020-04-02 Electronics And Telecommunications Research Institute Face image de-identification apparatus and method
CN111126158A (zh) * 2019-11-27 2020-05-08 中铁程科技有限责任公司 基于人脸识别的自动检票方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060129821A (ko) * 2005-06-13 2006-12-18 삼성전자주식회사 조명 정규화장치 및 방법과 이를 이용한 얼굴인식장치 및방법
KR100738080B1 (ko) * 2005-11-08 2007-07-12 삼성전자주식회사 성별을 이용한 얼굴 인식 방법 및 장치
KR20170050465A (ko) * 2015-10-30 2017-05-11 에스케이텔레콤 주식회사 얼굴 인식 장치 및 방법
CN105930709B (zh) * 2016-04-21 2018-07-24 深圳泰首智能技术有限公司 人脸识别技术应用于人证一致性检验的方法及装置
CN109190654A (zh) * 2018-07-09 2019-01-11 上海斐讯数据通信技术有限公司 人脸识别模型的训练方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1885310A (zh) * 2006-06-01 2006-12-27 北京中星微电子有限公司 人脸模型训练模块及方法、人脸实时认证系统及方法
CN101324923A (zh) * 2008-08-05 2008-12-17 北京中星微电子有限公司 用于人脸识别的特征提取方法和装置
CN102262723A (zh) * 2010-05-24 2011-11-30 汉王科技股份有限公司 一种人脸识别方法及装置
CN105095829A (zh) * 2014-04-29 2015-11-25 华为技术有限公司 一种人脸识别方法及系统
CN106339676A (zh) * 2016-08-22 2017-01-18 湖南联信科技有限公司 一种人脸认证及人脸识别方法
CN106815566A (zh) * 2016-12-29 2017-06-09 天津中科智能识别产业技术研究院有限公司 一种基于多任务卷积神经网络的人脸检索方法
CN108985232A (zh) * 2018-07-18 2018-12-11 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
CN109214273A (zh) * 2018-07-18 2019-01-15 平安科技（深圳）有限公司 人脸图像比对方法、装置、计算机设备及存储介质
US20200104574A1 (en) * 2018-09-28 2020-04-02 Electronics And Telecommunications Research Institute Face image de-identification apparatus and method
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109657652A (zh) * 2019-01-16 2019-04-19 平安科技（深圳）有限公司 一种人脸识别方法和装置
CN110188703A (zh) * 2019-05-31 2019-08-30 广州软盈科技有限公司 一种基于人脸识别的信息推送及引流方法
CN110879984A (zh) * 2019-11-18 2020-03-13 上海眼控科技股份有限公司 一种人脸比对的方法及设备
CN111126158A (zh) * 2019-11-27 2020-05-08 中铁程科技有限责任公司 基于人脸识别的自动检票方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积网络的ＳＡＲ图像目标检测识别;李君宝 等;《导航定位与授时》;20170131;第4卷(第1期);60-66 *

Also Published As

Publication number Publication date
CN111310743A (zh) 2020-06-19

Similar Documents

Publication Publication Date Title
CN111310743B (zh) 人脸识别方法、装置、电子设备及可读存储介质
CN110362677B (zh) 文本数据类别的识别方法及装置、存储介质、计算机设备
CN108229419B (zh) 用于聚类图像的方法和装置
CN110069709B (zh) 意图识别方法、装置、计算机可读介质及电子设备
CN112528029A (zh) 文本分类模型处理方法、装置、计算机设备及存储介质
CN113435509A (zh) 基于元学习的小样本场景分类识别方法及系统
CN112149754B (zh) 一种信息的分类方法、装置、设备及存储介质
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN110765292A (zh) 图像检索方法、训练方法及相关装置
CN110807472A (zh) 图像识别方法、装置、电子设备及存储介质
CN114494709A (zh) 特征提取模型的生成方法、图像特征提取方法和装置
CN111062440B (zh) 一种样本选择方法、装置、设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN115100717A (zh) 特征提取模型的训练方法、卡通对象的识别方法及装置
CN113140012B (zh) 图像处理方法、装置、介质及电子设备
CN112364198A (zh) 一种跨模态哈希检索方法、终端设备及存储介质
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN111242322B (zh) 后门样本的检测方法、装置和电子设备
CN117523218A (zh) 标签生成、图像分类模型的训练、图像分类方法及装置
CN111814051B (zh) 一种资源类型确定方法及装置
CN110704619A (zh) 文本分类方法、装置及电子设备
CN111126420A (zh) 一种建立识别模型的方法及装置
CN116912920B (zh) 表情识别方法及装置
CN112214639B (zh) 视频筛选方法、视频筛选装置及终端设备
CN116501993B (zh) 房源数据推荐方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40024910

Country of ref document: HK