CN111414858A - 人脸识别方法、目标图像的确定方法、装置和电子系统 - Google Patents

人脸识别方法、目标图像的确定方法、装置和电子系统 Download PDF

Info

Publication number
CN111414858A
CN111414858A CN202010198640.3A CN202010198640A CN111414858A CN 111414858 A CN111414858 A CN 111414858A CN 202010198640 A CN202010198640 A CN 202010198640A CN 111414858 A CN111414858 A CN 111414858A
Authority
CN
China
Prior art keywords
image
feature
face
recognized
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010198640.3A
Other languages
English (en)
Other versions
CN111414858B (zh
Inventor
王塑
刘宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202010198640.3A priority Critical patent/CN111414858B/zh
Publication of CN111414858A publication Critical patent/CN111414858A/zh
Application granted granted Critical
Publication of CN111414858B publication Critical patent/CN111414858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明提供了一种人脸识别方法、目标图像的确定方法、装置和电子系统，对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。本发明中，从待识别图像中提取的特征数据包括与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；在确定待识别图像和标准图像之间的相似度时，同时考虑了人脸特征及由于待识别图像的信息缺失导致的干扰特征，从而降低了干扰特征对人脸识别的影响，提高了人脸识别的准确率。

Description

人脸识别方法、目标图像的确定方法、装置和电子系统
技术领域
本发明涉及目标识别技术领域，尤其是涉及一种人脸识别方法、目标图像的确定方法、装置和电子系统。
背景技术
相关技术中，人脸识别方式通常为：预先存储有底库图，该底库图中包含有无遮挡、小扭转角度的人脸，还可以存储有该底库图对应的人脸特征；待识别图像输入至训练好的人脸特征提取网络中，输出该待识别图像对应的人脸特征，然后计算该人脸特征与底库图的人脸特征之间的特征距离，根据该特征距离与预设的距离阈值之间的比较结果，确定待识别图像中的人脸与底库图中的人脸是否具有相同的身份，即是否属于同一个人。然而，当待识别图像中人脸的图像信息缺失较为严重时，如待识别图像中的人脸佩戴有口罩、人脸扭转角度较大或灯光条件较差时，待识别图像质量较差，进而导致人脸识别的准确率较低。
发明内容
本发明的目的在于提供一种人脸识别方法、目标图像的确定方法、装置和电子系统，以提高在待识别图像的面部信息缺失情况下，对人脸识别的准确率。
第一方面，本发明实施例提供了一种人脸识别方法，该方法包括：对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对包含有人脸的待识别图像进行特征提取的步骤，包括：通过特征提取网络，提取待识别图像的特征数据；其中，特征提取网络基于第一损失值和第二损失值训练得到；第一损失值包括：特征提取网络提取的样本图像的人脸特征对应的损失值；第二损失值包括：根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算得到的样本图像的干扰特征对应的损失值。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述第二损失值具体通过下述方式确定：计算样本图像的人脸特征，与样本图像所属人脸类别的参考特征之间的第一特征距离；计算样本图像的干扰特征与第一特征距离之间的第二特征距离，将第二特征距离确定为第二损失值。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，当样本图像的人脸特征和样本图像的干扰特征的特征维度相同时，第一特征距离包括：样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差；第二特征距离包括：样本图像的干扰特征与特征之差之间的差值的范数。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，当样本图像的人脸特征和样本图像的干扰特征的特征维度不同时，第一特征距离包括：样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差的范数；第二特征距离包括：样本图像的干扰特征的范数，与特征之差的范数的差值的绝对值。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述特征提取网络包括：第一子网络和第二子网络；第一子网络用于：接收待识别图像，输出待识别图像的人脸特征；第二子网络用于：接收人脸特征，输出干扰特征。
结合第一方面的第五种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述第二子网络包括残差结构、瓶颈结构或waterfall结构的全连接网络。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度的步骤，包括：获取标准图像的特征数据；确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离，将第三特征距离确定为待识别图像和标准图像之间的相似度。
结合第一方面的第七种可能的实施方式，本发明实施例提供了第一方面的第八种可能的实施方式，其中，确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离的步骤，包括：计算待识别图像的人脸特征和标准图像的人脸特征之间的人脸特征子距离；计算待识别图像对应的干扰特征和标准图像对应的干扰特征之间的干扰特征子距离；根据人脸特征子距离和干扰特征子距离，确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离。
结合第一方面的第八种可能的实施方式，本发明实施例提供了第一方面的第九种可能的实施方式，其中，根据人脸特征子距离和干扰特征子距离，确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离的步骤，包括：确定干扰特征子距离对应的权重值；计算人脸特征子距离，减去干扰特征子距离乘以权重值后的数值，将数值确定为待识别图像的特征数据与标准图像的特征数据之间的第三特征距离。
结合第一方面，本发明实施例提供了第一方面的第十种可能的实施方式，其中，根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同的步骤，包括：当相似度小于相似度阈值时，确定待识别图像中的人脸与标准图像中的人脸相同；当相似度大于或等于相似度阈值时，确定待识别图像中的人脸与标准图像中的人脸不相同。
第二方面，本发明实施例还提供一种目标图像的确定方法，该方法包括：对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；当干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将待识别图像确定为目标图像。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述干扰特征与预设原点特征的距离，包括干扰特征的范数。
第三方面，本发明实施例还提供一种特征提取模型的训练方法，该方法包括：将样本图像输入至特征提取网络；通过特征提取网络提取样本图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；基于预设的损失函数和样本图像的特征数据，计算损失值；根据损失值对特征提取网络进行迭代训练，得到训练后的特征提取模型。结合第三方面，本发明实施例提供了第三方面的第一种可能的实施方式，其中，上述损失值包括第一损失值和第二损失值；上述基于预设的损失函数和样本图像的特征数据，计算损失值的步骤，包括：根据样本图像的人脸特征，计算第一损失值；根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算样本图像的干扰特征对应的第二损失值。
结合第三方面的第一种可能的实施方式，本发明实施例提供了第三方面的第二种可能的实施方式，其中，根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算样本图像的干扰特征的第二损失值的步骤，包括：将特征提取网络输出的人脸类别的多张样本图像的人脸特征的平均值，确定为样本图像所属人脸类别的参考特征；计算样本图像的人脸特征，与人脸类别的参考特征之间的第四特征距离；计算样本图像的干扰特征与第四特征距离之间的第五特征距离，将第五特征距离确定为第二损失值。
结合第三方面的第一种可能的实施方式，本发明实施例提供了第三方面的第二种可能的实施方式，其中，上述特征提取网络包括第一子网络和第二子网络；通过特征提取网络提取样本图像的特征数据的步骤，包括：将样本图像输入至第一子网络，输出样本图像的人脸特征；将人脸特征输入至第二子网络，输出干扰特征。
第四方面，本发明实施例还提供一种人脸识别装置，该装置包括：第一特征提取模块，用于对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；相似度确定模块，用于根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；人脸确定模块，用于根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。
第五方面，本发明实施例还提供一种目标图像的确定装置，该装置包括：第二特征提取模块，用于对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；目标图像确定模块，用于当干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将待识别图像确定为目标图像。
第六方面，本发明实施例还提供一种特征提取模型的训练装置，该装置包括：图像输入模块，用于将样本图像输入至特征提取网络；第三特征提取模块，用于通过特征提取网络提取样本图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；损失值计算模块，用于基于预设的损失函数和样本图像的特征数据，计算损失值；模型训练模块，用于根据损失值对特征提取网络进行迭代训练，得到训练后的特征提取模型。
第七方面，本发明实施例还提供一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述人脸识别方法、目标图像的确定方法或特征提取模型的训练方法。
第八方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行上述人脸识别方法、目标图像的确定方法或特征提取模型的训练方法。
本发明实施例带来了以下有益效果：
本发明实施例提供了一种人脸识别方法、目标图像的确定方法、特征提取模型的训练方法、装置和电子系统，首先对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；然后根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；进而根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。该方式中，从待识别图像中提取的特征数据包括与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；在确定待识别图像和标准图像之间的相似度时，同时考虑了人脸特征及由于待识别图像的信息缺失导致的干扰特征，从而降低了干扰特征对人脸识别的影响，提高了人脸识别的准确率。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图；
图2为本发明实施例提供的一种人脸识别方法的流程图；
图3为本发明实施例提供的另一种人脸识别方法的流程图；
图4为本发明实施例提供的一种目标图像的确定方法的流程图；
图5为本发明实施例提供的一种特征提取模型的训练方法流程图；
图6为本发明实施例提供的一种网络G的结构示意图；
图7为本发明实施例提供的一种包括网络G和网络M的特征提取网络的结构示意图；
图8为本发明实施例提供的一种包括Resnet结构的全连接网络的结构示意图；
图9为本发明实施例提供的一种包括瓶颈注意模块结构的全连接网络的子模块的结构示意图；
图10为本发明实施例提供的一种包括waterfall结构的全连接网络的子模块的结构示意图；
图11为本发明实施例提供的一种人脸识别装置的结构示意图；
图12为本发明实施例提供的一种目标图像的确定装置的结构示意图；
图13为本发明实施例提供的一种特征提取模型的训练装置的结构示意图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，人脸识别方式通常为：预先存储有底库图，该底库图中包含有无遮挡、小扭转角度的人脸，可以认为底库图中包含较为标准的人脸图像；将待识别图像输入至训练好的人脸特征提取网络中，输出该待识别图像对应的人脸特征，然后计算该人脸特征与底库图的人脸特征之间的特征距离，根据该特征距离与预设的距离阈值之间的比较结果，确定待识别图像中的人脸与底库图中的人脸是否具有相同的身份(Identity，ID)，即是否属于同一个人。
上述该底库图对应的人脸特征可以为预先存储的，也可以为将底库图输入至上述训练好的人脸特征提取网络而提取到的。上述特征距离可以为待识别图像的人脸特征对应的特征矢量与底库图的人脸特征的对应的特征矢量之间的L2距离，进而通过对比该L2距离是否大于预设的距离阈值判断待识别图像和底库图显示的人脸是否属于同一个人。上述方式可以应用于电子设备的人脸解锁过程中，此时该待识别图像也称为解锁图。
然而，当待识别图像中人脸的图像信息缺失较为严重时，如待识别图像中的人脸佩戴有口罩、人脸扭转角度较大或灯光条件较差(暗光)时，待识别图像中会包含较多的干扰信息；该干扰信息会拉大待识别图像的人脸特征与底库图对应的人脸特征之间的特征距离，在这种情况下，即使底库图与待识别图像中的人脸属于同一ID，采用上述方式可能无法确定待识别图像与底库图的ID相同，进而导致人脸识别的准确率较低。
基于上述技术问题，本发明实施例提供了一种人脸识别方法、装置和电子系统，该技术可以应用于服务器、计算机、相机、手机、平板电脑、车辆中控设备等多种设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。
实施例一
首先，参照图1来描述用于实现本发明实施例的人脸识别方法、目标图像的确定方法、装置和电子系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。
所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集设备110可以采集预览视频帧或图像数据，并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的人脸识别方法、目标图像的确定方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目标图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机、车载终端等智能终端。
实施例二
本实施例提供了一种人脸识别方法，该方法由上述电子系统中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。
如图2所示，该方法包括如下步骤：
步骤S200，对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征。
上述待识别图像可以为待解锁的电子设备或者监控装置采集的视频帧，也可以为其他设备采集的图像。上述待识别图像中包含有待识别的人脸。
上述与人脸相关的人脸特征可以为常见的用于人脸识别的特征，比如人脸的轮廓、眼、口、鼻、眉等关键点特征。当待识别图像上的人脸有遮挡物，如口罩，人脸扭转角度较大，或者灯光条件较差时，上述情况会产生对待识别图像进行人脸识别的干扰信息。本发明实施例可以通过对待识别图像进行特征提取得到表征这些干扰信息的干扰特征，也可以对待识别图像的人脸特征进行进一步特征提取，得到人脸特征中受到上述干扰信息影响而产生的干扰特征。
上述对包含有人脸的待识别图像进行特征提取的过程中通常需要采用预先训练得到的特征提取模型，该模型可以同时提取待识别图像的与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；也可以分为两部分，一部分用于提取待识别图像中的人脸特征(该部分可称为第一子网络)，另一部分用于在得到人脸特征后，提取该人脸特征中的干扰特征(该部分可称为第二子网络)。上述特征提取模型可以基于不同形式的神经网络建立，如上述第一子网络可以为卷积神经网络(Convolutional NeuralNetworks,CNN)，还可以为包含池化层全连接层等网络层的神经网络等；上述第二子网络可以为全连接网络，该全连接网络可以为残差结构或瓶颈结构等结构的全连接网络。
在该模型的训练过程中，可以基于样本数据对整个模型进行训练；也可以首先基于样本数据对第一子网络进行训练，其损失函数可以为常用的三元组损失函数或Softmax损失函数等，然后基于样本数据及已经训练好的第一子网络，对第二子网络进行训练，最终得到训练好的特征提取模型。基于第二子网络的功能需求，即提取人脸特征中包含的与识别人脸无关的干扰特征，以及干扰特征的产生原因，需要引入较为标准的人脸特征(可称为参考特征)与获取到的人脸特征进行比较，并通过设置相关的损失函数对第二子网络进行训练，使得提取到的干扰特征趋近于干扰信息引起的人脸特征的变化。
上述样本数据中通常包括多个属于同一个样本人物的人脸图像，也即属于同一ID(具有同一身份标识)的人脸图像，其中每个人物对应一个ID(身份标识)。这些人脸图像可以具有不同的扭转角度及不同的灯光条件，还可以有部分遮挡物。可以预先通过提取该样本人物的较为标准的人脸图像(无遮挡、小扭转角度)的人脸特征作为该样本人物的参考特征；也可以通过提取样本数据中多个属于该样本人物的人脸图像的人脸特征后，对多个人脸特征进行平均处理，将平均后得到的特征作为该样本人物的参考特征。当确定了参考特征后，可以结合该参考特征及样本数据对特征提取模型进行训练，使得训练好的特征提取模型可以输出待识别图像的人脸特征以及干扰特征作为特征数据。
步骤S202，根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度。
上述标准图像可以为无遮挡、小扭转角度且亮度恰当的人脸图像；上述预设目标身份信息即为所述标准图像上人脸的身份信息。可以对标准图像进行特征提取，得到标准图像的特征数据，并将标准图像和其特征数据对应存储起来。标准图像的特征数据可以包括标准图像的人脸特征以及其人脸特征中包含的与识别人脸无关的干扰特征。在标准图像的标准度很高(如人脸无扭转等)的情况下，上述干扰特征可能为零矢量，此时标准图像的特征数据至包括标准图像的人脸特征。
上述相似度通常可以在一定的程度上反映待识别图像和标准图像之间的相似程度。在具体实现过程中，可以以待识别图像的特征数据与标准图像的特征数据之间的特征距离表示。上述特征距离可以根据待识别图像的人脸特征、干扰特征，以及标准图像的人脸特征、干扰特征确定。
在一实施例中，该特征距离为待识别图像的人脸特征与标准图像的人脸特征的L2距离。上述特征距离中可以包含该L2距离，同时考虑到干扰特征在人脸特征的L2距离中所造成的影响，可以计算待识别图像的干扰特征及标准图像的干扰特征的L2距离；然后，以人脸特征的L2距离减去一定比重的干扰特征的L2距离，将结果作为待识别图像的特征数据和标准图像的特征数据之间的第一特征距离。上述一定比重可以在上述特征提取模型训练好后，根据基于该模型的人脸识别准确率进行调整。
步骤S204，根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。
具体而言，可以预先设定一个相似度阈值，根据待识别图像和标准图像之间的相似度与该相似度阈值的大小关系，确定待识别图像中的人脸与标准图像中的人脸是否相同。当以待识别图像的特征数据与标准图像的特征数据之间的特征距离表示相似度时，上述相似度阈值也可以为距离阈值。通常情况下，当待识别图像的特征数据与标准图像的特征数据之间的特征距离大于该距离阈值时，可以认为待识别图像中的人脸与标准图像中的人脸不同；当第一特征距离小于或等于该距离阈值时，可以认为待识别图像中的人脸与标准图像中的人脸相同。上述相似度阈值可以基于历史经验或多次的人脸识别测试确定，并可以在该方法的执行过程中进行适应性调整。
本发明实施例提供了一种人脸识别方法，首先对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；然后根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；进而根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。该方式中，从待识别图像中提取的特征数据包括与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；在确定待识别图像和标准图像之间的相似度时，同时考虑了人脸特征及由于待识别图像的信息缺失导致的干扰特征，从而降低了干扰特征对人脸识别的影响，提高了人脸识别的准确率。
实施例三
本发明实施例还提供了另一种人脸识别方法，该方法在上述实施例方法的基础上实现；该方法重点描述对包含有人脸的待识别图像进行特征提取的具体实现过程(通过下述步骤S300实现)，以及根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度的具体实现过程(通过下述步骤S302-S308实现)，以及根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同的具体实现过程(通过下述步骤S310-S314实现)如图3所示，该方法包括以下步骤：
步骤S300，通过特征提取网络，提取待识别图像的特征数据。
上述待识别图像的特征数据包括两个特征：与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征。对应地，特征提取网络可以基于第一损失值和第二损失值训练得到。
第一损失值可以包括特征提取网络提取的样本图像的人脸特征对应的损失值；第一损失值可以通过常用的三元组损失函数及Am-Softmax损失函数根据样本图像的人脸特征及样本图像所属人脸类别的参考特征计算得到，具体计算过程与采用的损失函数相关。需要说明的是，本实施例中的人脸类别可以理解为具有相同ID的人物属于同一人脸类别，但本发明实施例不以此为限，还可以为相同年龄段、相同性别或者特征距离小于特定阈值的多张人脸图像属于同一人脸类别。
第二损失值可以包括根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算得到的样本图像的干扰特征对应的损失值。具体而言，第二损失值可以通过下述方式确定：
(1)计算样本图像的人脸特征，与样本图像所属人脸类别的参考特征之间的第一特征距离。
上述参考特征可以为样本图像所属人脸类别的多个人脸特征的平均特征，如样本图像所属人脸类别为A，则将设定数量(如50)张的所属人脸类别为A的不同图像输入至特征提取网络中，得到50个人脸特征，对50个人脸特征进行平均，得到人脸类别A的参考特征。在得到样本图像所属人脸类别的参考特征后，可以计算样本图像与该参考特征之间的特征距离，即上述第一特征距离。
(2)计算样本图像的干扰特征与第一特征距离之间的第二特征距离，将第二特征距离确定为第二损失值。
具体而言，当样本图像的人脸特征和样本图像的干扰特征的特征维度相同时，第一特征距离可以为样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差；第二特征距离可以为样本图像的干扰特征与特征之差之间的差值的范数，具体通过以下公式表示：
LM＝||u-(w-wc)||
其中，LM为上述第二损失值，u为上述干扰特征，w为上述样本图像的人脸特征，wc为上述样本图像所属人脸类别的参考特征。
当样本图像的人脸特征和样本图像的干扰特征的特征维度不同时，第一特征距离可以为样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差的范数；第二特征距离可以为样本图像的干扰特征的范数，与特征之差的范数的差值的绝对值，具体通过以下公式表示：
LM＝|||u||-||w-wc|||
其中，LM为上述第二损失值，u为上述干扰特征，w为上述样本图像的人脸特征，wc为上述样本图像所属人脸类别的参考特征。
此外，第二损失值还可以通过以下公式表示：
LM＝f(|||u||-||w-wc|||)
其中，f(|||u||-||w-wc|||)表示以|||u||-||w-wc|||为自变量的函数，f(|||u||-||w-wc|||)与|||u||-||w-wc|||，当选择f(x)＝x函数时，第二损失值为LM＝|||u||-||w-wc|||。
具体而言，特征提取网络可以包括第一子网络和第二子网络两部分；其中，第一子网络用于接收待识别图像，输出待识别图像的人脸特征；第二子网络用于接收人脸特征，输出干扰特征。上述特征提取网络可以基于神经网络建立；例如，上述第一子网络可以包括卷积神经网络；上述第二子网络可以包括全连接网络。全连接网络包括多个子模块；该子模块包括相互连接的多个全连接层和线性整流单元(Rectified Linear Unit,ReLU)。示例地，上述第二子网络可以为残差结构、瓶颈结构或waterfall结构等结构的全连接网络，本发明实施例对此不作限定。第一子网络可以基于第一损失值进行训练，第二子网络可以基于第二损失值进行训练。第一子网络和第二子网络可以同时训练，也可以先训练好第一子网络后，再基于训练好的第一子网络训练第二子网络，本发明实施例对此不作限定。
步骤S302，获取标准图像的特征数据。
上述标准图像的特征数据可以通过上述特征提取网络获取到，也可以是预先存储的。标准图像的特征数据可以包括标准图像的人脸特征以及其人脸特征中包含的与识别人脸无关的干扰特征，或者仅包括标准图像的人脸特征，本发明实施例对此不作限定。在获取到标准图像的特征数据后，可以确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离，并将第三特征距离确定为待识别图像和标准图像之间的相似度。
步骤S304，计算待识别图像的人脸特征和标准图像的人脸特征之间的人脸特征子距离。
具体而言，可以计算待识别图像的人脸特征和标准图像的人脸特征之间的L2距离作为人脸特征距离，参见下述公式：
LF＝||wa-wb||
其中，LF为上述人脸特征距离，wa为上述待识别图像的人脸特征，wb为上述目标身份信息对应的标准图像的人脸特征。
步骤S306，计算待识别图像对应的干扰特征和标准图像对应的干扰特征之间的干扰特征子距离。
具体而言，可以计算待识别图像对应的干扰特征和标准图像对应的干扰特征之间的L2距离作为干扰特征距离，参见下述公式：
LF＝||ua-ub||
其中，LD为上述干扰特征距离，ua为上述待识别图像对应的干扰特征，ub为上述标准图像对应的干扰特征。
步骤S308，根据人脸特征子距离和干扰特征子距离，确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离，将第三特征距离确定为待识别图像和标准图像之间的相似度。
具体而言，可以首先确定干扰特征距离对应的权重，该权重可以作为一个超参数，在基于训练好的特征提取模型进行人脸识别验证测试的过程中确定。将人脸特征距离，减去干扰特征距离乘以权重后的值，得到第一特征距离，参见下述公式：
L＝LF-λLD
其中，L为上述第一特征距离，λ为上述权重，LD为上述干扰特征距离，LF为上述人脸特征距离。上述第一特征距离还可以通过以下公式表示：
L＝f(LF-λLD)
其中，f(LF-λLD)是与LF-λLD正相关的函数。
步骤S310，判断相似度是否小于相似度阈值；如果小于，执行步骤S312；如果大于或等于，执行步骤S314。
步骤S312，确定待识别图像中的人脸与标准图像中的人脸相同。
如果上述相似度小于相似度阈值，则确定待识别图像中的人脸与标准图像中的人脸相同，也称为待识别图像与标准图像的ID相同。
步骤S314，确定待识别图像中的人脸与标准图像中的人脸不相同。
如果上述相似度大于或等于相似度阈值，则确定待识别图像中的人脸与标准图像中的人脸不同，也称为待识别图像与标准图像的ID不同。
本发明实施例提供了一种人脸识别方法，通过特征提取网络，提取待识别图像的特征数据，并获取标准图像的特征数据；分别计算待识别图像和标准图像之间的人脸特征距离及干扰特征距离，进而计算待识别图像和标准图像之间的特征距离，将该特征距离确定为待识别图像和标准图像之间的相似度；并根据该相似度及相似度阈值的大小关系，确定待识别图像中的人脸与标准图像中的人脸是否相同。该方式中，在计算待识别图像和标准图像的相似度时，同时考虑了人脸特征及由于待识别图像的信息缺失导致的干扰特征，降低了干扰信息对人脸识别过程的影响，提高了人脸识别的准确率。
实施例四
本发明实施例还提供了一种目标图像的确定方法，该方法在上述实施例所述方法的基础上实现，如图4所示，该方法包括以下步骤：
步骤S400，对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征。
步骤S402，当干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将待识别图像确定为目标图像。
具体而言，可以通过计算待识别图像的干扰特征的范数得到干扰特征与预设原点特征的距离。通常认为，当干扰特征与预设原点特征重合时，即干扰特征为0时，待识别图像中的质量越好，越适合进行人脸识别。当干扰特征距离预设远点特征越远，则干扰信息对人脸特征的影响越大，待识别图像越不适合进行人脸识别。针对于待识别图像不同的用途，可以为待识别图像的干扰特征与预设原点特征的距离设置不同的第一距离阈值，从而判断待识别图像是否适用于该用途。
例如，当待识别图像的用途为底库图时，由于底库图在后续的人脸识别时可以用作标准图像，底库图通常需要包括无遮挡、小扭转角度的人脸，此时，需要干扰特征与预设原点特征的距离越小越好，可以根据经验或测试设置对应的选择底库图的距离阈值。当待识别图像的用途为解锁图时，解锁图主要用于：对解锁图中的人脸进行特征提取后，确定解锁图与标准图像的相似度，从而确定解锁图与标准图像中的人脸是否属于同一个人。此时，对解锁图的质量标准可以适当降低一些，也可以根据经验或测试设置对应的选择解锁图的距离阈值。通常情况下，选择底库图的距离阈值小于选择解锁图的距离阈值。
本发明实施例提供了一种目标图像的确定方法，对包含有人脸的待识别图像进行特征提取后，得到待识别图像的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；当干扰特征与预设原点特征的距离小于预设的第一距离阈值时，将待识别图像确定为目标图像。该方式中，通过将待识别图像的干扰特征与预设原点特征的距离与预设的第一距离阈值进行比较，确定了待识别图像是否能够作为目标图像以实现预设的用途，提高了确定目标图像的效率。
实施例五
本发明实施例还提供了一种特征提取模型的训练方法，该方法在上述实施例方法的基础上实现；如图5所示，上述特征提取模型具体通过以下方式训练得到：
步骤S500，将样本图像输入至特征提取网络。
上述样本图像可以为电子设备或者监控装置采集的视频帧，也可以为其他设备采集的图像。该样本图像中包含有已知所属人脸类别的人脸。上述特征提取网络可以基于神经网络建立。
步骤S502，通过特征提取网络提取样本图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征。
具体而言，可以通过特征提取网络同时提取样本图像的人脸特征以及干扰特征；也可以将特征提取网络分为两部分，即第一子网络和第二子网络，分别通过第一子网络及第二子网络提取样本图像的人脸特征以及干扰特征：在实现过程中，可以将样本图像输入至第一子网络，输出样本图像的人脸特征；将人脸特征输入至第二子网络，输出干扰特征。
上述第一子网络可以为视觉几何群网络(Visual Geometry Group Network，简称“VGG”)，残差网络(ResNet)，倒残差网络(MobileNet)或重组通道网络(ShuffleNet)等；利用这些网络均可以提取样本图像的人脸特征。
步骤S504，基于预设的损失函数和样本图像的特征数据，计算损失值。
上述损失值包括第一损失值和第二损失值；第一损失值对应于样本图像的人脸特征，第二损失值对应于样本图像的干扰特征；具体而言，可以根据样本图像的人脸特征，计算第一损失值，具体计算过程与采用的损失函数相关；根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算样本图像的干扰特征对应的第二损失值。
具体而言，第二损失值可以通过下述方式确定：
(1)将特征提取网络输出的人脸类别的多张样本图像的人脸特征的平均值，确定为样本图像所属人脸类别的参考特征；
(2)计算样本图像的人脸特征，与人脸类别的参考特征之间的第四特征距离；
(3)计算样本图像的干扰特征与第四特征距离之间的第五特征距离，将第五特征距离确定为第二损失值。
步骤S506，根据损失值对特征提取网络进行迭代训练，得到训练后的特征提取模型。
在损失值收敛之前，继续采用样本集合中的样本图像对该特征提取网络进行训练，直至损失值收敛，得到训练后的特征提取模型。还可以预设训练次数，当对特征提取模型进行了预设训练次数的训练后，结束训练，得到训练后的特征提取模型。
本发明实施例提供了一种特征提取模型的训练方法，将样本图像输入至特征提取网络后，通过特征提取网络提取样本图像的人脸特征及干扰特征，进而基于预设的损失函数、人脸特征和干扰特征，计算损失值，并基于预设的损失函数和样本图像的特征数据，计算损失值。基于上述方法训练得到的特征提取模型，可以提取待识别图像的人脸特征以及干扰特征作为特征数据；基于该特征数据计算待识别图像与标准图像的特征距离时，同时考虑了人脸特征及由于待识别图像的信息缺失导致的干扰特征，从而降低了干扰信息对人脸识别的影响，提高了人脸识别的准确率。
实施例六
本发明实施例还提供了另一种人脸识别方法，该方法在上述实施例方法的基础上实现；该方法针对于相关技术中，由于待识别图像上人脸的遮挡物(如口罩)等原因产生的干扰信息(也称为ID无关信息)导致的待识别图像的特征与底库图的特征之间的L2距离增大，降低包含有干扰信息的特征识别图的通过率的问题。
本发明实施例提供的方法中，定义特征u，用于表征ID无关信息，u可以被称为干扰特征。在相关技术中用于提取待识别图像的人脸特征的特征提取网络G(相当于上述实施例中的第一子网络，可简称为网络G)的基础上，该方法增加了特征提取网络M(相当于上述实施例中的第二子网络，可简称为网络M)，用于提取原有的人脸特征中的ID无关特征(相当于上述实施例中的干扰特征)；也可以直接改进特征提取网络G的结构，使得通过网络G提取到人脸特征及干扰特征。
当采用新增网络M的方式实现上述方法时，网络G的结构可以包括卷积神经网络(CNN)及全连接层(FC)(以图6中的第一全连接层表示)，如图6所示；网络M的结构可以包括全连接层(以图7中的第二全连接层表示)，图7所示为包括网络G和网络M的特征提取网络的结构示意图，最终通过下述公式计算待识别图像与标准图像之间的特征距离L：
L＝||wa-wb||-λua-ub||
其中，wa,ua分别为待识别图像的人脸特征及干扰特征，wb,ub分别为标准图像的人脸特征及干扰特征。该特征距离可以表征ID相关的信息(相当于人脸相关的信息)，当λ＝0时，该方法退化为相关技术中常用的方法。可以通过该特征距离识别ID相关的信息，当L大于或等于预设的阈值(相当于上述实施例中的距离阈值)时，判定两个图像中的人脸不是同一个人，当L小于预设的阈值时，判定两个图像中的人脸为同一个人。上述L还可以通过以下公式表示：
L＝g(||wa-wb||，||ua-ub||)
其中，g(||wa-wb||，||ua-ub||)是以||wa-wb||和||ua-ub||为自变量的函数，且与||wa-wb||正相关，与||ua-ub||负相关。
在基于上述网络G和网络M的特征提取网络对待识别图像进行人脸识别测试的过程中，可以将待识别图像和标准图像输入至网络G，得到人脸特征数据w，再将人脸特征数据输入至网络M中，得到干扰特征u，最后通过上述特征距离L的计算公式进行计算及ID判别；上述λ参数的确定，可以通过验证集搜索，选择能让测试指标最高的λ作为L公式中的参数；其中，验证集中也包括多个样本图像。
在上述特征提取网络的训练过程中，网络G的训练仍然使用传统方法训练，例如采用三元组损失函数、AM-Softmax等作为损失函数，同时可以增加权重衰减(weight decay)等损失函数用于增加泛化性。对应的损失函数以LG表示。
网络M的训练过程采用下述公式作为损失函数：
LM＝||u-(w-wc)||
或者，LM＝|||u||-||w-wc|||
对第一公式，u和w的维度可以不一致，对第二种u和w的维度要求一致。其中，u是网络M的输出，w是网络M的输入，wc是w中所有相同ID的人脸特征的特征中心。具体地，如果训练网络G的损失函数为三元组损失函数，则wc为w对应ID的所有人脸特征的均值。如果训练G网络的损失函数为分类损失函数，则wc选择对应的分类特征。
上述损失函数LM抹去了w中ID相关的信息，保留了ID无关信息，因为将u的中心点切换到了原点,从而得到了符合上面关于特征u的描述。
同时损失函数LM也可以增加M网络的权重衰减，以增加泛化性。
在对整个特征网络进行整体训练时，总的损失函数可以通过以下公式表示：
LT＝LG+LM
通过随机梯度下降方法训练上述损失函数即可得到所需要的网络G和网络M。
在具体实现时，网络G可以使用VGG，Resnet，mobilenet V1-V3,shufflenet、waterfall等结构。网络M可以使用全连接网络、有Resnet结构的全连接网络、有bottleneck结构的全连接网络、有waterfall结构的全连接网络等等。其中，包括Resnet结构的全连接网络的结构示意图如图8所示，其子模块包括全连接层(FC)和线性整流单元(RectifiedLinear Unit，简称为ReLU，又称为修正线性单元)。包括瓶颈注意模块(BottleneckAttention Module，BAM)结构的全连接网络的结构与图8类似，其子模块的结构示意图如图9所示，其子模块中的全连接层和线性整流单元可以进行维度变换。包括waterfall结构的全连接网络的结构与图8类似，其子模块的结构示意图如图10所示。
基于上述人脸识别方法，底库图和/或解锁图的选择可以通过以下方式：
所有的u特征均是按照原点0分布的，可以认为原点0的质量是图像质量最好的，离原点距离越远，则ID无关信息越多。因而按照特征u离原点可以确定两条边界。
1.||u||<Tbase，其中Tbase是选择底库图的阈值。
2.||u||<Tquery，其中Tquery是选择解锁图的阈值。
||u||<Tbase认为是可被选为底库图的图像，||u||<Tquery被认为是可以选作解锁图的阈值。当||u||≥Tbase时，图像信息较低，不适宜作为底库图。当||u||≥Tquery时，解锁图信息丢失过多，容易产生误识别。
确定Tbase的方法可以通过验证集图像计算所有底库图的||u||，计算底库的通过率获得。Tquery可以通过验证集的解锁图中的通过率确定。
上述人脸识别方法可以应用于去除口罩、大角度、暗光等信息缺失条件下，获取缺失信息，并结合该缺失信息进行人脸识别，提高了人脸识别的准确率。
实施例七
对应于上述人脸识别方法实施例，本发明实施例提供了一种人脸识别装置，如图11所示，该装置包括：
第一特征提取模块1100，用于对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征，以及人脸特征中包含的与识别人脸无关的干扰特征；
相似度确定模块1102，用于根据待识别图像的特征数据，确定待识别图像和标准图像之间的相似度；
人脸确定模块1104，用于根据相似度，确定待识别图像中的人脸与标准图像中的人脸是否相同。
进一步地，上述第一特征提取模块还用于：通过特征提取网络，提取待识别图像的特征数据；其中，特征提取网络基于第一损失值和第二损失值训练得到；第一损失值包括：特征提取网络提取的样本图像的人脸特征对应的损失值；第二损失值包括：根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算得到的样本图像的干扰特征对应的损失值。
具体地，上述第二损失值具体通过下述方式确定：计算样本图像的人脸特征，与样本图像所属人脸类别的参考特征之间的第一特征距离；计算样本图像的干扰特征与第一特征距离之间的第二特征距离，将第二特征距离确定为第二损失值。
具体地，当样本图像的人脸特征和样本图像的干扰特征的特征维度相同时，第一特征距离包括：样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差；第二特征距离包括：样本图像的干扰特征与特征之差之间的差值的范数。
具体地，当样本图像的人脸特征和样本图像的干扰特征的特征维度不同时，第一特征距离包括：样本图像的人脸特征，与样本图像所属人脸类别的参考特征的特征之差的范数；第二特征距离包括：样本图像的干扰特征的范数，与特征之差的范数的差值的绝对值。
具体地，上述特征提取网络包括：第一子网络和第二子网络；第一子网络用于：接收待识别图像，输出待识别图像的人脸特征；第二子网络用于：接收人脸特征，输出干扰特征。
具体地，上述第二子网络包括残差结构、瓶颈结构或waterfall结构的全连接网络。
具体地，上述相似度确定模块还用于：获取标准图像的特征数据；确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离，将第三特征距离确定为待识别图像和标准图像之间的相似度。
具体地，上述相似度确定模块还用于：计算待识别图像的人脸特征和标准图像的人脸特征之间的人脸特征子距离；计算待识别图像对应的干扰特征和标准图像对应的干扰特征之间的干扰特征子距离；根据人脸特征子距离和干扰特征子距离，确定待识别图像的特征数据与标准图像的特征数据之间的第三特征距离。
具体地，上述相似度确定模块还用于：确定干扰特征子距离对应的权重值；计算人脸特征子距离，减去干扰特征子距离乘以权重值后的数值，将数值确定为待识别图像的特征数据与标准图像的特征数据之间的第三特征距离。
具体地，上述人脸确定模块还用于：当相似度小于相似度阈值时，确定待识别图像中的人脸与标准图像中的人脸相同；当相似度大于或等于相似度阈值时，确定待识别图像中的人脸与标准图像中的人脸不相同。
本发明实施例提供的人脸识别装置，与上述实施例提供的人脸识别方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例八
对应于上述目标图像的确定方法实施例，本发明实施例提供了一种目标图像的确定装置，如图12所示，该装置包括：
第二特征提取模块1200，用于对包含有人脸的待识别图像进行特征提取，得到待识别图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；
目标图像确定模块1202，用于当干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将待识别图像确定为目标图像。
具体地，上述干扰特征与预设原点特征的距离，包括干扰特征的范数。
本发明实施例提供的目标图像的确定装置，与上述实施例提供的目标图像的确定方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例九
对应于上述特征提取模型的训练方法实施例，本发明实施例提供了一种特征提取模型的训练装置，如图13所示，该装置包括：
图像输入模块1300，用于将样本图像输入至特征提取网络；
第三特征提取模块1302，用于通过特征提取网络提取样本图像的特征数据；其中，特征数据包括：与人脸相关的人脸特征以及人脸特征中包含的与识别人脸无关的干扰特征；
损失值计算模块1304，用于基于预设的损失函数和样本图像的特征数据，计算损失值；
模型训练模块1306，用于根据损失值对特征提取网络进行迭代训练，得到训练后的特征提取模型。
具体地，上述损失值包括第一损失值和第二损失值；上述损失值计算模块还用于：根据样本图像的人脸特征，计算第一损失值；根据样本图像的人脸特征，以及样本图像所属人脸类别的参考特征，计算样本图像的干扰特征对应的第二损失值。
进一步地，上述损失值计算模块还用于：将特征提取网络输出的人脸类别的多张样本图像的人脸特征的平均值，确定为样本图像所属人脸类别的参考特征；计算样本图像的人脸特征，与人脸类别的参考特征之间的第四特征距离；计算样本图像的干扰特征与第四特征距离之间的第五特征距离，将第五特征距离确定为第二损失值。
具体地，上述特征提取网络包括第一子网络和第二子网络；通过特征提取网络提取样本图像的特征数据的步骤，包括：将样本图像输入至第一子网络，输出样本图像的人脸特征；将人脸特征输入至第二子网络，输出干扰特征。
本发明实施例提供的特征提取模型的训练装置，与上述实施例提供的特征提取模型的训练方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例十
本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述人脸识别方法、目标图像的确定方法或特征提取模型的训练方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
进一步，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述人脸识别方法、目标图像的确定方法或特征提取模型的训练方法的步骤。
本发明实施例所提供的一种人脸识别方法、目标图像的确定方法或特征提取模型的训练方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (22)

1.一种人脸识别方法，其特征在于，所述方法包括：
对包含有人脸的待识别图像进行特征提取，得到所述待识别图像的特征数据；其中，所述特征数据包括：与所述人脸相关的人脸特征，以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
根据所述待识别图像的特征数据，确定所述待识别图像和标准图像之间的相似度；
根据所述相似度，确定所述待识别图像中的人脸与所述标准图像中的人脸是否相同。
2.根据权利要求1所述的方法，其特征在于，对包含有人脸的待识别图像进行特征提取的步骤，包括：
通过特征提取网络，提取待识别图像的特征数据；
其中，所述特征提取网络基于第一损失值和第二损失值训练得到；所述第一损失值包括：所述特征提取网络提取的样本图像的人脸特征对应的损失值；
所述第二损失值包括：根据所述样本图像的人脸特征，以及所述样本图像所属人脸类别的参考特征，计算得到的所述样本图像的干扰特征对应的损失值。
3.根据权利要求2所述的方法，其特征在于，所述第二损失值具体通过下述方式确定：
计算所述样本图像的人脸特征，与所述样本图像所属人脸类别的参考特征之间的第一特征距离；
计算所述样本图像的干扰特征与所述第一特征距离之间的第二特征距离，将所述第二特征距离确定为所述第二损失值。
4.根据权利要求3所述的方法，其特征在于，当所述样本图像的人脸特征和所述样本图像的干扰特征的特征维度相同时，所述第一特征距离包括：所述样本图像的人脸特征，与所述样本图像所属人脸类别的参考特征的特征之差；
所述第二特征距离包括：所述样本图像的干扰特征与所述特征之差之间的差值的范数。
5.根据权利要求3所述的方法，其特征在于，当所述样本图像的人脸特征和所述样本图像的干扰特征的特征维度不同时，所述第一特征距离包括：所述样本图像的人脸特征，与所述样本图像所属人脸类别的参考特征的特征之差的范数；
所述第二特征距离包括：所述样本图像的干扰特征的范数，与所述特征之差的范数的差值的绝对值。
6.根据权利要求2所述的方法，其特征在于，所述特征提取网络包括：第一子网络和第二子网络；
所述第一子网络用于：接收所述待识别图像，输出所述待识别图像的人脸特征；
所述第二子网络用于：接收所述人脸特征，输出所述干扰特征。
7.根据权利要求6所述的方法，其特征在于，所述第二子网络包括残差结构、瓶颈结构或waterfall结构的全连接网络。
8.根据权利要求1所述的方法，其特征在于，根据所述待识别图像的特征数据，确定所述待识别图像和标准图像之间的相似度的步骤，包括：
获取标准图像的特征数据；
确定所述待识别图像的特征数据与所述标准图像的特征数据之间的第三特征距离，将所述第三特征距离确定为所述待识别图像和标准图像之间的相似度。
9.根据权利要求8所述的方法，其特征在于，确定所述待识别图像的特征数据与所述标准图像的特征数据之间的第三特征距离的步骤，包括：
计算所述待识别图像的人脸特征和所述标准图像的人脸特征之间的人脸特征子距离；
计算所述待识别图像对应的干扰特征和所述标准图像对应的干扰特征之间的干扰特征子距离；
根据所述人脸特征子距离和所述干扰特征子距离，确定所述待识别图像的特征数据与所述标准图像的特征数据之间的第三特征距离。
10.根据权利要求9所述的方法，其特征在于，根据所述人脸特征子距离和所述干扰特征子距离，确定所述待识别图像的特征数据与所述标准图像的特征数据之间的第三特征距离的步骤，包括：
确定所述干扰特征子距离对应的权重值；
计算所述人脸特征子距离，减去所述干扰特征子距离乘以所述权重值后的数值，将所述数值确定为所述待识别图像的特征数据与所述标准图像的特征数据之间的第三特征距离。
11.根据权利要求1所述的方法，其特征在于，根据所述相似度，确定所述待识别图像中的人脸与所述标准图像中的人脸是否相同的步骤，包括：
当所述相似度小于相似度阈值时，确定所述待识别图像中的人脸与所述标准图像中的人脸相同；
当所述相似度大于或等于所述相似度阈值时，确定所述待识别图像中的人脸与所述标准图像中的人脸不相同。
12.一种目标图像的确定方法，其特征在于，所述方法包括：
对包含有人脸的待识别图像进行特征提取，得到所述待识别图像的特征数据；其中，所述特征数据包括：与所述人脸相关的人脸特征以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
当所述干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将所述待识别图像确定为目标图像。
13.根据权利要求12所述的方法，其特征在于，所述干扰特征与预设原点特征的距离，包括所述干扰特征的范数。
14.一种特征提取模型的训练方法，其特征在于，所述方法包括：
将样本图像输入至特征提取网络；
通过所述特征提取网络提取所述样本图像的特征数据；其中，所述特征数据包括：与人脸相关的人脸特征以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
基于预设的损失函数和所述样本图像的特征数据，计算损失值；
根据所述损失值对所述特征提取网络进行迭代训练，得到训练后的所述特征提取模型。
15.根据权利要求14所述的方法，其特征在于，所述损失值包括第一损失值和第二损失值；所述基于预设的损失函数和所述样本图像的特征数据，计算损失值的步骤，包括：
根据所述样本图像的人脸特征，计算第一损失值；
根据所述样本图像的人脸特征，以及所述样本图像所属人脸类别的参考特征，计算所述样本图像的干扰特征对应的第二损失值。
16.根据权利要求15所述的方法，其特征在于，根据所述样本图像的人脸特征，以及所述样本图像所属人脸类别的参考特征，计算所述样本图像的干扰特征的第二损失值的步骤，包括：
将所述特征提取网络输出的所述人脸类别的多张样本图像的人脸特征的平均值，确定为所述样本图像所属人脸类别的参考特征；
计算所述样本图像的人脸特征，与所述人脸类别的参考特征之间的第四特征距离；
计算所述样本图像的干扰特征与所述第四特征距离之间的第五特征距离，将所述第五特征距离确定为所述第二损失值。
17.根据权利要求16所述的方法，其特征在于，所述特征提取网络包括第一子网络和第二子网络；
所述通过所述特征提取网络提取所述样本图像的特征数据的步骤，包括：
将所述样本图像输入至所述第一子网络，输出所述样本图像的人脸特征；
将所述人脸特征输入至所述第二子网络，输出所述干扰特征。
18.一种人脸识别装置，其特征在于，所述装置包括：
第一特征提取模块，用于对包含有人脸的待识别图像进行特征提取，得到所述待识别图像的特征数据；其中，所述特征数据包括：与所述人脸相关的人脸特征，以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
相似度确定模块，用于根据所述待识别图像的特征数据，确定所述待识别图像和标准图像之间的相似度；
人脸确定模块，用于根据所述相似度，确定所述待识别图像中的人脸与所述标准图像中的人脸是否相同。
19.一种目标图像的确定装置，其特征在于，所述装置包括：
第二特征提取模块，用于对包含有人脸的待识别图像进行特征提取，得到所述待识别图像的特征数据；其中，所述特征数据包括：与所述人脸相关的人脸特征以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
目标图像确定模块，用于当所述干扰特征与预设原点特征的距离，小于预设的第一距离阈值时，将所述待识别图像确定为目标图像。
20.一种特征提取模型的训练装置，其特征在于，所述装置包括：
图像输入模块，用于将样本图像输入至特征提取网络；
第三特征提取模块，用于通过所述特征提取网络提取所述样本图像的特征数据；其中，所述特征数据包括：与人脸相关的人脸特征以及所述人脸特征中包含的与识别所述人脸无关的干扰特征；
损失值计算模块，用于基于预设的损失函数和所述样本图像的特征数据，计算损失值；
模型训练模块，用于根据所述损失值对所述特征提取网络进行迭代训练，得到训练后的所述特征提取模型。
21.一种电子系统，其特征在于，所述电子系统包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取预览视频帧或图像数据；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至17任一项所述的方法。
22.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至17任一项所述的方法。
CN202010198640.3A 2020-03-19 2020-03-19 人脸识别方法、目标图像的确定方法、装置和电子系统 Active CN111414858B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010198640.3A CN111414858B (zh) 2020-03-19 2020-03-19 人脸识别方法、目标图像的确定方法、装置和电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010198640.3A CN111414858B (zh) 2020-03-19 2020-03-19 人脸识别方法、目标图像的确定方法、装置和电子系统

Publications (2)

Publication Number Publication Date
CN111414858A true CN111414858A (zh) 2020-07-14
CN111414858B CN111414858B (zh) 2023-12-19

Family

ID=71491307

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010198640.3A Active CN111414858B (zh) 2020-03-19 2020-03-19 人脸识别方法、目标图像的确定方法、装置和电子系统

Country Status (1)

Country Link
CN (1) CN111414858B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112270747A (zh) * 2020-11-10 2021-01-26 杭州海康威视数字技术股份有限公司 一种人脸识别方法、装置及电子设备
CN112631896A (zh) * 2020-12-02 2021-04-09 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN113688764A (zh) * 2021-08-31 2021-11-23 瓴盛科技有限公司 人脸选优模型的训练方法、装置和计算机可读介质
CN114399005A (zh) * 2022-03-10 2022-04-26 深圳市声扬科技有限公司 一种活体检测模型的训练方法、装置、设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323089A1 (en) * 2008-06-24 2009-12-31 Makoto Hayasaki Image processing apparatus, image forming apparatus, image processing method, and computer-readable storage medium storing image processing program
CN102186242A (zh) * 2011-05-09 2011-09-14 江南大学 固定区域无线传感器网络移动节点定位方法
CN104008364A (zh) * 2013-12-31 2014-08-27 广西科技大学 人脸识别方法
CN105654069A (zh) * 2016-02-03 2016-06-08 江南大学 基于Lp范数正则化的增量子空间目标跟踪方法
US20160253554A1 (en) * 2015-02-27 2016-09-01 Fujitsu Limited Determination device and determination method
CN107679474A (zh) * 2017-09-25 2018-02-09 北京小米移动软件有限公司 人脸匹配方法及装置
US20190230266A1 (en) * 2016-04-22 2019-07-25 Suzhou Siyuan Kean Information Technology Co., Ltd Human machine interface system and method of providing guidance and instruction for iris recognition on mobile terminal
CN110598620A (zh) * 2019-09-06 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法和装置、目标检测方法和装置
CN110688941A (zh) * 2019-09-25 2020-01-14 支付宝(杭州)信息技术有限公司 人脸图像的识别方法及其装置
WO2020038140A1 (zh) * 2018-08-24 2020-02-27 阿里巴巴集团控股有限公司 人脸识别方法及装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090323089A1 (en) * 2008-06-24 2009-12-31 Makoto Hayasaki Image processing apparatus, image forming apparatus, image processing method, and computer-readable storage medium storing image processing program
CN102186242A (zh) * 2011-05-09 2011-09-14 江南大学 固定区域无线传感器网络移动节点定位方法
CN104008364A (zh) * 2013-12-31 2014-08-27 广西科技大学 人脸识别方法
US20160253554A1 (en) * 2015-02-27 2016-09-01 Fujitsu Limited Determination device and determination method
CN105654069A (zh) * 2016-02-03 2016-06-08 江南大学 基于Lp范数正则化的增量子空间目标跟踪方法
US20190230266A1 (en) * 2016-04-22 2019-07-25 Suzhou Siyuan Kean Information Technology Co., Ltd Human machine interface system and method of providing guidance and instruction for iris recognition on mobile terminal
CN107679474A (zh) * 2017-09-25 2018-02-09 北京小米移动软件有限公司 人脸匹配方法及装置
WO2020038140A1 (zh) * 2018-08-24 2020-02-27 阿里巴巴集团控股有限公司 人脸识别方法及装置
CN110598620A (zh) * 2019-09-06 2019-12-20 腾讯科技（深圳）有限公司 模型训练方法和装置、目标检测方法和装置
CN110688941A (zh) * 2019-09-25 2020-01-14 支付宝(杭州)信息技术有限公司 人脸图像的识别方法及其装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232117A (zh) * 2020-09-08 2021-01-15 深圳微步信息股份有限公司 一种人脸识别方法、装置及存储介质
CN112270747A (zh) * 2020-11-10 2021-01-26 杭州海康威视数字技术股份有限公司 一种人脸识别方法、装置及电子设备
CN112631896A (zh) * 2020-12-02 2021-04-09 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN112631896B (zh) * 2020-12-02 2024-04-05 武汉旷视金智科技有限公司 设备性能测试方法、装置、存储介质及电子设备
CN113688764A (zh) * 2021-08-31 2021-11-23 瓴盛科技有限公司 人脸选优模型的训练方法、装置和计算机可读介质
CN114399005A (zh) * 2022-03-10 2022-04-26 深圳市声扬科技有限公司 一种活体检测模型的训练方法、装置、设备及存储介质
CN114399005B (zh) * 2022-03-10 2022-07-12 深圳市声扬科技有限公司 一种活体检测模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111414858B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
CN111414858B (zh) 人脸识别方法、目标图像的确定方法、装置和电子系统
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109871780B (zh) 一种人脸质量判决方法、系统及人脸识别方法、系统
CN107316029B (zh) 一种活体验证方法及设备
CN111738120B (zh) 人物识别方法、装置、电子设备及存储介质
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN110543848B (zh) 一种基于三维卷积神经网络的驾驶员动作识别方法及装置
CN111339897B (zh) 活体识别方法、装置、计算机设备和存储介质
CN112364801A (zh) 一种动态阈值人脸识别方法
CN113642639B (zh) 活体检测方法、装置、设备和存储介质
CN111784658B (zh) 一种用于人脸图像的质量分析方法和系统
CN112052730B (zh) 一种3d动态人像识别监控设备及方法
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
CN113344000A (zh) 证件翻拍识别方法、装置、计算机设备和存储介质
CN116453232A (zh) 人脸活体检测方法、人脸活体检测模型的训练方法和装置
CN113743365A (zh) 人脸识别过程中的欺诈行为检测方法及装置
CN111401424B (zh) 目标检测方法、装置和电子系统
CN111753710A (zh) 一种应用于物流配送的细分类神经网络人脸识别方法
CN111598144A (zh) 图像识别模型的训练方法和装置
CN113723310B (zh) 基于神经网络的图像识别方法及相关装置
CN115731620A (zh) 检测对抗攻击的方法和训练对抗攻击检测模型的方法
CN114038030A (zh) 图像篡改识别方法、设备及计算机存储介质
CN113554685A (zh) 遥感卫星运动目标检测方法、装置、电子设备及存储介质
CN113255472B (zh) 一种基于随机嵌入稳定性的人脸质量评价方法及系统
WO2023109551A1 (zh) 一种活体检测方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant