CN111626243A - 口罩遮挡人脸的身份识别方法、装置及存储介质 - Google Patents

口罩遮挡人脸的身份识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111626243A
CN111626243A CN202010481935.1A CN202010481935A CN111626243A CN 111626243 A CN111626243 A CN 111626243A CN 202010481935 A CN202010481935 A CN 202010481935A CN 111626243 A CN111626243 A CN 111626243A
Authority
CN
China
Prior art keywords
feature
face
picture
mask
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010481935.1A
Other languages
English (en)
Other versions
CN111626243B (zh
Inventor
陈辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Kaike Intelligent Technology Co ltd
Original Assignee
Shanghai Kaike Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Kaike Intelligent Technology Co ltd filed Critical Shanghai Kaike Intelligent Technology Co ltd
Priority to CN202010481935.1A priority Critical patent/CN111626243B/zh
Publication of CN111626243A publication Critical patent/CN111626243A/zh
Application granted granted Critical
Publication of CN111626243B publication Critical patent/CN111626243B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Collating Specific Patterns (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种口罩遮挡人脸的身份识别方法、装置及存储介质。方法包括：获取待识别的人脸图片，对其进行预处理，以得到待处理图片；将待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。实施本发明实施例，主要优点如下：(1)通过空间特征的多尺度融合，充分提取全局整体性特征和局部细节特征，很大程度上提高人脸识别的准确率；(2)通过在训练过程中引入随机特征擦除过程，缓解了对口罩遮挡的数据采集整理的过程，降低了数据采集整理的人力成本；并使用端到端的训练和部署过程，提高了模型的实时性。

Description

口罩遮挡人脸的身份识别方法、装置及存储介质
技术领域
本发明涉及人脸识别技术领域，具体涉及一种口罩遮挡人脸的身份识别方法、装置及存储介质。
背景技术
关于口罩遮挡人脸的识别方法，目前主要有以下几种：
现有技术一：收集同一身份的不同姿态、光照等条件下戴口罩和不带口罩的多张图片，进行通用方法的人脸识别模型训练，将模型部署到实际场景使用。该技术的问题在于：1.数据收集的工作量很大,穷举不同口罩类型下的样本困难；2.通用的特征提取网络不能充分提取有用信息,造成模型精度下降。
现有技术二：使用贴图或者对抗生成的方式生成大量戴口罩和不带口罩的训练数据进行模型训练，将模型部署到实际场景中使用。该技术的问题在于贴图和生成的数据和实际数据相比，引入了扭曲变形等噪声，造成模型实际部署时，效果不佳。
现有技术三：使用局部块训练多个特征提取模型，实际部署时判断未遮挡区域的局部块分别进行特征提取，加权获取最终的相似度进行身份判定。该技术方案的问题在于需要训练多个模型，这无论在训练阶段还是实际部署使用阶段，都会带来内存和计算量的负担。
发明内容
针对上述技术缺陷，本发明实施例提供了一种口罩遮挡人脸的身份识别方法、装置及存储介质。
为实现上述目的，第一方面，本发明实施例提供了一种口罩遮挡人脸的身份识别方法，包括：
获取待识别的人脸图片，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；
对所述待识别的人脸图片进行预处理，以得到待处理图片；
将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；所述特征提取模型基于卷积神经网络进行空间特征的多尺度融合和随机特征擦除处理所得；
根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
作为本申请的一种具体实施方式，对所述待识别的人脸图片进行预处理，具体包括：
对所述待识别的人脸图片进行人脸检测、噪声过滤和几何校正处理。
作为本申请的一种具体实施方式，根据所述特征表示数据与特征库进行匹配，具体包括：
将所述特征表示数据与特征库中的标准特征进行相似度计算，并取值为top-1的相似度，若top-1的相似度大于阈值，则匹配成功，反之，待识别的人脸不在所述特征库中，匹配失败。
进一步地，获取待识别的人脸图片之前，所述方法还包括训练所述特征提取模型，具体包括：
数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；
数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正处理；
模型训练步骤：将预处理后的数据输入卷积神经网络以输出人脸特征feature_map_k、feature_map_k+1和feature_map_k+2，分别将人脸特征feature_map_k、feature_map_k+1和feature_map_k+2输入特征提取模块以输出人脸特征f1、f2和f3，对所述人脸特征f1、f2和f3进行组合以得到人脸特征f，采用loss函数对所述卷积神经网络的参数进行调整，最终得到所述特征提取模型。
其中，得到人脸特征f1的具体过程包括：
对所述人脸特征feature_map_k进行n次卷积操作，得到人脸特征feature_map_k*，其中，n为大于等于1的正数；
将所述人脸特征feature_map_k*与掩码mask_k进行乘法运算，得到掩码后的特征masked_feature_map；
对特征masked_feature_map进行全局可分离卷积池化操作，得到所述人脸特征f1。
第二方面，本发明实施例提供了一种口罩遮挡人脸的身份识别装置，包括：
获取单元，获取待识别的人脸图片，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；
预处理单元，用于对所述待识别的人脸图片进行预处理，以得到待处理图片；
提取单元，用于将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；所述特征提取模型基于卷积神经网络进行空间特征的多尺度融合和随机特征擦除处理所得；
识别单元，用于根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
进一步地，该身份识别装置还包括模型训练单元，用于训练所述特征提取模型，具体包括：
数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；
数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正处理；
模型训练步骤：将预处理后的数据输入卷积神经网络以输出人脸特征feature_map_k、feature_map_k+1和feature_map_k+2，分别将人脸特征feature_map_k、feature_map_k+1和feature_map_k+2输入特征提取模块以输出人脸特征f1、f2和f3，对所述人脸特征f1、f2和f3进行组合以得到人脸特征f，采用loss函数对所述卷积神经网络的参数进行调整，最终得到所述特征提取模型。
第三方面，本发明实施例提供了另一种口罩遮挡人脸的身份识别装置，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
实施本发明实施例，主要优点如下：
(1)通过空间特征的多尺度融合，充分提取全局整体性特征和局部细节特征，很大程度上提高人脸识别的准确率；
(2)通过在训练过程中引入随机特征擦除过程，缓解了对口罩遮挡的数据采集整理的过程，降低了数据采集整理的人力成本；并使用端到端的训练和部署过程，提高了模型的实时性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
图1是身份识别方法的主要流程图；
图2是本发明实施例提供的口罩遮挡人脸的身份识别方法的流程示意图；
图3是网络结构示意图；
图4是特征提取模型示意图；
图5是本发明第一实施例提供的口罩遮挡人脸的身份识别装置的结构示意图；
图6是本发明第二实施例提供的口罩遮挡人脸的身份识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例主要解决的技术问题包括：
(1)口罩遮挡的人脸识别模型训练时需要收集或者生成大量戴口罩和不带口罩的数据的问题；
(2)现有网络结构训练得到的模型在戴口罩场景中识别精度不佳的问题；
(3)实际部署使用时需要判断是否戴口罩进行分情况判定造成的逻辑复杂，计算量大，实时性不佳的问题。
为解决上述技术问题，本发明实施例提供了一种身份识别方法。该方法主要应用于人脸识别领域，特别是针对有口罩遮挡的人脸识别领域。如图1所示，该方法主要包括图片输入、人脸检测、数据预处理、特征提取和身份识别几个部分。
更为具体地，请参考图2，本发明实施例提供的口罩遮挡人脸的身份识别方法主要包括：
S101，训练特征提取模型。
具体地，步骤S101具体包括：
(1)数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；该样本图片可以是戴口罩的，也可以是不戴口罩的，对此不做具体要求；
(2)数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正等预处理；
(3)模型训练步骤：将预处理后的数据输入到CNN网络中，通过通用的loss函数监督网络的训练过程，这个过程中网络参数在loss函数的指导小进行调整，到一定阶段，训练结束，模型参数固定，从而得到上述特征提取模型。
需要说明的是，在模型训练阶段使用的网络结构，主要使用了多特征融合技术和随机掩码技术。
其中，对网络结构的描述如下：
如图3所示，feature_map_*为经过卷积和池化操作后得到的不同深度位置的特征图，这些卷积和池化操作的结构可以如resnet中使用的那样，也可以如mobilenet中使用的那样，不做具体限制。这里使用resnet的残差结构。
多特征融合的一个具体的实现为：分别将feature_map_k,feature_map_k+1和feature_map_k+2输入到特征提取模块，得到f1、f2和f3，分别代表局部细节特征和全局整体特征。然后对f1、f2和f3进行组合，这里使用concat操作。再对其进行fc操作得到人脸特征f。最后通过通用的loss函数监督进行训练(loss函数可以是contrastive loss,tripletloss,也可以是softmax loss或者arcface loss)，调整内部参数的值，得到特征提取模型。关于loss函数，此处使用arcface loss。
进一步地，在训练过程中，随机掩码技术的实现如图4。具体为：对主干网络中具体某一深度处的特征图feature_map_k进行n(n>＝1的整数)次卷积操作，这里进行3次3*3的卷积操作，得到feature_map_k*。将其与掩码mask_k进行乘运算得到掩码后的特征masked_feature_map。掩码的结构如图3所示，大小和feature_map_k*相同，即h*w*c.上半部分((0～1/u*h)*w*c)的值固定为1,下半部((1/u*h+1～h)*w*c)的值随机选择0或者1。最后，对masked_feature_map进行全局可分离卷积池化(GDConv)操作。得到人脸特征f1。
S102，获取待识别的人脸图片。
其中，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；即待识别的人脸图片为戴有口罩的人脸图片。
S103，对所述待识别的人脸图片进行预处理，以得到待处理图片。
具体地，对待识别的人脸图片进行人脸检测、噪声过滤和几何校正等预处理。
S104，将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据。
S105，根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
具体地，将预处理后的人脸图片输入训练到的特征提取模型中，得到待识别个体的特征表示数据(即前述的人脸特征f)，将特征表示数据与特征库中的标准特征进行相似度计算，并取值为top-1的相似度，若top-1的相似度大于阈值，则匹配成功，反之，待识别的人脸不在所述特征库中，匹配失败。
实施本发明实施例，主要优点如下：
(1)通过空间特征的多尺度融合，充分提取全局整体性特征和局部细节特征,很大程度上提高人脸识别的准确率；
(2)通过在训练过程中引入随机特征擦除过程，缓解了对口罩遮挡的数据采集整理的过程，降低了数据采集整理的人力成本；并使用端到端的训练和部署过程，提高了模型的实时性。
基于相同的发明构思，本发明实施例提供了一种口罩遮挡人脸的身份识别装置。如图5所示，该装置包括：
模型训练单元10，用于训练特征提取模型；
获取单元11，获取待识别的人脸图片，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；
预处理单元12，用于对所述待识别的人脸图片进行预处理，以得到待处理图片；
提取单元13，用于将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；所述特征提取模型基于卷积神经网络进行空间特征的多尺度融合和随机特征擦除处理所得；
识别单元14，用于根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
其中，模型训练单元10具体用于执行以下步骤：
数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；
数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正处理；
模型训练步骤：将预处理后的数据输入卷积神经网络以输出人脸特征feature_map_k、feature_map_k+1和feature_map_k+2，分别将人脸特征feature_map_k、feature_map_k+1和feature_map_k+2输入特征提取模块以输出人脸特征f1、f2和f3，对所述人脸特征f1、f2和f3进行组合以得到人脸特征f，采用loss函数对所述卷积神经网络的参数进行调整，最终得到所述特征提取模型。
进一步地，得到人脸特征f1的具体过程包括：
对所述人脸特征feature_map_k进行n次卷积操作，得到人脸特征feature_map_k*，其中，n为大于等于1的正数；
将所述人脸特征feature_map_k*与掩码mask_k进行乘法运算，得到掩码后的特征masked_feature_map；
对特征masked_feature_map进行全局可分离卷积池化操作，得到所述人脸特征f1。
可选地，如图6所示，在本发明的另一优选实施例中，该身份识别装置可以包括：一个或多个处理器101、一个或多个输入设备102、一个或多个输出设备103和存储器104，上述处理器101、输入设备102、输出设备103和存储器104通过总线105相互连接。存储器104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器101被配置用于调用所述程序指令执行上述口罩遮挡人脸的身份识别方法实施例部分的方法。
应当理解，在本发明实施例中，所称处理器101可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
输入设备102可以包括键盘等，输出设备103可以包括显示器(LCD等)、扬声器等。
该存储器104可以包括只读存储器和随机存取存储器，并向处理器101提供指令和数据。存储器104的一部分还可以包括非易失性随机存取存储器。例如，存储器104还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器101、输入设备102、输出设备103可执行本发明实施例提供的口罩遮挡人脸的身份识别方法的实施例中所描述的实现方式，在此不再赘述。
需要说明的是，关于本发明身份识别装置的更为具体的工作流程，请参考前述方法实施例部分，在此不再赘述。
进一步地，对应于口罩遮挡人脸的身份识别方法和装置，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：上述口罩遮挡人脸的身份识别方法。
所述计算机可读存储介质可以是前述实施例所述的检测装置的内部存储单元，例如系统的硬盘或内存。所述计算机可读存储介质也可以是所述系统的外部存储设备，例如所述系统上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述系统的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述系统所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种口罩遮挡人脸的身份识别方法，其特征在于，包括：
获取待识别的人脸图片，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；
对所述待识别的人脸图片进行预处理，以得到待处理图片；
将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；所述特征提取模型基于卷积神经网络进行空间特征的多尺度融合和随机特征擦除处理所得；
根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
2.如权利要求1所述的身份识别方法，其特征在于，对所述待识别的人脸图片进行预处理，具体包括：
对所述待识别的人脸图片进行人脸检测、噪声过滤和几何校正处理。
3.如权利要求1所述的身份识别方法，其特征在于，根据所述特征表示数据与特征库进行匹配，具体包括：
将所述特征表示数据与特征库中的标准特征进行相似度计算，并取值为top-1的相似度，若top-1的相似度大于阈值，则匹配成功，反之，待识别的人脸不在所述特征库中，匹配失败。
4.如权利要求1所述的身份识别方法，其特征在于，获取待识别的人脸图片之前，所述方法还包括训练所述特征提取模型，具体包括：
数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；
数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正处理；
模型训练步骤：将预处理后的数据输入卷积神经网络以输出人脸特征feature_map_k、feature_map_k+1和feature_map_k+2，分别将人脸特征feature_map_k、feature_map_k+1和feature_map_k+2输入特征提取模块以输出人脸特征f1、f2和f3，对所述人脸特征f1、f2和f3进行组合以得到人脸特征f，采用loss函数对所述卷积神经网络的参数进行调整，最终得到所述特征提取模型。
5.如权利要求4所述的身份识别方法，其特征在于，得到人脸特征f1的具体过程包括：
对所述人脸特征feature_map_k进行n次卷积操作，得到人脸特征feature_map_k*，其中，n为大于等于1的正数；
将所述人脸特征feature_map_k*与掩码mask_k进行乘法运算，得到掩码后的特征masked_feature_map；
对特征masked_feature_map进行全局可分离卷积池化操作，得到所述人脸特征f1。
6.一种口罩遮挡人脸的身份识别装置，其特征在于，包括：
获取单元，获取待识别的人脸图片，所述待识别的人脸图片由通过图像采集设备对佩戴口罩的个人进行采集所得；
预处理单元，用于对所述待识别的人脸图片进行预处理，以得到待处理图片；
提取单元，用于将所述待处理图片输入特征提取模型，以得到待识别个体的特征表示数据；所述特征提取模型基于卷积神经网络进行空间特征的多尺度融合和随机特征擦除处理所得；
识别单元，用于根据所述特征表示数据与特征库进行匹配，以实现口罩遮挡人脸的身份识别。
7.如权利要求6所述的身份识别装置，其特征在于，所述识别单元具体用于：
将所述特征表示数据与特征库中的标准特征进行相似度计算，并取值为top-1的相似度，若top-1的相似度大于阈值，则匹配成功，反之，待识别的人脸不在所述特征库中，匹配失败。
8.如权利要求6所述的身份识别装置，其特征在于，还包括模型训练单元，用于训练所述特征提取模型，具体包括执行以下步骤：
数据采集步骤：针对每个身份，采集不同光照和不同姿态下的多张图片，以作为样本图片；
数据预处理步骤：采用人脸检测器检测出每张所述样本图片的人脸区域，并对所述人脸区域进行噪声过滤和几何矫正处理；
模型训练步骤：将预处理后的数据输入卷积神经网络以输出人脸特征feature_map_k、feature_map_k+1和feature_map_k+2，分别将人脸特征feature_map_k、feature_map_k+1和feature_map_k+2输入特征提取模块以输出人脸特征f1、f2和f3，对所述人脸特征f1、f2和f3进行组合以得到人脸特征f，采用loss函数对所述卷积神经网络的参数进行调整，最终得到所述特征提取模型。
9.一种口罩遮挡人脸的身份识别装置，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-5任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-5任一项所述的方法。
CN202010481935.1A 2020-05-28 2020-05-28 口罩遮挡人脸的身份识别方法、装置及存储介质 Active CN111626243B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010481935.1A CN111626243B (zh) 2020-05-28 2020-05-28 口罩遮挡人脸的身份识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010481935.1A CN111626243B (zh) 2020-05-28 2020-05-28 口罩遮挡人脸的身份识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111626243A true CN111626243A (zh) 2020-09-04
CN111626243B CN111626243B (zh) 2023-04-18

Family

ID=72271380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010481935.1A Active CN111626243B (zh) 2020-05-28 2020-05-28 口罩遮挡人脸的身份识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111626243B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149605A (zh) * 2020-09-30 2020-12-29 济南博观智能科技有限公司 一种人脸识别方法、装置、设备及存储介质
CN112241689A (zh) * 2020-09-24 2021-01-19 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112948618A (zh) * 2021-02-25 2021-06-11 成都旺小宝科技有限公司 一种用于售楼处的有效客户识别方法
CN113657457A (zh) * 2021-07-27 2021-11-16 上海明略人工智能(集团)有限公司 局部人脸的匹配方法、系统、存储介质及电子设备
CN113887498A (zh) * 2021-10-21 2022-01-04 厦门熵基科技有限公司 人脸识别方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117801A (zh) * 2018-08-20 2019-01-01 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN109800707A (zh) * 2019-01-17 2019-05-24 中控智慧科技股份有限公司 一种基于cnn模型的人脸识别方法、装置及存储介质
US20190278985A1 (en) * 2018-03-09 2019-09-12 Baidu Online Network Technology (Beijing) Co., Ltd . Method, system and terminal for identity authentication, and computer readable storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190278985A1 (en) * 2018-03-09 2019-09-12 Baidu Online Network Technology (Beijing) Co., Ltd . Method, system and terminal for identity authentication, and computer readable storage medium
CN109117801A (zh) * 2018-08-20 2019-01-01 深圳壹账通智能科技有限公司 人脸识别的方法、装置、终端及计算机可读存储介质
CN109800707A (zh) * 2019-01-17 2019-05-24 中控智慧科技股份有限公司 一种基于cnn模型的人脸识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
晏鹏程;张一鸣;童光红;黄锋;欧先锋;: "基于卷积神经网络的视频监控人脸识别方法" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241689A (zh) * 2020-09-24 2021-01-19 北京澎思科技有限公司 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112149605A (zh) * 2020-09-30 2020-12-29 济南博观智能科技有限公司 一种人脸识别方法、装置、设备及存储介质
CN112149605B (zh) * 2020-09-30 2023-04-18 济南博观智能科技有限公司 一种人脸识别方法、装置、设备及存储介质
CN112364827A (zh) * 2020-11-30 2021-02-12 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112364827B (zh) * 2020-11-30 2023-11-10 腾讯科技（深圳）有限公司 人脸识别方法、装置、计算机设备和存储介质
CN112597867A (zh) * 2020-12-17 2021-04-02 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112597867B (zh) * 2020-12-17 2024-04-26 佛山科学技术学院 戴口罩人脸识别方法、系统、计算机设备及存储介质
CN112948618A (zh) * 2021-02-25 2021-06-11 成都旺小宝科技有限公司 一种用于售楼处的有效客户识别方法
CN113657457A (zh) * 2021-07-27 2021-11-16 上海明略人工智能(集团)有限公司 局部人脸的匹配方法、系统、存储介质及电子设备
CN113887498A (zh) * 2021-10-21 2022-01-04 厦门熵基科技有限公司 人脸识别方法、装置、设备和存储介质

Also Published As

Publication number Publication date
CN111626243B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN111626243B (zh) 口罩遮挡人脸的身份识别方法、装置及存储介质
CN107358157B (zh) 一种人脸活体检测方法、装置以及电子设备
CN111369545B (zh) 边缘缺陷检测方法、装置、模型、设备及可读存储介质
US20210004587A1 (en) Image detection method, apparatus, device and storage medium
CN112800997A (zh) 一种活体检测方法、装置及设备
CN111950424A (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
CN112597867A (zh) 戴口罩人脸识别方法、系统、计算机设备及存储介质
US11605210B2 (en) Method for optical character recognition in document subject to shadows, and device employing method
CN111067522A (zh) 大脑成瘾结构图谱评估方法及装置
CN114266894A (zh) 一种图像分割方法、装置、电子设备及存储介质
CN107704797A (zh) 基于安防视频中行人和车辆的实时检测方法和系统及设备
CN111444788B (zh) 行为识别的方法、装置及计算机存储介质
Rusli et al. Evaluating the masked and unmasked face with LeNet algorithm
CN117876922A (zh) 一种基于视频识别电力现场作业风险的方法及装置
CN112464827B (zh) 口罩佩戴识别方法、装置、设备及存储介质
Islam et al. An approach to extract text regions from scene image
CN116189063B (zh) 一种用于智能视频监控的关键帧优化方法及装置
CN112907206A (zh) 一种基于视频对象识别的业务审核方法、装置及设备
CN117237371A (zh) 基于实例感知扩散模型的结肠组织学图像腺体分割方法
CN111626313B (zh) 一种特征提取模型训练方法、图像处理方法及装置
US20220222940A1 (en) Methods of real-time spatio-temporal activity detection and categorization from untrimmed video segments
CN115719428A (zh) 基于分类模型的人脸图像聚类方法、装置、设备及介质
CN112348112B (zh) 图像识别模型的训练方法、训练装置及终端设备
CN114898155A (zh) 车辆定损方法、装置、设备及存储介质
CN109863505B (zh) 指纹识别的方法、处理器和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant