CN108830211A - 基于深度学习的人脸识别方法及相关产品 - Google Patents

基于深度学习的人脸识别方法及相关产品 Download PDF

Info

Publication number
CN108830211A
CN108830211A CN201810594129.8A CN201810594129A CN108830211A CN 108830211 A CN108830211 A CN 108830211A CN 201810594129 A CN201810594129 A CN 201810594129A CN 108830211 A CN108830211 A CN 108830211A
Authority
CN
China
Prior art keywords
bottlenecks
layer
pond
face
convolutional layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810594129.8A
Other languages
English (en)
Inventor
陈书楷
童飞扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Central Intelligent Information Technology Co Ltd
Original Assignee
Xiamen Central Intelligent Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Central Intelligent Information Technology Co Ltd filed Critical Xiamen Central Intelligent Information Technology Co Ltd
Priority to CN201810594129.8A priority Critical patent/CN108830211A/zh
Priority to US16/177,952 priority patent/US11361585B2/en
Publication of CN108830211A publication Critical patent/CN108830211A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本申请实施例公开了一种基于深度学习的人脸识别方法及相关产品，该方法应用于电子装置，该方法包括：获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；提取所述目标图像的像素矩阵，将所述像素矩阵输入到所述神经网络模型执行多层运算得到运算结果；计算所述运算结果与面部模板向量的余弦相似度，如所述余弦相似度大于预设阈值，则比对成功。本申请实施例有利于提高识别成功率及识别速度。

Description

基于深度学习的人脸识别方法及相关产品
技术领域
本申请涉及计算机视觉识别技术领域，具体涉及一种基于深度学习的人脸识别方法及相关产品。
背景技术
由于人脸的生物特征容易采集，因此人脸识别技术应用到监控、安防、金融、等技术领域。随着人工智能AI(Artificial Intelligence，简称：AI)技术的发展，人脸识别的速度以及成功率都得到很大改善。目前，识别人脸通常有以下两种方式。(1)将人脸图像输入到训练好的神经网络模型，逐层提取人脸图像中的人脸特征，输出最终的特征图，根据最终的特征图与模板比对识别人脸，但是在逐层提取人脸的过程中，丢失一部分人脸特征，因此识别率低；(2)构建残差Resnet网络，进行特征融合，但是随着Resnet网络的深度加深，特征图的维度过高，运算速度低，而且Resnet网络内存大，无法嵌入到终端进行人脸识别。
发明内容
本申请实施例提供了一种用于人脸识别的神经网络模型及相关产品，以期进行特征图的融合，提高人脸识别的速度和正确率。
第一方面，本申请实施例提供一种用于人脸识别的神经网络模型，所述网络模型至少包括：
第一卷积层、第二卷积层、第三卷积层、第一瓶颈网络bottlenecks、第二瓶颈网络bottlenecks、第三瓶颈网络bottlenecks、第四瓶颈网络bottlenecks、第一池化层、第二池化层、第三池化层、第四池化层；
所述第一卷积层、所述第一bottlenecks、所述第一池化层、所述第二bottlenecks、所述第二卷积层、所述第二池化层、所述第三bottlenecks、所述第三卷积层、所述第三池化层、所述第四bottlenecks和所述第四池化层依次串联连接；
所述第一卷积层、所述第一bottlenecks、所述第一池化层、所述第二bottlenecks、所述第二卷积层、所述第二池化层、所述第三bottlenecks、所述第三卷积层、所述第三池化层、所述第四bottlenecks和所述第四池化层根据密集网络Densenet的密集连接策略密集连接。
第二方面，本申请实施例提供一种基于深度学习的人脸识别方法，所述方法应用第一方面的神经网络模型，所述方法包括：
获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；
提取所述目标图像的像素矩阵，将所述像素矩阵输入到所述神经网络模型执行多层运算得到运算结果；
计算所述运算结果与面部模板的匹配值，如所述匹配值大于预设阈值，则比对成功。
第三方面，本申请实施例提供一种基于深度学习的人脸识别电子装置，所述电子装置包括：
获取单元，用于获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；
提取单元，用于提取所述目标图像的像素矩阵，将所述像素矩阵输入到预设训练好的神经网络模型执行多层正向运算得到运算结果；
计算单元，计算所述运算结果与面部模板的匹配值，如所述匹配值大于预设阈值，则比对成功。
第四方面，本申请实施例提供一种电子装置，包括一个或多个处理器、一个或多个存储器、一个或多个收发器，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述一个或多个处理器执行，所述程序包括用于执行如第二方面所述的方法中的步骤的指令。
第五方面，本申请实施例提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如第二方面所述的方法。
实施本申请实施例，具有如下有益效果：
可以看出，本申请实施例中采用密集网络Densenet的密集连接策略将四个瓶颈网络bottlenecks串联连接，保证每个bottlenecks的输入来源于前面所有bottlenecks的输出，即将前面所有bottlenecks的特征图进行特征融合后输入到下一个bottlenecks，通过这种特征融合的方式可提取到更多人脸特征，故提高了人脸识别的成功率，而且每个bottlenecks后串联有1*1的卷积层，降低了每个bottlenecks输入数据的维度，提高了人脸识别的速度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种用于人脸识别的神经网络模型的网络结构示意图；
图2是本申请实施例提供的一种子瓶颈网络bottleneck的结构示意图；
图3是本申请实施例提供的一种第一bottlenecks1的结构示意图；
图4是本申请实施例提供的一种基于深度学习的人脸识别方法的流程示意图；
图5是本申请实施例公开的一种基于深度学习的人脸识别的电子装置的功能结构图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结果或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子装置可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(User Equipment，UE)，移动台(Mobile Station，MS)，终端设备(terminaldevice)等等。为方便描述，上面提到的设备统称为终端。本发明实施例所涉及到的操作系统是对硬件资源进行统一管理，并向用户提供业务接口的软件系统。
首先参阅图1，图1为本申请实施例提供的一种用于人脸识别的神经网络模型的网络结构示意图，如图1所示该神经网络模型可以包括以下几个网络层：
第一卷积层Conv1、第二卷积层Conv2、第三卷积层Conv3、第一瓶颈网络bottlenecks1、第二瓶颈网络bottlenecks2、第三瓶颈网络bottlenecks3、第四瓶颈网络bottlenecks4、第一池化层average pooling 1、第二池化层average pooling 2、第三池化层average pooling 3和第四池化层global average pooling。
其中，该第一卷积层Conv1、第一bottlenecks1、第一池化层average pooling 1、第二bottlenecks2、第二卷积层Conv2、第二池化层average pooling 2、第三bottlenecks3、第三卷积层Conv3、第三池化层average pooling 3、第四bottlenecks4和第四池化层globalaverage pooling按顺序依次串联连接。
可选的，由于串联了四个bottlenecks网络结构，随着卷积深度的增加，在卷积运算时较深的bottlenecks的输入数据的维度会越来越来高，此时运算速度较慢，为了减小特征图的维度，提高运算速度，在第二bottlenecks2和第三bottlenecks3的输出层分别串联了第二卷积层Conv2、第二池化层average pooling 2和第三卷积层Conv3、第三池化层averagepooling 3，以降低输入数据的维度。
其中，该第一卷积层Conv1、第一bottlenecks1、第一池化层average pooling 1、第二bottlenecks2、第二卷积层Conv2、第二池化层average pooling 2、第三bottlenecks3、第三卷积层Conv3、第三池化层average pooling 3、第四bottlenecks4和第四池化层globalaverage pooling根据密集网络Densenet的密集连接策略密集连接，即第一bottlenecks1的输入数据来自于第一卷积层Conv1的输出数据，第二bottlenecks2的输入数据来自于第一卷积层Conv1的输出数据和第一bottlenecks1的输出数据进行特征融合后得到的融合数据，第三bottlenecks3的输入来自于第一卷积层Conv1的输出数据、第一bottlenecks1的输出数据和第二bottlenecks2的输出数据进行特征融合后得到的融合数据，第四bottlenecks4的输入来自于第一卷积层Conv1的输出数据、第一bottlenecks1的输出数据、第二bottlenecks2的输出数据和第三bottlenecks3的输出数据进行特征融合后得到的融合数据，为了保证后一层bottlenecks的输入数据来自于前面所有bottlenecks的输出数据，故采用图1的连接方式，即将所述第一bottlenecks、所述第二bottlenecks、所述第三bottlenecks和所述第四bottlenecks密集连接。
可以看出，本申请实施例提供的神经网络模型采用DenseBlock密集连接策略，将多层的特征图融合，提取更多面部特征，提高了人脸识别的准确率。而且，本申请实施例中是对bottlenecks之间进行密集连接，与传统将bottlenecks内部的卷积层进行密集连接相比提高了运算速度。
如图1所示的连接方式，由于第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4的输入数据均进行了特征融合，本申请以第一bottlenecks1和第二bottlenecks2进行特征融合为例做具体说明。如图1所示，在第一卷积层Conv1的输出层连接3个第一全局池化层global pooling，该3个第一global pooling用于将第一卷积层Conv1的输出特征图进行缩放，以便在可将缩放后的特征图输入到第二bottlenecks2、第三bottlenecks3和第四bottlenecks4时与该第二bottlenecks2、第三bottlenecks3和第四bottlenecks4的其他输入数据的尺寸匹配，以便于将输入数据融合。举例来说，如原始输入数据Input的尺寸为224*224*3，经过第一卷积层Conv1后输出第一特征图112*112*64，将第一特征图112*112*64输入到第一bottlenecks1后，输出第二特征图112*112*64，在将该第二特征图112*112*64输入到第一average pooling后，输出第三特征图56*56*64，如图1所示，将第三特征图56*56*64作为第二bottlenecks2的一部分输入数据输入到第二bottlenecks2，而第二bottlenecks2的另一部分输入数据为该第一特征图112*112*64，可以看出由于该第一特征图112*112*64与该第三特征图56*56*64的尺寸不匹配，无法进行特征融合，故在第一卷积层Conv1的输出端串联一个global pooling(具体可将卷积核尺寸设定为【3*3】，步长设定为2)，经过该global pooling的池化后，将该第一特征图112*112*64的尺寸小(即宽和高)缩放到56*56，以便于将第二bottlenecks2的两部分输入数据进行特征融合。同样，与第一bottlenecks1、第二bottlenecks2以及第三bottlenecks3的输出端串联的global pooling的功能均为将与各自串联的网络结构输出的特征图进行缩放，以便进行特征融合。由于每个global pooling的卷积核尺寸需要与第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4的其他输入数据的尺寸保持一致，故图1中示出的6个global pooling的卷积核尺寸与第一池化层averagepooling 1、第二池化层average pooling 2、第三池化层average pooling 3输出的特征图维度相关，在此不作具体的举例说明。
可选的，为了保证第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4的输出数据尺寸与输入数据尺寸的一致性，在卷积运算时，添加填充padding的操作，并保持padding＝1。
其中，图1所示的第一卷积层Conv1的卷积核尺寸均为【3*3*64】，步长为2，第二卷积层Conv2的卷积核尺寸为【1*1*64】，步长为1，第三卷积层Conv3的卷积核尺寸为【1*1*96】，步长为1。
可选的，第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4分别包括3个、4个、6个和3个子瓶颈网络bottleneck，且该第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4中各自的子bottleneck依次串联连接。
如图2所示，对于该第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4中的子bottleneck的网络结构相同，对于任意一个子bottleneck包括第一分组卷积层group conv、第二分组卷积层group conv、第一深度卷积层depthwise conv、叠加层add和通道交换网络层shuffle，该第一group conv、第一depthwise conv、第二groupconv、add和shuffle依次串联连接，且该任意一个子bottleneck的输入数据与输出数据在叠加层add进行叠加，将叠加后的数据输入该通道交换网络层shuffle。
进一步地，该第一group conv的卷积核尺寸为【1*1*256】，步长为1，所述第二group conv的卷积核尺寸为【3*3*256】，步长为1，所述第一depthwise conv的卷积核尺寸为【1*1*64】，步长为1。
由于第一bottlenecks1、第二bottlenecks2、第三bottlenecks3和第四bottlenecks4均由多个子bottleneck串联连接组成，故以第一bottlenecks1为例做具体说明，参阅图3，图3为第一bottlenecks1的结构示意图，可以看出，图3包括3个子bottleneck网络结构，且该3个子bottleneck子bottleneck顺次串联连接，其第二bottlenecks2、第三bottlenecks3和第四络bottlenecks4的具体网络结构参见图3，在此不再详细叙述。
可以看出，本申请实施例中提供的神经网络模型采用密集连接的方式，多层的输出特征图的融合，提取更多面部特征，提高了人脸识别的准确率；而且在密集连接时，每个bottlenecks网络结构后串联一个1*1的卷积层，降低输出特征图的维度，提高了运算速度，并且该神经网络模型采用密集连接，减少卷积参数，降低了神经网络模型的内存，该神经网络模型可嵌入电子装置进行人脸识别。而且每个bottlenecks内部采用1*1*256的卷积层先升维提取特征，然后在采用1*1*64的卷积层再降维，其次，使用3*3*256的深度可分离卷积层降低模型计算量，最后将1*1*64卷积层的卷积结果在shortcut connections连接(即add操作)之后进行shuffle操作，交换输入数据的通道顺序，提高模型精度。
参阅图4，图4是本申请实施例提供的一种基于深度学习的人脸识别方法的流程示意图，该方法应用上述的神经网络模型，该方法包括：
步骤S401、获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像。
可选的，在识别面部图像中的人脸之前，首先将该面部图像中的人脸对齐。
其中，该预设比例为该神经网络模型对输入数据限定的比例值，即保证输入图像的像素矩阵W*H与该神经网络模型限定的输入数据尺寸W0*H0一致。
步骤S402、提取所述目标图像的像素矩阵，将所述像素矩阵输入到所述神经网络模型执行多层运算得到运算结果。
可选，将该像素矩阵输入上述的神经网络模型执行多层运算，得到运算结果，可以理解的是，上述神经网络模型最后一层为average global pooling，已知average globalpooling将每个特征图池化为一个特征点，故该像素矩阵在多层运算后，输出的运算结果为一个N维特征向量，N为大于或等于1的整数。
步骤S403、计算所述运算结果与面部模板向量的余弦相似度，如所述余弦相似度大于预设阈值，则比对成功。
其中，该面部模板也是一个N维的特征向量，计算该运算结果(即N维特征向量)与面部模板向量的余弦相似度，如该余弦相似度大于预设阈值，确定人脸比对成功。
可选的，计算运算结果(即N维特征向量)与面部模板向量的余弦相似度具体为：
其中，为运算结果的N维特征向量，为面部模板的N维特征向量。
其中，该预设阈值具体可以为0.5、0.6、0.7、0.8或者其他值。
可以看出，本申请实施例中提供的神经网络模型采用密集连接的方式，多层的输出特征图的融合，提取更多面部特征，提高了人脸识别的准确率；而且在密集连接时，每个bottlenecks网络结构后串联一个1*1的卷积层，降低输出特征图的维度，提高了运算速度，并且该神经网络模型采用密集连接策略，减少卷积参数，降低了神经网络模型的内存，使该神经网络模型可嵌入电子装置进行人脸识别。而且，该神经网络模型输出结果为多维特征向量，通过计算输出结果特征向量与面部模板的特征向量的余弦相似度，进一步提高识别速度。
与上述图4实施例一致的，请参阅图5，图5为本申请实施例提供的一种基于深度学习的人脸识别的电子装置500的可能的功能单元组成框图，电子装置500包括：获取单元510、运算单元520、确定单元530，其中；
获取单元510，用于获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；
运算单元520，用于提取单元，用于提取所述目标图像的像素矩阵，将所述像素矩阵输入到预设训练好的神经网络模型执行多层正向运算得到运算结果；
计算单元530，用于计算所述运算结果与面部模板的匹配值，如所述匹配值大于预设阈值，则比对成功。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于深度学习的人脸识别方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种基于深度学习的人脸识别方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种用于人脸识别的神经网络模型，其特征在于，所述网络模型至少包括：第一卷积层、第二卷积层、第三卷积层、第一瓶颈网络bottlenecks、第二瓶颈网络bottlenecks、第三瓶颈网络bottlenecks、第四瓶颈网络bottlenecks、第一池化层、第二池化层、第三池化层和第四池化层；
所述第一卷积层、所述第一bottlenecks、所述第一池化层、所述第二bottlenecks、所述第二卷积层、所述第二池化层、所述第三bottlenecks、所述第三卷积层、所述第三池化层、所述第四bottlenecks和所述第四池化层依次串联连接；
所述第一卷积层、所述第一bottlenecks、所述第一池化层、所述第二bottlenecks、所述第二卷积层、所述第二池化层、所述第三bottlenecks、所述第三卷积层、所述第三池化层、所述第四bottlenecks和所述第四池化层根据密集网络Densenet的DenseBlock密集连接策略密集连接，即将所述第一bottlenecks、所述第二bottlenecks、所述第三bottlenecks和所述第四bottlenecks密集连接。
2.根据权利要求1所述的神经网络模型，其特征在于，所述神经网络模型还包括6个全局池化层global pooling，所述6个global pooling中的3个第一global pooling用于池化所述第一卷积层的输出特征图得到3个第一池化结果，并将所述3个第一池化结果分别输入到所述第二bottlenecks、所述第三bottlenecks和所述第四bottlenecks以便与所述第二bottlenecks、所述第三bottlenecks和所述第四bottlenecks的其他输入数据进行特征融合，所述6个global pooling中的2个第二global pooling用于池化所述第一bottlenecks的输出特征图得到2个第二池化结果，并将所述2个第二池化结果分别输入到所述第三bottlenecks和所述第四bottlenecks以便与所述第三bottlenecks和所述第四bottlenecks的其他输入数据进行特征融合，所述6个global pooling中的1个第三globalpooling用于池化所述第二bottlenecks输出的特征图得到1个第三池化结果，并将所述1个第三池化结果输入到所述第四bottlenecks以便与所述第四bottlenecks的其他输入数据进行特征融合。
3.根据权利要求1所述的神经网络模型，其特征在于，所述第一bottlenecks、第二bottlenecks、第三bottlenecks和第四bottlenecks分别包括3个、4个、6个和3个子瓶颈网络bottleneck，且所述第一bottlenecks、所述第二bottlenecks、所述第三bottlenecks和所述第四bottlenecks中各自的子bottleneck依次串联连接。
4.根据权利要求3所述的神经网络模型，其特征在于，任意一个子bottleneck网络结构包括第一分组卷积层group conv、第二分组卷积层group conv、第一深度卷积层depthwiseconv、叠加层add和通道交换网络层shuffle；
所述第一group conv、所述第一depthwise conv、所述第二group conv、所述add和所述shuffle依次串联连接；
所述第一group conv的卷积核尺寸为【1*1*256】，步长为1，所述第二group conv的卷积核尺寸为【3*3*256】，步长为1，所述第一depthwise conv的卷积核尺寸为【1*1*64】，步长为1；
所述任意一个子bottleneck的输入数据与输出数据在叠加层add进行叠加，将叠加后的数据输入到所述通道交换网络层shuffle。
5.根据权利要求1所述的神经网络模型，其特征在于，所述第一卷积层、的卷积核尺寸为【3*3*64】，步长为2，所述第二卷积层的卷积核尺寸为【1*1*64】，步长为1，所述第三卷积层的卷积核尺寸为【1*1*96】，步长为1。
6.根据权利要求1所述的神经网络模型，其特征在于，所述第一池化层、所述第二池化层和所述第三池化层均为average pooling，所述第四池化层为global pooling，且所述第一池化层、所述第二池化层和所述第三池化层的卷积核尺寸均为【3*3】，步长均为2。
7.一种基于深度学习的人脸识别方法，所述方法应用如权利要求1-6任一项所述的神经网络模型，其特征在于，所述方法包括：
获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；
提取所述目标图像的像素矩阵，将所述像素矩阵输入到所述神经网络模型执行多层运算得到运算结果；
计算所述运算结果与面部模板向量的余弦相似度，如所述余弦相似度大于预设阈值，则比对成功。
8.一种基于深度学习的人脸识别电子装置，其特征在于，所述电子装置包括：
获取单元，用于获取对齐后的面部图像，将所述面部图像缩放至预设比例得到目标图像；
提取单元，用于提取所述目标图像的像素矩阵，将所述像素矩阵输入到预设训练好的神经网络模型执行多层正向运算得到运算结果；
计算单元，计算所述运算结果与面部模板向量的余弦相似度，如所述匹配值大于余弦相似度，则比对成功。
9.一种电子装置，其特征在于，包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求7方法中的步骤的指令。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求7所述的方法，所述计算机包括电子装置。
CN201810594129.8A 2018-06-11 2018-06-11 基于深度学习的人脸识别方法及相关产品 Pending CN108830211A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810594129.8A CN108830211A (zh) 2018-06-11 2018-06-11 基于深度学习的人脸识别方法及相关产品
US16/177,952 US11361585B2 (en) 2018-06-11 2018-11-01 Method and system for face recognition via deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810594129.8A CN108830211A (zh) 2018-06-11 2018-06-11 基于深度学习的人脸识别方法及相关产品

Publications (1)

Publication Number Publication Date
CN108830211A true CN108830211A (zh) 2018-11-16

Family

ID=64144660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810594129.8A Pending CN108830211A (zh) 2018-06-11 2018-06-11 基于深度学习的人脸识别方法及相关产品

Country Status (2)

Country Link
US (1) US11361585B2 (zh)
CN (1) CN108830211A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109493490A (zh) * 2018-11-27 2019-03-19 电卫士智能电器（北京）有限公司 用电用户权限判断方法及装置
CN109584417A (zh) * 2018-11-27 2019-04-05 电卫士智能电器（北京）有限公司 门禁控制方法及装置
CN109583576A (zh) * 2018-12-17 2019-04-05 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN109711342A (zh) * 2018-12-27 2019-05-03 河北工程大学 人脸识别方法及装置
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN110020639A (zh) * 2019-04-18 2019-07-16 北京奇艺世纪科技有限公司 视频特征提取方法及相关设备
CN110210329A (zh) * 2019-05-13 2019-09-06 高新兴科技集团股份有限公司 一种人脸检测方法、装置和设备
CN110222559A (zh) * 2019-04-24 2019-09-10 深圳市微纳集成电路与系统应用研究院 基于卷积神经网络的烟雾图像检测方法及装置
CN110852214A (zh) * 2019-10-30 2020-02-28 华南师范大学 面向边缘计算的轻量级面部识别方法
CN113128289A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 人脸识别的特征提取计算方法及设备
WO2021169641A1 (zh) * 2020-02-28 2021-09-02 深圳壹账通智能科技有限公司 人脸识别方法和系统

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107545889B (zh) * 2016-06-23 2020-10-23 华为终端有限公司 适用于模式识别的模型的优化方法、装置及终端设备
US11429824B2 (en) * 2018-09-11 2022-08-30 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
WO2020125806A1 (en) 2018-12-17 2020-06-25 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for image segmentation
US11151412B2 (en) * 2019-07-01 2021-10-19 Everseen Limited Systems and methods for determining actions performed by objects within images
JP6708292B1 (ja) * 2019-08-30 2020-06-10 トヨタ自動車株式会社 内燃機関の状態判定装置、内燃機関の状態判定システム、データ解析装置、および内燃機関の制御装置
CN111144310A (zh) * 2019-12-27 2020-05-12 创新奇智(青岛)科技有限公司 一种基于多层信息融合的人脸检测方法及系统
CN113361703B (zh) * 2020-03-06 2023-09-05 杭州海康威视数字技术股份有限公司 一种数据处理方法及装置
CN111400535A (zh) * 2020-03-11 2020-07-10 广东宜教通教育有限公司 轻量级人脸识别方法、系统、计算机设备及存储介质
CN111462059B (zh) * 2020-03-24 2023-09-29 湖南大学 胎儿超声图像智能目标检测的并行处理方法和装置
CN111598893B (zh) * 2020-04-17 2021-02-09 哈尔滨工业大学 基于多类型图像融合神经网络地方性氟骨病分级诊断系统
CN111709415B (zh) * 2020-04-29 2023-10-27 北京迈格威科技有限公司 目标检测方法、装置、计算机设备和存储介质
CN113673273B (zh) * 2020-05-13 2023-05-12 北京君正集成电路股份有限公司 一种可量化的前端车辆检测网络结构的设计方法
CN111783774A (zh) * 2020-06-22 2020-10-16 联想(北京)有限公司 图像处理方法、设备及存储介质
CN111950362B (zh) * 2020-07-07 2024-04-16 西北大学 一种金丝猴面部图像识别方法、装置、设备及存储介质
CN113949868B (zh) * 2020-07-17 2023-07-07 武汉Tcl集团工业研究院有限公司 一种熵编码方法及装置
CN112016599B (zh) 2020-08-13 2023-09-15 驭势科技（浙江）有限公司 用于图像检索的神经网络训练方法、装置及电子设备
CN112037237B (zh) * 2020-09-01 2023-04-07 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备及介质
KR20220052620A (ko) 2020-10-21 2022-04-28 삼성전자주식회사 객체 추적 방법 및 이를 수행하는 장치
CN112560778B (zh) * 2020-12-25 2022-05-27 万里云医疗信息科技（北京）有限公司 Dr图像身体部位识别方法、装置、设备及可读存储介质
CN113283507B (zh) * 2021-05-27 2024-04-05 大连海事大学 一种基于多视图的特征融合车辆再识别方法
CN113221844B (zh) * 2021-06-07 2022-02-15 山东建筑大学 基于深度学习的掌纹细节点真伪甄别方法及系统
CN113673303B (zh) * 2021-06-28 2024-02-02 中国科学院大学 一种人脸面部动作单元强度回归方法、装置和介质
CN113506311B (zh) * 2021-06-29 2023-08-22 大连民族大学 面向自动驾驶的深度学习图像边缘特征提取方法
CN115017021A (zh) * 2022-05-26 2022-09-06 杭州电子科技大学 一种视觉功能块执行时间预测方法及系统
CN115277324B (zh) * 2022-07-25 2023-11-10 电信科学技术第五研究所有限公司 基于卷积神经网络的fsk信号识别方法
CN115908999B (zh) * 2022-11-25 2023-07-28 合肥中科类脑智能技术有限公司 配电杆塔顶部金具锈蚀检测方法、介质和边缘终端设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224929A (zh) * 2015-10-10 2016-01-06 北京邮电大学 一种查找人脸照片的方法
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358444B (zh) * 2014-04-11 2019-07-30 北京市商汤科技开发有限公司 用于面部验证的方法和系统
CN104866829B (zh) * 2015-05-25 2019-02-19 苏州大学 一种基于特征学习的跨年龄人脸验证方法
US20170360411A1 (en) * 2016-06-20 2017-12-21 Alex Rothberg Automated image analysis for identifying a medical parameter
WO2019014345A1 (en) * 2017-07-11 2019-01-17 Massachusetts Institute Of Technology OPTICAL ISING MACHINES AND OPTICAL CONVOLUTIVE NEURAL NETWORKS
CN107832794B (zh) * 2017-11-09 2020-07-14 车智互联（北京）科技有限公司 一种卷积神经网络生成方法、车系识别方法及计算设备
US11734545B2 (en) * 2017-11-14 2023-08-22 Google Llc Highly efficient convolutional neural networks
CN108875536A (zh) * 2018-02-06 2018-11-23 北京迈格威科技有限公司 行人分析方法、装置、系统和存储介质
WO2019216593A1 (en) * 2018-05-11 2019-11-14 Samsung Electronics Co., Ltd. Method and apparatus for pose processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224929A (zh) * 2015-10-10 2016-01-06 北京邮电大学 一种查找人脸照片的方法
CN106991646A (zh) * 2017-03-28 2017-07-28 福建帝视信息科技有限公司 一种基于密集连接网络的图像超分辨率方法
CN107609512A (zh) * 2017-09-12 2018-01-19 上海敏识网络科技有限公司 一种基于神经网络的视频人脸捕捉方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GAO HUANG ET AL.: ""Densely Connected Convolutional Networks"", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
KAIMING HE ET AL: ""Deep Residual Learning for Image Recognition"", 《ARXIV:1512.03385V1》 *
XIANGYU ZHANG ET AL.: ""ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices"", 《ARXIV:1707.01083V1》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109584417A (zh) * 2018-11-27 2019-04-05 电卫士智能电器（北京）有限公司 门禁控制方法及装置
CN109493490A (zh) * 2018-11-27 2019-03-19 电卫士智能电器（北京）有限公司 用电用户权限判断方法及装置
CN109583576B (zh) * 2018-12-17 2020-11-06 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN109583576A (zh) * 2018-12-17 2019-04-05 上海联影智能医疗科技有限公司 一种医学图像处理装置及方法
CN109711342A (zh) * 2018-12-27 2019-05-03 河北工程大学 人脸识别方法及装置
CN109886209A (zh) * 2019-02-25 2019-06-14 成都旷视金智科技有限公司 异常行为检测方法及装置、车载设备
CN110020639A (zh) * 2019-04-18 2019-07-16 北京奇艺世纪科技有限公司 视频特征提取方法及相关设备
CN110020639B (zh) * 2019-04-18 2021-07-23 北京奇艺世纪科技有限公司 视频特征提取方法及相关设备
CN110222559A (zh) * 2019-04-24 2019-09-10 深圳市微纳集成电路与系统应用研究院 基于卷积神经网络的烟雾图像检测方法及装置
CN110210329A (zh) * 2019-05-13 2019-09-06 高新兴科技集团股份有限公司 一种人脸检测方法、装置和设备
CN110852214A (zh) * 2019-10-30 2020-02-28 华南师范大学 面向边缘计算的轻量级面部识别方法
CN113128289A (zh) * 2019-12-31 2021-07-16 深圳云天励飞技术有限公司 人脸识别的特征提取计算方法及设备
CN113128289B (zh) * 2019-12-31 2024-01-09 深圳云天励飞技术有限公司 人脸识别的特征提取计算方法及设备
WO2021169641A1 (zh) * 2020-02-28 2021-09-02 深圳壹账通智能科技有限公司 人脸识别方法和系统

Also Published As

Publication number Publication date
US11361585B2 (en) 2022-06-14
US20190377930A1 (en) 2019-12-12

Similar Documents

Publication Publication Date Title
CN108830211A (zh) 基于深度学习的人脸识别方法及相关产品
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
Tran et al. A multiple layer U-Net, U n-Net, for liver and liver tumor segmentation in CT
CN109829448B (zh) 人脸识别方法、装置及存储介质
WO2020253852A1 (zh) 图片识别方法、识别模型训练方法、装置及存储介质
CN107247949A (zh) 基于深度学习的人脸识别方法、装置和电子设备
CN106228188A (zh) 聚类方法、装置及电子设备
CN105631466B (zh) 图像分类的方法及装置
CN109711136A (zh) 存储设备、验证码图片生成方法和装置
CN109902723A (zh) 图像处理方法及装置
CN110263909A (zh) 图像识别方法及装置
CN109214337A (zh) 一种人群统计方法、装置、设备及计算机可读存储介质
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
CN104657986B (zh) 一种基于子空间融合和一致性约束的准稠密匹配扩展方法
CN110232318A (zh) 穴位识别方法、装置、电子设备及存储介质
CN110321761A (zh) 一种行为识别方法、终端设备及计算机可读存储介质
CN105469063B (zh) 鲁棒的人脸图像主成分特征提取方法及识别装置
CN109063824B (zh) 深层三维卷积神经网络的创建方法、装置、存储介质及处理器
CN110532866A (zh) 视频数据检测方法、装置、计算机设备及存储介质
CN106803054B (zh) 人脸模型矩阵训练方法和装置
WO2020253304A1 (zh) 人脸识别装置及图像处理方法、特征提取模型、存储介质
CN110188829A (zh) 神经网络的训练方法、目标识别的方法及相关产品
CN109886390A (zh) 卷积神经网络模型优化方法、装置、计算机设备及存储介质
CN108052894A (zh) 一种目标对象的多属性识别方法、设备、介质及神经网络
Zhang et al. Channel-wise and feature-points reweights densenet for image classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 1301, No.132 Fengqi Road, phase III, software park, Xiamen City, Fujian Province

Applicant after: Xiamen Entropy Technology Co., Ltd

Address before: 361000, Xiamen three software park, Fujian Province, 8 North Street, room 2001

Applicant before: XIAMEN ZKTECO BIOMETRIC IDENTIFICATION TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181116