CN111428606B - 一种面向边缘计算的轻量级人脸对比验证方法 - Google Patents

一种面向边缘计算的轻量级人脸对比验证方法 Download PDF

Info

Publication number
CN111428606B
CN111428606B CN202010195045.4A CN202010195045A CN111428606B CN 111428606 B CN111428606 B CN 111428606B CN 202010195045 A CN202010195045 A CN 202010195045A CN 111428606 B CN111428606 B CN 111428606B
Authority
CN
China
Prior art keywords
face
piface
size
convolution
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010195045.4A
Other languages
English (en)
Other versions
CN111428606A (zh
Inventor
龚征
叶开
魏运根
杨顺志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China Normal University
Original Assignee
South China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China Normal University filed Critical South China Normal University
Priority to CN202010195045.4A priority Critical patent/CN111428606B/zh
Publication of CN111428606A publication Critical patent/CN111428606A/zh
Application granted granted Critical
Publication of CN111428606B publication Critical patent/CN111428606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本发明公开了一种面向边缘计算的轻量级人脸对比验证方法,包括下述步骤:构建轻量级神经网络模型MobileNetV3‑PiFace,使用ArcFace损失函数和VGGFace2数据集对模型进行训练;从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;利用训练好的MobileNetV3‑PiFace模型,对预处理后的人脸图像进行特征提取;判断不同人脸特征之间的向量夹角,实现人脸对比验证功能。本发明减少了模型的参数和规模,提高了模型在LFW数据集上的准确率,提高了在边缘计算设备上的运算速度。系统在终端采集人脸图像数据,在终端本地运行神经网络推理数据,这种模式减轻了云端服务器计算和网络传输的压力,降低了整体延时,同时保护了用户隐私。

Description

一种面向边缘计算的轻量级人脸对比验证方法
技术领域
本发明属于深度学习的技术领域,具体涉及一种面向边缘计算的轻量级人脸对比验证方法。
背景技术
自从深度学习技术出现以来,传统的图像处理算法效果逐渐被基于深度学习的图像处理算法超越,深度神经网络使许多计算机视觉任务效果大幅提升,成为计算机视觉领域广泛使用的研究方法。在人脸识别任务上,相关的深度学习算法发展迅速,取得了突出的成果。
为了追求更高的准确率,神经网络模型被不断加深,规模越来越大,结构越来越复杂,运行神经网络需要强大的算力支持。在实际应用中,当前通行做法是采用客户端和服务器的设计模式,将深度学习模型的训练和推理过程部署在云端计算中心,客户端采集数据发送至云端,云端计算中心运行人工智能算法,将结果返回至客户端。随着需求的扩大和客户端的增加,数据量也随之增加,若这些数据都交由云端计算中心处理,大量的数据将会使服务器面临网络传输压力和算力瓶颈,造成端到端的延迟,难以保障实时协同工作,还将增加数据泄露的风险。
现有技术中的人脸对比技术,引入了SE(Squeeze-And-Excite)模块和新的激活函数,修改了MobileNetV2的倒置残差块,利用平台感知的网络架构搜索技术和NetAdapt,在指定的硬件平台上搜索到了优化的模型。MobileNetV3-Small是针对低资源和低开销而设计。但是1、MobileNetV3-Small是通过神经网络架构搜索技术得到的通用轻量级网络架构,它被提出用于普通视觉识别任务,不是专门为人脸对比任务而设计,在人脸对比验证任务上准确率还不够高。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种面向边缘计算的轻量级人脸对比验证方法,在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式,通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。
为了达到上述目的,本发明采用以下技术方案:
一种面向边缘计算的轻量级人脸对比验证方法,包括下述步骤:
构建轻量级人脸对验证模型MobileNetV3-PiFace,所述MobileNetV3-PiFace是改进了MobileNetV3-Small,所述MobileNetV3-PiFace网络结构为:首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积,最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征;
利用ArcFace损失函数和VGGFace2来训练MobileNetV3-PiFace模型;
从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;
将预处理后的人脸图像输入训练好的MobileNetV3-PiFace模型,进行特征提取,得到人脸特征向量;
判断人脸图像之间的特征向量夹角距离,实现人脸对比验证。
作为优选的技术方案,所述人脸图像预处理包括人脸检测、人脸对齐、人脸裁剪和尺寸缩放,具体为:
用MTCNN算法检测图像中的人脸,得到人脸框和多点面部坐标;
根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像;
裁剪出对齐后的人脸图像,将图像尺寸缩放为选定的尺寸。
作为优选的技术方案,所述MobileNetV3-PiFace缩小卷积尺寸的步骤,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3。
作为优选的技术方案,所述MobileNetV3-PiFace全局深度卷积的步骤,具体为:
对于主干网络输出的7×7特征图,参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
作为优选的技术方案,所述MobileNetV3-PiFace在扩展维度数量低时使用SE块,具体为:
设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核的尺寸为3×3;其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数,不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
Figure BDA0002417300590000041
由于扩展维度数E通常是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都很小的情况下,加入SE块将大幅增加计算量,故只在网络模块中扩展维度较低时使用SE块。
作为优选的技术方案,所述MobileNetV3-PiFace还包括非线性函数激活,具体为:
在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
作为优选的技术方案,所述MobileNetV3-PiFace还包括随机失活dropout的使用具体为:
在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
作为优选的技术方案,所述Pi-bneck倒置残差块具体为:
对输入特征进行逐点卷积,将特征扩展到高维,为了保留更多有效信息,这一层操作不使用非线性激活函数;随后对高维特征进行深度卷积,卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息;下一步可选地对特征使用SE模块,当维度较高时不使用SE模块,当维度较低时使用SE模块;最后使用逐点卷积将高维特征映射到低维,同时使用非线性激活函数抑制无效信息;
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数。h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
作为优选的技术方案,使用ArcFace损失函数来训练神经网络,设置网络输出的特征嵌入维度为512,规模因子s为64,角度间距惩罚项m为0.4。
作为优选的技术方案,所述对人脸图像进行对比验证具体为:
系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧。若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放。最后把数据加入待对比队列,若队列已满,则抛弃当前数据。
第二条线程循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人等信息;
第三条线程是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3-PiFace模型获取特征向量,通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式。通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。这种模式极大地减轻了网络带宽和云计算中心的功耗和压力。省去了网络传输和云计算中心处理的时耗,减少系统延时,增强服务响应能力。直接在本地处理,减少了网络数据泄露的风险,保护用户数据安全和隐私。
2、准确率更高,推理速度更快。本发明提出的MobileNetV3-PiFace比现有模型每秒浮点计算次数和模型参数个数都减少了,运算速度和准确率均有提高。在树莓派4上面的运行速度为143ms,在LFW测试集上的准确率为99.07%。
附图说明
图1是本发明MobileNetV3的倒置残差块。
图2是本发明人脸验证的系统架构图。
图3是本发明人脸预处理流程图。
图4是本发明网络全局深度卷积解释。
图5是本发明MobileNetV3-PiFace的倒置残差块(Pi-bneck)。
图6是本发明MobileNetV3-PiFace网络结构图。
图7是本发明人脸验证流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
本发明在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式。通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。这种模式极大地减轻了网络带宽和云计算中心的功耗和压力。省去了网络传输和云计算中心处理的时耗,减少系统延时,增强服务响应能力。直接在本地处理,减少了网络数据泄露的风险,保护用户数据安全和隐私。
边缘计算设备通常计算能力较低,难以高效运行大规模神经网络,使深度学习技术的应用场景受到了限制。为了适应边缘计算设备的性能,网络模型的大小和计算开销必须做出相应的优化,对神经网络的规模大小和运行速度提出了要求。
本发明设计了一套人证对比验证系统,改进了通用的轻量级神经网络模型——MobileNetV3,使其适用于人脸对比验证任务。
MobileNetV3-Small的结构如表1所示。其中SE表示在该层中是否使用Squeeze-And-Excite模块,NL表示非线性激活函数的类型,HS表示h-swish,RE表示ReLU。bneck是MobileNetV3的倒置残差块,其结构如图1所示。
表1
Figure BDA0002417300590000071
本发明改进了MobileNetV3-Small网络结构,使用MobileNetV3-PiFace、ArcFace损失函数和VGGFace2数据集训练人脸对比验证模型,最终在LFW数据集上得到99.07%的准确率,在树莓派4B上的推理速度为148ms。
本发明一种面向边缘计算的轻量级人脸对比验证方法,首先从摄像头采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理,将预处理后的图像输入神经网络模型,进行特征提取。最后对人脸特征进行余弦夹角计算,判断特征相似度,得到验证结果。人脸对比验证的系统结构如图2所示。本发的具体步骤为:
S1、人脸图像预处理,包括人脸检测,人脸对齐,人脸裁剪,尺寸缩放,预处理的过程如图3所示,具体为:
S11、用MTCNN算法检测图像中的人脸,得到人脸框和5点面部坐标;
S12、根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
S13、把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像。
S14、裁剪出对齐后的人脸,将图像尺寸缩放为112×112。
S2、构建轻量级人脸对验证模型MobileNetV3-PiFace;
S21、首层卷积扩大,具体为:
和大多数轻量人脸识别模型一样,本实施例把模型输入尺寸设置为112×112×3。对于一张输入图像,观察到人脸主要信息集中在图像中间部分,边缘部分是一些次要或无用信息。故首先对输入图像进行5×5标准卷积,使用步长2进行下采样。这种设计使得第一层卷积网络具有相对较大的有效感受野,输出特征包含更整体的面部信息,同时抑制图像边缘的无效信息,有利于后续人脸特征提取。
S22、缩小卷积尺寸,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3,因为3×3卷积较5×5卷积而言,计算开销更小,有利于提高网络推理速度。另外,小卷积能捕获更细粒度的面部特征,更适合人脸对比验证的任务。
S23、全局深度卷积,具体为:
根据感受野理论,在输出特征图中,各单元的权值对应于输入图像不同部分的感受野。如图4所示,感受野1和感受野2分别对应于7×7特征图的边角和中间单元,特征图中间单元的重要性比边角单元的重要性更大,权值更高。若对特征图进行平均池化,则有损特征图里权重的分布性,不利于提取特征和分类。对于主干网络输出的7×7特征图,本实施例参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
S24、只在扩展维度数量低较时使用SE块;
经过计算和实验发现,SE块大幅增加了计算量,但对准确率只有轻微提升。假设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核大小为3×3。其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数。不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
Figure BDA0002417300590000091
由于扩展维度数E通常是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都很小的情况下,加入SE块将大幅增加计算量,故只在网络模块中扩展维度较低时使用SE块。
S25、非线性激活函数,具体为:
在MobileNetV3的倒置残差块中,使用点卷积扩展维度时,加入了非线性激活函数,将特征投影到低维时没有使用非线性激活函数,这种做法与MobileNetV2相反。我们认为将低维特征扩展到高维时,使用非线性激活函数会造成信息丢失,使嵌入在低维空间的兴趣流形(manifold of interest)无法完整暴露在高维空间。为了更好地保护有效信息、抑制无效信息,我们在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
S26、dropout的使用,具体为:
随机失活(dropout)最初提出用于缓解大型网络的过拟合问题,在训练过程中,在该层网络随机选择一定比例的神经元更新权值,其余神经元不参与更新。在网络规模或训练数据较小的时候一般不使用dropout。后来批标准化(Batch Normalization)被提出,对神经网络每一层的输入都进行正则化,使输入数据满足均值为0,方差为1的标准正态分布。批标准化大大提升了训练速度,可以使用较大的学习率,由于起到正则化的效果,从一定程度上替代了dropout的使用。我们在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
S27、MobileNetV3-PiFace的倒置残差块,具体为:
改进后的MobileNetV3-PiFace的倒置残差块(Pi-bneck)如图5所示。首先对输入特征进行逐点卷积(Pointwise Convolution),将特征扩展到高维,为了保留更多有效信息,这一层操作不使用非线性激活函数。随后对高维特征进行深度卷积(DepthwiseConvolution),卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息。下一步可选地对特征使用SE模块,根据2前述的分析,当维度较高时不使用SE模块,当维度较低时使用SE模块。最后使用逐点卷积(Pointwise Convolution)将高维特征映射到低维,同时使用非线性激活函数抑制无效信息。
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数。h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
根据步骤S21-S27的处理,改进后的MobileNetV3-PiFace的网络结构图如图6所示,MobileNetV3-PiFace网络结构表如表2所示。首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积。最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征。
表2
Figure BDA0002417300590000111
Figure BDA0002417300590000121
S3、利用损失函数来训练MobileNetV3-PiFace模型,
本实施例使用ArcFace损失函数来训练神经网络,我们设置网络输出的特征嵌入(feature embedding)维度为512,规模因子s为64,角度间距惩罚项m为0.4。
S4、利用训练好的MobileNetV3-PiFace对人脸图像进行对比验证。
人脸对比验证流程如图7所示,系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧。若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放。最后把数据加入待对比队列,若队列已满,则抛弃当前数据。
第二条视频循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人等信息;
第三条视频是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3模型获取特征向量。通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
与现有MobileNetV3-Small结构相比,本发明缩小了网络输入尺寸,减少了大量的运算。在首层使用较大的卷积核进行下采样,对人脸特征进行概括性的提取,有利于后续提取细粒度人脸特征。在倒置残差块中,将非线性激活函数改到降维时使用,有利于保护有效信息,抑制无效信息。分析了SE模块的计算量,在扩展维度较少时使用SE模块。
本发明基于MobileNetV3-Small网络结构,分析了SE块的计算开销、倒置残差结构的非线性激活层的作用以及人脸对比验证任务的特点,对MobileNetV3-Small作出改进,使其在人脸对比验证任务上表现更好,速度更快,能够适用于边缘计算设备。改进的模型命名为MobileNetV3-PiFace,在LFW测试集上达到99.07%的准确率,在树莓派4B上的推理速度为143ms。结合实际应用,可以满足生产环境的需求。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (9)

1.一种面向边缘计算的轻量级人脸对比验证方法,其特征在于,包括下述步骤:
构建轻量级人脸对验证模型MobileNetV3-PiFace,所述MobileNetV3-PiFace是改进了MobileNetV3-Small,所述MobileNetV3-PiFace网络结构为:首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积,最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征;所述MobileNetV3-PiFace在扩展维度数量低时使用SE块,具体为:
设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核的尺寸为3×3;其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数,不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
Figure FDA0004040494910000011
由于扩展维度数E是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都为小尺寸的情况下,加入SE块将增加计算量,故只在网络模块中扩展维度低时使用SE块
利用ArcFace损失函数和VGGFace2来训练MobileNetV3-PiFace模型;
从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;
将预处理后的人脸图像输入训练好的MobileNetV3-PiFace模型,进行特征提取,得到人脸特征向量;
判断人脸图像之间的特征向量夹角距离,实现人脸对比验证。
2.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述人脸图像预处理包括人脸检测、人脸对齐、人脸裁剪和尺寸缩放,具体为:
用MTCNN算法检测图像中的人脸,得到人脸框和多点面部坐标;
根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像;
裁剪出对齐后的人脸图像,将图像尺寸缩放为选定的尺寸。
3.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace缩小卷积尺寸的步骤,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3。
4.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace全局深度卷积的步骤,具体为:
对于主干网络输出的7×7特征图,参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
5.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace还包括非线性函数激活,具体为:
在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
6.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace还包括随机失活dropout的使用具体为:
在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
7.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述Pi-bneck倒置残差块具体为:
对输入特征进行逐点卷积,将特征扩展到高维,为了保留有效信息,这一层操作不使用非线性激活函数;随后对高维特征进行深度卷积,卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息;下一步可选地对特征使用SE模块,当高维度时不使用SE模块,当低维度时使用SE模块;最后使用逐点卷积将高维特征映射到低维,同时使用非线性激活函数抑制无效信息;
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数,h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
8.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,使用ArcFace损失函数来训练神经网络,设置网络输出的特征嵌入维度为512,规模因子s为64,角度间距惩罚项m为0.4。
9.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,对人脸图像进行对比验证具体为:
系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧;若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放;最后把数据加入待对比队列,若队列已满,则抛弃当前数据;
第二条线程循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人信息;
第三条线程是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3-PiFace模型获取特征向量;通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
CN202010195045.4A 2020-03-19 2020-03-19 一种面向边缘计算的轻量级人脸对比验证方法 Active CN111428606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010195045.4A CN111428606B (zh) 2020-03-19 2020-03-19 一种面向边缘计算的轻量级人脸对比验证方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010195045.4A CN111428606B (zh) 2020-03-19 2020-03-19 一种面向边缘计算的轻量级人脸对比验证方法

Publications (2)

Publication Number Publication Date
CN111428606A CN111428606A (zh) 2020-07-17
CN111428606B true CN111428606B (zh) 2023-03-31

Family

ID=71546554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010195045.4A Active CN111428606B (zh) 2020-03-19 2020-03-19 一种面向边缘计算的轻量级人脸对比验证方法

Country Status (1)

Country Link
CN (1) CN111428606B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814194B (zh) * 2020-09-04 2020-12-25 支付宝(杭州)信息技术有限公司 基于隐私保护的图像处理方法、装置和电子设备
CN112051980B (zh) * 2020-10-13 2022-06-21 浙江大学 一种基于牛顿迭代法的非线性激活函数计算装置
CN112257807B (zh) * 2020-11-02 2022-05-27 曲阜师范大学 一种基于自适应优化线性邻域集选择的降维方法及系统
CN112418397B (zh) * 2020-11-19 2021-10-26 重庆邮电大学 一种基于轻量级卷积神经网络的图像分类方法
CN112766065A (zh) * 2020-12-30 2021-05-07 山东山大鸥玛软件股份有限公司 一种移动端考生身份认证方法、装置、终端及存储介质
CN112817755B (zh) * 2021-01-22 2023-12-19 西安交通大学 基于目标追踪加速的边云协同深度学习目标检测方法
CN112799128B (zh) * 2021-02-03 2021-10-22 北京航空航天大学 一种地震信号检测和震相提取的方法
CN113033422A (zh) * 2021-03-29 2021-06-25 中科万勋智能科技(苏州)有限公司 基于边缘计算的人脸检测方法、系统、设备和存储介质
CN113052189B (zh) * 2021-03-30 2022-04-29 电子科技大学 一种基于改进的MobileNetV3特征提取网络
CN113343773B (zh) * 2021-05-12 2022-11-08 上海大学 基于浅层卷积神经网络的人脸表情识别系统
CN113297957A (zh) * 2021-05-24 2021-08-24 国网上海市电力公司 一种基于边缘计算的用电特征波形提取及分析架构
CN113361495B (zh) * 2021-07-27 2024-04-09 平安科技(深圳)有限公司 人脸图像相似度的计算方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN109583357A (zh) * 2018-11-23 2019-04-05 厦门大学 一种改进lbp和轻量卷积神经网络级联的人脸识别方法
CN110298296A (zh) * 2019-06-26 2019-10-01 北京澎思智能科技有限公司 应用于边缘计算设备的人脸识别方法
CN110427821A (zh) * 2019-06-27 2019-11-08 高新兴科技集团股份有限公司 一种基于轻量级卷积神经网络的人脸检测方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108073910B (zh) * 2017-12-29 2021-05-07 百度在线网络技术(北京)有限公司 用于生成人脸特征的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304788A (zh) * 2018-01-18 2018-07-20 陕西炬云信息科技有限公司 基于深度神经网络的人脸识别方法
CN109583357A (zh) * 2018-11-23 2019-04-05 厦门大学 一种改进lbp和轻量卷积神经网络级联的人脸识别方法
CN110298296A (zh) * 2019-06-26 2019-10-01 北京澎思智能科技有限公司 应用于边缘计算设备的人脸识别方法
CN110427821A (zh) * 2019-06-27 2019-11-08 高新兴科技集团股份有限公司 一种基于轻量级卷积神经网络的人脸检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度卷积网络的多视角人脸检测研究;林祥等;《湖南文理学院学报(自然科学版)》;20180530(第02期);第33-37页 *

Also Published As

Publication number Publication date
CN111428606A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428606B (zh) 一种面向边缘计算的轻量级人脸对比验证方法
CN111639692B (zh) 一种基于注意力机制的阴影检测方法
Kong et al. Real-time mask identification for COVID-19: An edge-computing-based deep learning framework
Zhang et al. Demeshnet: Blind face inpainting for deep meshface verification
CA3172605C (en) Video jitter detection method and device
WO2020001083A1 (zh) 一种基于特征复用的人脸识别方法
CN111582044B (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN108537754B (zh) 基于形变引导图的人脸图像复原系统
CN112418041B (zh) 一种基于人脸正面化的多姿态人脸识别方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN113158929B (zh) 基于距离和方向的深度鉴别度量学习亲属关系验证系统
WO2021218659A1 (zh) 人脸识别
CN112766186A (zh) 一种基于多任务学习的实时人脸检测及头部姿态估计方法
Sharma et al. Towards a robust, real-time face processing system using CUDA-enabled GPUs
CN113642393B (zh) 基于注意力机制的多特征融合视线估计方法
CN114529982A (zh) 基于流式注意力的轻量级人体姿态估计方法及系统
CN114783024A (zh) 基于YOLOv5的公共场所戴口罩的人脸识别系统
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN111222459A (zh) 一种视角无关的视频三维人体姿态识别方法
Hadis et al. The impact of preprocessing on face recognition using pseudorandom pixel placement
Qi et al. A convolutional neural network face recognition method based on BILSTM and attention mechanism
CN115984765A (zh) 基于双流分块网络的行人重识别方法、电子设备和介质
CN113705358B (zh) 一种基于特征映射的多角度侧脸正面化方法
Liu et al. Real-time pose classification for driver monitoring
Boussaad et al. The aging effects on face recognition algorithms: the accuracy according to age groups and age gaps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant