CN111428606B - 一种面向边缘计算的轻量级人脸对比验证方法 - Google Patents
一种面向边缘计算的轻量级人脸对比验证方法 Download PDFInfo
- Publication number
- CN111428606B CN111428606B CN202010195045.4A CN202010195045A CN111428606B CN 111428606 B CN111428606 B CN 111428606B CN 202010195045 A CN202010195045 A CN 202010195045A CN 111428606 B CN111428606 B CN 111428606B
- Authority
- CN
- China
- Prior art keywords
- face
- piface
- size
- convolution
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种面向边缘计算的轻量级人脸对比验证方法,包括下述步骤:构建轻量级神经网络模型MobileNetV3‑PiFace,使用ArcFace损失函数和VGGFace2数据集对模型进行训练;从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;利用训练好的MobileNetV3‑PiFace模型,对预处理后的人脸图像进行特征提取;判断不同人脸特征之间的向量夹角,实现人脸对比验证功能。本发明减少了模型的参数和规模,提高了模型在LFW数据集上的准确率,提高了在边缘计算设备上的运算速度。系统在终端采集人脸图像数据,在终端本地运行神经网络推理数据,这种模式减轻了云端服务器计算和网络传输的压力,降低了整体延时,同时保护了用户隐私。
Description
技术领域
本发明属于深度学习的技术领域,具体涉及一种面向边缘计算的轻量级人脸对比验证方法。
背景技术
自从深度学习技术出现以来,传统的图像处理算法效果逐渐被基于深度学习的图像处理算法超越,深度神经网络使许多计算机视觉任务效果大幅提升,成为计算机视觉领域广泛使用的研究方法。在人脸识别任务上,相关的深度学习算法发展迅速,取得了突出的成果。
为了追求更高的准确率,神经网络模型被不断加深,规模越来越大,结构越来越复杂,运行神经网络需要强大的算力支持。在实际应用中,当前通行做法是采用客户端和服务器的设计模式,将深度学习模型的训练和推理过程部署在云端计算中心,客户端采集数据发送至云端,云端计算中心运行人工智能算法,将结果返回至客户端。随着需求的扩大和客户端的增加,数据量也随之增加,若这些数据都交由云端计算中心处理,大量的数据将会使服务器面临网络传输压力和算力瓶颈,造成端到端的延迟,难以保障实时协同工作,还将增加数据泄露的风险。
现有技术中的人脸对比技术,引入了SE(Squeeze-And-Excite)模块和新的激活函数,修改了MobileNetV2的倒置残差块,利用平台感知的网络架构搜索技术和NetAdapt,在指定的硬件平台上搜索到了优化的模型。MobileNetV3-Small是针对低资源和低开销而设计。但是1、MobileNetV3-Small是通过神经网络架构搜索技术得到的通用轻量级网络架构,它被提出用于普通视觉识别任务,不是专门为人脸对比任务而设计,在人脸对比验证任务上准确率还不够高。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种面向边缘计算的轻量级人脸对比验证方法,在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式,通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。
为了达到上述目的,本发明采用以下技术方案:
一种面向边缘计算的轻量级人脸对比验证方法,包括下述步骤:
构建轻量级人脸对验证模型MobileNetV3-PiFace,所述MobileNetV3-PiFace是改进了MobileNetV3-Small,所述MobileNetV3-PiFace网络结构为:首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积,最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征;
利用ArcFace损失函数和VGGFace2来训练MobileNetV3-PiFace模型;
从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;
将预处理后的人脸图像输入训练好的MobileNetV3-PiFace模型,进行特征提取,得到人脸特征向量;
判断人脸图像之间的特征向量夹角距离,实现人脸对比验证。
作为优选的技术方案,所述人脸图像预处理包括人脸检测、人脸对齐、人脸裁剪和尺寸缩放,具体为:
用MTCNN算法检测图像中的人脸,得到人脸框和多点面部坐标;
根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像;
裁剪出对齐后的人脸图像,将图像尺寸缩放为选定的尺寸。
作为优选的技术方案,所述MobileNetV3-PiFace缩小卷积尺寸的步骤,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3。
作为优选的技术方案,所述MobileNetV3-PiFace全局深度卷积的步骤,具体为:
对于主干网络输出的7×7特征图,参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
作为优选的技术方案,所述MobileNetV3-PiFace在扩展维度数量低时使用SE块,具体为:
设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核的尺寸为3×3;其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数,不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
由于扩展维度数E通常是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都很小的情况下,加入SE块将大幅增加计算量,故只在网络模块中扩展维度较低时使用SE块。
作为优选的技术方案,所述MobileNetV3-PiFace还包括非线性函数激活,具体为:
在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
作为优选的技术方案,所述MobileNetV3-PiFace还包括随机失活dropout的使用具体为:
在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
作为优选的技术方案,所述Pi-bneck倒置残差块具体为:
对输入特征进行逐点卷积,将特征扩展到高维,为了保留更多有效信息,这一层操作不使用非线性激活函数;随后对高维特征进行深度卷积,卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息;下一步可选地对特征使用SE模块,当维度较高时不使用SE模块,当维度较低时使用SE模块;最后使用逐点卷积将高维特征映射到低维,同时使用非线性激活函数抑制无效信息;
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数。h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
作为优选的技术方案,使用ArcFace损失函数来训练神经网络,设置网络输出的特征嵌入维度为512,规模因子s为64,角度间距惩罚项m为0.4。
作为优选的技术方案,所述对人脸图像进行对比验证具体为:
系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧。若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放。最后把数据加入待对比队列,若队列已满,则抛弃当前数据。
第二条线程循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人等信息;
第三条线程是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3-PiFace模型获取特征向量,通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式。通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。这种模式极大地减轻了网络带宽和云计算中心的功耗和压力。省去了网络传输和云计算中心处理的时耗,减少系统延时,增强服务响应能力。直接在本地处理,减少了网络数据泄露的风险,保护用户数据安全和隐私。
2、准确率更高,推理速度更快。本发明提出的MobileNetV3-PiFace比现有模型每秒浮点计算次数和模型参数个数都减少了,运算速度和准确率均有提高。在树莓派4上面的运行速度为143ms,在LFW测试集上的准确率为99.07%。
附图说明
图1是本发明MobileNetV3的倒置残差块。
图2是本发明人脸验证的系统架构图。
图3是本发明人脸预处理流程图。
图4是本发明网络全局深度卷积解释。
图5是本发明MobileNetV3-PiFace的倒置残差块(Pi-bneck)。
图6是本发明MobileNetV3-PiFace网络结构图。
图7是本发明人脸验证流程图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
本发明在网络边缘设备上部署神经网络模型,采取本地采集数据、离线执行任务的模式。通过部署轻量级卷积神经网络模型,使人脸对比验证过程能够在边缘设备上快速高效地进行。这种模式极大地减轻了网络带宽和云计算中心的功耗和压力。省去了网络传输和云计算中心处理的时耗,减少系统延时,增强服务响应能力。直接在本地处理,减少了网络数据泄露的风险,保护用户数据安全和隐私。
边缘计算设备通常计算能力较低,难以高效运行大规模神经网络,使深度学习技术的应用场景受到了限制。为了适应边缘计算设备的性能,网络模型的大小和计算开销必须做出相应的优化,对神经网络的规模大小和运行速度提出了要求。
本发明设计了一套人证对比验证系统,改进了通用的轻量级神经网络模型——MobileNetV3,使其适用于人脸对比验证任务。
MobileNetV3-Small的结构如表1所示。其中SE表示在该层中是否使用Squeeze-And-Excite模块,NL表示非线性激活函数的类型,HS表示h-swish,RE表示ReLU。bneck是MobileNetV3的倒置残差块,其结构如图1所示。
表1
本发明改进了MobileNetV3-Small网络结构,使用MobileNetV3-PiFace、ArcFace损失函数和VGGFace2数据集训练人脸对比验证模型,最终在LFW数据集上得到99.07%的准确率,在树莓派4B上的推理速度为148ms。
本发明一种面向边缘计算的轻量级人脸对比验证方法,首先从摄像头采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理,将预处理后的图像输入神经网络模型,进行特征提取。最后对人脸特征进行余弦夹角计算,判断特征相似度,得到验证结果。人脸对比验证的系统结构如图2所示。本发的具体步骤为:
S1、人脸图像预处理,包括人脸检测,人脸对齐,人脸裁剪,尺寸缩放,预处理的过程如图3所示,具体为:
S11、用MTCNN算法检测图像中的人脸,得到人脸框和5点面部坐标;
S12、根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
S13、把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像。
S14、裁剪出对齐后的人脸,将图像尺寸缩放为112×112。
S2、构建轻量级人脸对验证模型MobileNetV3-PiFace;
S21、首层卷积扩大,具体为:
和大多数轻量人脸识别模型一样,本实施例把模型输入尺寸设置为112×112×3。对于一张输入图像,观察到人脸主要信息集中在图像中间部分,边缘部分是一些次要或无用信息。故首先对输入图像进行5×5标准卷积,使用步长2进行下采样。这种设计使得第一层卷积网络具有相对较大的有效感受野,输出特征包含更整体的面部信息,同时抑制图像边缘的无效信息,有利于后续人脸特征提取。
S22、缩小卷积尺寸,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3,因为3×3卷积较5×5卷积而言,计算开销更小,有利于提高网络推理速度。另外,小卷积能捕获更细粒度的面部特征,更适合人脸对比验证的任务。
S23、全局深度卷积,具体为:
根据感受野理论,在输出特征图中,各单元的权值对应于输入图像不同部分的感受野。如图4所示,感受野1和感受野2分别对应于7×7特征图的边角和中间单元,特征图中间单元的重要性比边角单元的重要性更大,权值更高。若对特征图进行平均池化,则有损特征图里权重的分布性,不利于提取特征和分类。对于主干网络输出的7×7特征图,本实施例参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
S24、只在扩展维度数量低较时使用SE块;
经过计算和实验发现,SE块大幅增加了计算量,但对准确率只有轻微提升。假设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核大小为3×3。其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数。不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
由于扩展维度数E通常是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都很小的情况下,加入SE块将大幅增加计算量,故只在网络模块中扩展维度较低时使用SE块。
S25、非线性激活函数,具体为:
在MobileNetV3的倒置残差块中,使用点卷积扩展维度时,加入了非线性激活函数,将特征投影到低维时没有使用非线性激活函数,这种做法与MobileNetV2相反。我们认为将低维特征扩展到高维时,使用非线性激活函数会造成信息丢失,使嵌入在低维空间的兴趣流形(manifold of interest)无法完整暴露在高维空间。为了更好地保护有效信息、抑制无效信息,我们在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
S26、dropout的使用,具体为:
随机失活(dropout)最初提出用于缓解大型网络的过拟合问题,在训练过程中,在该层网络随机选择一定比例的神经元更新权值,其余神经元不参与更新。在网络规模或训练数据较小的时候一般不使用dropout。后来批标准化(Batch Normalization)被提出,对神经网络每一层的输入都进行正则化,使输入数据满足均值为0,方差为1的标准正态分布。批标准化大大提升了训练速度,可以使用较大的学习率,由于起到正则化的效果,从一定程度上替代了dropout的使用。我们在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
S27、MobileNetV3-PiFace的倒置残差块,具体为:
改进后的MobileNetV3-PiFace的倒置残差块(Pi-bneck)如图5所示。首先对输入特征进行逐点卷积(Pointwise Convolution),将特征扩展到高维,为了保留更多有效信息,这一层操作不使用非线性激活函数。随后对高维特征进行深度卷积(DepthwiseConvolution),卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息。下一步可选地对特征使用SE模块,根据2前述的分析,当维度较高时不使用SE模块,当维度较低时使用SE模块。最后使用逐点卷积(Pointwise Convolution)将高维特征映射到低维,同时使用非线性激活函数抑制无效信息。
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数。h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
根据步骤S21-S27的处理,改进后的MobileNetV3-PiFace的网络结构图如图6所示,MobileNetV3-PiFace网络结构表如表2所示。首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积。最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征。
表2
S3、利用损失函数来训练MobileNetV3-PiFace模型,
本实施例使用ArcFace损失函数来训练神经网络,我们设置网络输出的特征嵌入(feature embedding)维度为512,规模因子s为64,角度间距惩罚项m为0.4。
S4、利用训练好的MobileNetV3-PiFace对人脸图像进行对比验证。
人脸对比验证流程如图7所示,系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧。若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放。最后把数据加入待对比队列,若队列已满,则抛弃当前数据。
第二条视频循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人等信息;
第三条视频是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3模型获取特征向量。通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
与现有MobileNetV3-Small结构相比,本发明缩小了网络输入尺寸,减少了大量的运算。在首层使用较大的卷积核进行下采样,对人脸特征进行概括性的提取,有利于后续提取细粒度人脸特征。在倒置残差块中,将非线性激活函数改到降维时使用,有利于保护有效信息,抑制无效信息。分析了SE模块的计算量,在扩展维度较少时使用SE模块。
本发明基于MobileNetV3-Small网络结构,分析了SE块的计算开销、倒置残差结构的非线性激活层的作用以及人脸对比验证任务的特点,对MobileNetV3-Small作出改进,使其在人脸对比验证任务上表现更好,速度更快,能够适用于边缘计算设备。改进的模型命名为MobileNetV3-PiFace,在LFW测试集上达到99.07%的准确率,在树莓派4B上的推理速度为143ms。结合实际应用,可以满足生产环境的需求。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (9)
1.一种面向边缘计算的轻量级人脸对比验证方法,其特征在于,包括下述步骤:
构建轻量级人脸对验证模型MobileNetV3-PiFace,所述MobileNetV3-PiFace是改进了MobileNetV3-Small,所述MobileNetV3-PiFace网络结构为:首先对输入图像使用5×5的卷积核进行标准卷积,设置步长为2进行下采样,随后连续地使用Pi-bneck倒置残差块,在最后一个Pi-bneck之后使用1×1卷积特征扩展维度,然后参照MobileFaceNets的做法进行深度卷积,最后使用两层1×1卷积达到全连接层的效果,输出512维嵌入特征;所述MobileNetV3-PiFace在扩展维度数量低时使用SE块,具体为:
设一个倒置残差块的输入特征为H×W×C,扩展维度为E,输出特征为H1×W1×C1,深度分离卷积核的尺寸为3×3;其中H、W、C分别为输入特征的高、宽、通道数,H1、W1、C1分别为输出特征的高、宽、通道数,不考虑偏置项和激活函数,引入SE块时,倒置残差块的计算量为:
Ψ=1·1·C·E·H·W+3·3·E·H1·W1+1·1·E·C1·H1·W1
加入SE块时,SE块的计算量为:
ψ=H1·W1·E+E·E·E+E·E·E+H1·W1·E
设输入特征尺寸与输出特征尺寸相同,加入SE块后,与未加入SE块相比:
由于扩展维度数E是特征通道数C的几倍以上,在输入特征尺寸与输出特征尺寸相同,或两者都为小尺寸的情况下,加入SE块将增加计算量,故只在网络模块中扩展维度低时使用SE块
利用ArcFace损失函数和VGGFace2来训练MobileNetV3-PiFace模型;
从采集到的视频流中提取帧图像,对图像进行人脸检测,若有人脸存在,则进行人脸图像预处理;
将预处理后的人脸图像输入训练好的MobileNetV3-PiFace模型,进行特征提取,得到人脸特征向量;
判断人脸图像之间的特征向量夹角距离,实现人脸对比验证。
2.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述人脸图像预处理包括人脸检测、人脸对齐、人脸裁剪和尺寸缩放,具体为:
用MTCNN算法检测图像中的人脸,得到人脸框和多点面部坐标;
根据标准的人脸面部坐标,对检测到的人脸面部坐标进行相似变换,得到齐次变换矩阵M;
把M作为参数,对人脸图像进行仿射变换,得到对齐后的人脸图像;
裁剪出对齐后的人脸图像,将图像尺寸缩放为选定的尺寸。
3.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace缩小卷积尺寸的步骤,具体为:
主干网络采用与MoblieNetV3相同的框架,把MoblieNetV3中大量的5×5卷积替换为3×3。
4.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace全局深度卷积的步骤,具体为:
对于主干网络输出的7×7特征图,参考MobileFaceNets的做法,用全局深度卷积替换平均池化。
5.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace还包括非线性函数激活,具体为:
在扩展维度时不使用非线性激活函数,在压缩维度时使用非线性激活函数。
6.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述MobileNetV3-PiFace还包括随机失活dropout的使用具体为:
在网络的卷积层使用批标准化,在最后全连接层使用0.8的dropout。
7.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,所述Pi-bneck倒置残差块具体为:
对输入特征进行逐点卷积,将特征扩展到高维,为了保留有效信息,这一层操作不使用非线性激活函数;随后对高维特征进行深度卷积,卷积核尺寸固定为3×3,这一层使用非线性激活函数抑制无效信息;下一步可选地对特征使用SE模块,当高维度时不使用SE模块,当低维度时使用SE模块;最后使用逐点卷积将高维特征映射到低维,同时使用非线性激活函数抑制无效信息;
在网络的前4个Pi-bneck中使用ReLU6作为非线性激活函数,其余Pi-bneck中使用h-swish作为非线性激活函数,h-swish的公式如下:
h-swish[x]=x{ReLU6(x+3)}/6。
8.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,使用ArcFace损失函数来训练神经网络,设置网络输出的特征嵌入维度为512,规模因子s为64,角度间距惩罚项m为0.4。
9.根据权利要求1所述的面向边缘计算的轻量级人脸对比验证方法,其特征在于,对人脸图像进行对比验证具体为:
系统启动时首先进行初始化,包括加载UI界面、检查摄像头、加载神经网络,然后启动三条线程:
第一条线程循环读取人脸摄像头的视频流,获取视频帧,使用Dlib人脸检测器检测帧图像是否包含人脸,若没有检测到人脸,则继续读取下一个视频帧;若检测到人脸,则进行人脸预处理:裁剪出人脸区域的图像、进行人脸对齐矫正、图像尺寸缩放;最后把数据加入待对比队列,若队列已满,则抛弃当前数据;
第二条线程循环读取证件摄像头的视频流,流程和第一条线程一样,其中多了一步OCR文字识别流程,即从证件提取证件号、持证人信息;
第三条线程是人脸对比线程,它从待对比队列中提取人脸图像数据和证件照图像数据,使用训练好的MobileNetV3-PiFace模型获取特征向量;通过计算特征之间的夹角,判断是否为同一人,把结果显示到主界面。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010195045.4A CN111428606B (zh) | 2020-03-19 | 2020-03-19 | 一种面向边缘计算的轻量级人脸对比验证方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010195045.4A CN111428606B (zh) | 2020-03-19 | 2020-03-19 | 一种面向边缘计算的轻量级人脸对比验证方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111428606A CN111428606A (zh) | 2020-07-17 |
CN111428606B true CN111428606B (zh) | 2023-03-31 |
Family
ID=71546554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010195045.4A Active CN111428606B (zh) | 2020-03-19 | 2020-03-19 | 一种面向边缘计算的轻量级人脸对比验证方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111428606B (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111814194B (zh) * | 2020-09-04 | 2020-12-25 | 支付宝(杭州)信息技术有限公司 | 基于隐私保护的图像处理方法、装置和电子设备 |
CN112051980B (zh) * | 2020-10-13 | 2022-06-21 | 浙江大学 | 一种基于牛顿迭代法的非线性激活函数计算装置 |
CN112257807B (zh) * | 2020-11-02 | 2022-05-27 | 曲阜师范大学 | 一种基于自适应优化线性邻域集选择的降维方法及系统 |
CN112418397B (zh) * | 2020-11-19 | 2021-10-26 | 重庆邮电大学 | 一种基于轻量级卷积神经网络的图像分类方法 |
CN112766065A (zh) * | 2020-12-30 | 2021-05-07 | 山东山大鸥玛软件股份有限公司 | 一种移动端考生身份认证方法、装置、终端及存储介质 |
CN112817755B (zh) * | 2021-01-22 | 2023-12-19 | 西安交通大学 | 基于目标追踪加速的边云协同深度学习目标检测方法 |
CN112799128B (zh) * | 2021-02-03 | 2021-10-22 | 北京航空航天大学 | 一种地震信号检测和震相提取的方法 |
CN113033422A (zh) * | 2021-03-29 | 2021-06-25 | 中科万勋智能科技(苏州)有限公司 | 基于边缘计算的人脸检测方法、系统、设备和存储介质 |
CN113052189B (zh) * | 2021-03-30 | 2022-04-29 | 电子科技大学 | 一种基于改进的MobileNetV3特征提取网络 |
CN113343773B (zh) * | 2021-05-12 | 2022-11-08 | 上海大学 | 基于浅层卷积神经网络的人脸表情识别系统 |
CN113297957A (zh) * | 2021-05-24 | 2021-08-24 | 国网上海市电力公司 | 一种基于边缘计算的用电特征波形提取及分析架构 |
CN113361495B (zh) * | 2021-07-27 | 2024-04-09 | 平安科技(深圳)有限公司 | 人脸图像相似度的计算方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
CN109583357A (zh) * | 2018-11-23 | 2019-04-05 | 厦门大学 | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 |
CN110298296A (zh) * | 2019-06-26 | 2019-10-01 | 北京澎思智能科技有限公司 | 应用于边缘计算设备的人脸识别方法 |
CN110427821A (zh) * | 2019-06-27 | 2019-11-08 | 高新兴科技集团股份有限公司 | 一种基于轻量级卷积神经网络的人脸检测方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108073910B (zh) * | 2017-12-29 | 2021-05-07 | 百度在线网络技术(北京)有限公司 | 用于生成人脸特征的方法和装置 |
-
2020
- 2020-03-19 CN CN202010195045.4A patent/CN111428606B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108304788A (zh) * | 2018-01-18 | 2018-07-20 | 陕西炬云信息科技有限公司 | 基于深度神经网络的人脸识别方法 |
CN109583357A (zh) * | 2018-11-23 | 2019-04-05 | 厦门大学 | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 |
CN110298296A (zh) * | 2019-06-26 | 2019-10-01 | 北京澎思智能科技有限公司 | 应用于边缘计算设备的人脸识别方法 |
CN110427821A (zh) * | 2019-06-27 | 2019-11-08 | 高新兴科技集团股份有限公司 | 一种基于轻量级卷积神经网络的人脸检测方法及系统 |
Non-Patent Citations (1)
Title |
---|
基于深度卷积网络的多视角人脸检测研究;林祥等;《湖南文理学院学报(自然科学版)》;20180530(第02期);第33-37页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111428606A (zh) | 2020-07-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111428606B (zh) | 一种面向边缘计算的轻量级人脸对比验证方法 | |
CN111639692B (zh) | 一种基于注意力机制的阴影检测方法 | |
Kong et al. | Real-time mask identification for COVID-19: An edge-computing-based deep learning framework | |
Zhang et al. | Demeshnet: Blind face inpainting for deep meshface verification | |
CA3172605C (en) | Video jitter detection method and device | |
WO2020001083A1 (zh) | 一种基于特征复用的人脸识别方法 | |
CN111582044B (zh) | 基于卷积神经网络和注意力模型的人脸识别方法 | |
CN108537754B (zh) | 基于形变引导图的人脸图像复原系统 | |
CN112418041B (zh) | 一种基于人脸正面化的多姿态人脸识别方法 | |
CN112686119B (zh) | 基于自注意力生成对抗网络的车牌运动模糊图像处理方法 | |
CN113158929B (zh) | 基于距离和方向的深度鉴别度量学习亲属关系验证系统 | |
WO2021218659A1 (zh) | 人脸识别 | |
CN112766186A (zh) | 一种基于多任务学习的实时人脸检测及头部姿态估计方法 | |
Sharma et al. | Towards a robust, real-time face processing system using CUDA-enabled GPUs | |
CN113642393B (zh) | 基于注意力机制的多特征融合视线估计方法 | |
CN114529982A (zh) | 基于流式注意力的轻量级人体姿态估计方法及系统 | |
CN114783024A (zh) | 基于YOLOv5的公共场所戴口罩的人脸识别系统 | |
CN113239866B (zh) | 一种时空特征融合与样本注意增强的人脸识别方法及系统 | |
CN111222459A (zh) | 一种视角无关的视频三维人体姿态识别方法 | |
Hadis et al. | The impact of preprocessing on face recognition using pseudorandom pixel placement | |
Qi et al. | A convolutional neural network face recognition method based on BILSTM and attention mechanism | |
CN115984765A (zh) | 基于双流分块网络的行人重识别方法、电子设备和介质 | |
CN113705358B (zh) | 一种基于特征映射的多角度侧脸正面化方法 | |
Liu et al. | Real-time pose classification for driver monitoring | |
Boussaad et al. | The aging effects on face recognition algorithms: the accuracy according to age groups and age gaps |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |