CN116758609A - 一种基于特征模型改进的轻量化人脸识别方法 - Google Patents
一种基于特征模型改进的轻量化人脸识别方法 Download PDFInfo
- Publication number
- CN116758609A CN116758609A CN202310591694.XA CN202310591694A CN116758609A CN 116758609 A CN116758609 A CN 116758609A CN 202310591694 A CN202310591694 A CN 202310591694A CN 116758609 A CN116758609 A CN 116758609A
- Authority
- CN
- China
- Prior art keywords
- feature
- face
- model
- layer
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000006872 improvement Effects 0.000 title claims abstract description 11
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000011068 loading method Methods 0.000 claims abstract description 7
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 238000005520 cutting process Methods 0.000 claims abstract description 3
- 230000009466 transformation Effects 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 24
- 230000004927 fusion Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000013138 pruning Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 238000012512 characterization method Methods 0.000 abstract 2
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 108010003272 Hyaluronate lyase Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
发明公开一种基于特征模型改进的轻量化人脸识别方法，包括如下步骤：S1、采用带人脸标签的数据集训练图像数据，S2、改进Yolov5深度学习网络先进行Mosaic数据增强输入卷积层，S3、捕获视频流中待识别人脸图像加载人脸检测模型进行检测并裁剪人脸框作对齐变换，S4、处理需要识别的人脸数据，加载facenet特征表征模型转化为128维的脸特征向量，保存于Database.npz文件，S5、处理需要识别人脸的对应名字的标签和对应保存至Database.npz文件的128维特征向量作为输入利用svm分类器来进行特征分类，得到分类模型，S6、将S3得到的人脸图像通过加载facenet特征模型转为128维特征向量保存在Database.npz文件，S7、调用分类模型SVCmodel.pkl文件进行预测，实现人脸识别。能够提高实时检测精度。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于特征模型改进的轻量化人脸识别方法。
技术背景
深度卷积神经网络的目标检测算法由于计算资源需求太大和内存消耗严重使得成本较高，因而会使用一些技术进行参数的锐减，以便适应计算资源的需求。以往大多数模型设计时就采用一些轻量化的思想，例如采用深度可分离卷积、分组卷积等轻量卷积方式，减少卷积过程的计算量，得到轻量化的深度卷积神经网络。然而，虽然网络参数得到大幅度的降低，但目标检测精度也会随着大幅度的降低，最终的效果往往不尽如人意。
发明内容
针对现有技术中存在的问题，本发明提供一种基于特征模型改进的轻量化人脸识别方法，在模型轻量化处理后，用于检测人脸并通过比对特征向量进行人脸识别的方法，能够在完全准确检测人脸的情况下，提高实时检测精度。
本发明采用的技术方案是：一种基于特征模型改进的轻量化人脸识别方法，其特征在于，包括如下步骤：
步骤1：获取含有人脸的待识别图像，制作数据集；
步骤2：改进Yolov5，利用数据集进行训练，生成轻量化人脸检测模型；
步骤3：使用生成的轻量化人脸检测模型对待检测图像进行人脸检测，获取输出的人脸预测框位置进行剪裁人脸框并作对齐变换；
步骤4：调用人脸数据库，加载facenet特征模型转化为128维的脸特征向量，保存于Database.npz文件；
步骤5：提取Database.npz文件中保存的人脸相对应的名称信息和特征向量作为输入，使用svm分类器来进行特征分类，得到分类模型SVCmodel.pkl；
步骤6：将步骤3中剪裁后的人脸图像加载facenet特征模型转为128维特征向量作为分类模型SVCmodel.pkl的输入；
步骤7：调用svm分类器模型SVCmodel.pkl文件，计算分类预测，预测类别概率与预设阈值对比，当高于阈值时且最高时，判断为同一人，否则视为识别不通过。
在上述方案的基础上，作为优选，步骤1中使用labellmg标签工具对采集的图像进行标注制作数据集。
在上述方案的基础上，作为优选，改进Yolov5：人脸图像通过Mosaic数据增强采用切片的方式生成特征通道数为32维的特征图。
在上述方案的基础上，作为优选，网络框架采用五层相同的卷积层，首先将32维的特征图输入CSP模块包中，CSP模块包含3个CBL-X模块，先将特征图映射划均等的分为两部分，第一部分使用卷积核大小为1×1，步长为1和3×3，步长为1，得到16维的特征提取图，第二部分使用卷积核大小为1×1，步长为1，得到16维的特征提取图。，每进行一次卷积操作都连接BN层和激活函数ReLU；再进行融合(恢复channel数)输送到CBL-Y卷积层，CBL-Y模块包含卷积核大小为3×3，步长为2的标准Conv卷积层，得到64维的特征提取图，然后连接BN层和使用激活函数ReLU，依次循环反复得到通道数分别为64、128、256、512、1024维的不同特征大小的特征提取图。
在上述方案的基础上，作为优选，在CBL-Y卷积层模块中添加通道和空间注意力机制，
获取输入进来的特征提取图层，的对每一层的特征点取最大值和平均值，将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，然后各取一个sigmoid，获得了输入特征层每一个特征点的权值(0-1之间)，在获得这个权值后，我们将这个权值分别乘上原输入特征特征提取图层，
进行通道和空间上的最大和平均池化操作，其中最大和平均池化的σ(sigmoid)因子：
σ(sigmoid)＝1/(1+e-(Avg+Max)) (1)
σ(sigmoid)＝1/(1+e-(Min+Max)) (2)
其中，公式(1)中Avg与Max分别表示通道特征图的平均值和最大最，公式(2)中的Min与Max分别表示空间特征图的最小值和最大值。
在上述方案的基础上，作为优选，对第五层输出的特征提取图进行采样处理，使用RFE模块代替常规的SPP，RFE使用0×0，1×1，3×3，9×9四个分支不同速率的扩张卷积以捕获多尺度信息和不同范围的依赖，增加特征图的感受野，从而提高多尺度目标的准确率，
在特征融合层部分，采用多尺度FPN模块，将RFE模块输出的上采样特征图和五层卷积层输出的特征图做融合处理，作为一方面，不做任何处理的卷积的特征输出，作为另一方面，特征图的尺寸大小是一致的，再将二者项融合处理，融合对输入卷积层的两个不同大小的特征图，实现自上而下与自下而上的深浅层特征双向融合，降低了局部特征信息的丢失率，
经过特征融合处理，最终得到三种尺寸为20×20×18、40×40×18、80×80×18的预测特征图，完成yolov5模型的改进。
在上述方案的基础上，作为优选，对改进后yolov5模型进行轻量化处理：
通过剪枝优化的方式对卷积层进行结构化通道剪枝稀疏正则化，输入的特征层在BN层先经过归一化处理，对自学习参数γ施加一个L1正则化，得到稀疏分布的数组值，
评估通道缩放因子以自动识别不重要的通道所对应的卷积核将其去除，将训练结果进行推理，最终生成用于检测人脸的轻量化人脸检测模型。
在上述方案的基础上，作为优选，待检测图像经过轻量化人脸检测模型输出不同大小的人脸预测框，采用Repulsion Loss损失函数选取置信度最高的人脸预测框，，以此过滤遮挡人脸带来的损失问题，
引入Repulsion Loss损失计算，其中Repulsion Loss损失函数如公式(3)，排除损失如公式(4)所示：
其中，p是人脸预测框，是与最大的ground truth人脸的IoU，σ∈[0,1)是一个平滑参数，用于调整灵敏度对异常值的排斥损失，提升降低人脸遮挡的问题。
与现有技术相比，本发明的有益效果是：
能够在完全准确检测人脸的情况下，提高实时检测精度，相比于改进前Yolov5网络，精确度结果相较于原始神经网络提升了6.1％。
附图说明
图1是CSP模块与CBL-Y模块内部卷积核运算处理流程；
图2是融合不同尺寸大小的特征图层的FPN模块构建图；
图3是改进yolov5后的深度学习网络模型框架图；
图4是未改进与改进后模型进行人脸识别的实测效果图；
图5是基于特征依存的轻量化人脸识别步骤流程图；
图6是本发明原Yolov5深度学习网络人脸检测精确度效果；
图7是改进后Yolov5深度学习网络人脸检测精确度效果，经过相同轮次训练后改进的深度学习网络精确度结果相较于原始神经网络提升了6.1％。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1-5所示，1.json文件格式转换生成txt文本形式并将数据放在对应对位置。将图像分为验证集和训练集，为之后的迭代训练做准备。
2.Yolov5深度学习网络进行改进其实现的具体方式是：
原先的深度学习网络，使用五层特征提取层，每一层使用卷积核的大小为1×1，步长为1和3×3，步长为2，提取图像中的特征，这种方式很大程度上损失一部分的特征信息。
改进后的人脸特征提取采用了五层相同的卷积层。人脸图像将过Mosaic数据增强采用切片的方式生成特征通道数为32维的特征图。
在32维的特征图输入CSP模块包中，CSP模块含3个CBL-X模块，先将特征图映射划均等的分为两部分，第一部分使用卷积核大小为1×1，步长为1和3×3，步长为1，得到16维的特征提取图。第二部分使用卷积核大小为1×1，步长为1，得到16维的特征提取图。每进行一次卷积操作都连接BN层和激活函数ReLU；再进行融合(恢复channel数)输送到CBL-Y卷积层。
将32维的特征提取图输入到CBL-Y模块，CBL-Y模块包含卷积核大小为3×3，步长为2的标准Conv卷积层，得到64维的特征提取图，然后连接BN层和使用激活函数ReLU。依次循环往复得到通道数分别为64、128、256、512、1024维的不同特征大小的特征提取图。
在CBL-Y卷积层模块中添加通道和空间注意力机制，获取输入进来的特征提取图层，对每一层的特征点取最大值和平均值。之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，然后各取取一个sigmoid，此时我们获得了输入特征层每一个特征点的权值(0-1之间)。在获得这个权值后，我们将这个权值分别乘上原输入特征层。
进行通道和空间上的最大和平均池化操作，其中最大和平均池化的σ(sigmoid)因子：
σ(sigmoid)＝1/(1+e-(Avg+Max)) (1)
σ(sigmoid)＝1/(1+e-(Min+Max)) (2)
其中，公式(1)中Avg与Max分别表示通道特征图的平均值和最大最，公式(2)中的Min与Max分别表示空间特征图的最小值和最大值。
通过引入注意力机制，相比原先的特征框架能够在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，甚至过滤掉无关信息，就可以解决信息过载问题，并提高任务处理的效率和准确性。
获得1024维的特征提取图，进行SPP多尺度的融合，SPP采用1×1、5×5、9×9、13×13的最大池化的方式，进行多尺度融合。
在特征提取层之后为更好的融合人脸特征，使用RFE模块代替SPP，RFE使用了0×0，1×1，3×3，9×9等四个分支不同速率的扩张卷积以捕获多尺度信息和不同范围的依赖，增加特征图的感受野，从而提高多尺度目标的准确率。
在特征融合层部分，原先的特征融合方式单纯将两个不同维度的卷积层将进行卷积运算，很大程度上损失了一部分特征信息。
采用多尺度FPN模块与原先不同，特征局部视野处理后的上采样特征图和卷积网络输出的特征图做融合处理，作为一方面。不做任何处理的卷积的特征输出作为另一方面，特征图的尺寸大小是一致的，再将二者项融合处理，融合对输入卷积层的两个不同大小的特征图，实现自上而下与自下而上的深浅层特征双向融合，降低了局部特征信息的丢失率。
经过特征融合后，最终得到三种尺寸为20×20×18、40×40×18、80×80×18的预测特征图，yolov5改进完成，进行训练相应的模型文件。
3.人脸检测模型进行轻量化处理
训练得出的模型参数高达几百万之多，而嵌入式设备的基础计算资源往往不足，无法支撑庞大的参数运行，因此需要进行轻量化的处理，以便于嵌入式设备能够加载。
通过剪枝优化的方式对卷积层进行结构化通道剪枝稀疏正则化。输入的特征层在BN层先经过归一化处理，对自学习参数γ施加一个L1正则化，得到稀疏分布的数组值。
评估通道缩放因子以自动识别不重要的通道所对应的卷积核将其去除,将训练结果进行推理，最终生成用于检测人脸的轻量化人脸检测模型。
4.进行人脸检测
在输出端，采用Repulsion Loss损失函数选取最优的人脸预测框，以此过滤遮挡人脸带来的损失问题。
引入Repulsion Loss损失计算，其中Repulsion Loss损失函数如公式(3)，排除损失如公式(4)所示：
其中，p是人脸预测框，是与最大的ground truth人脸的IoU，σ∈[0,1)是一个平滑参数，用于调整灵敏度对异常值的排斥损失，提升人脸遮挡的效率。
加载轻量化的人脸检测模型从图像中截取待识别人脸。
5.待识别人脸数据特征处理
获取待识别人脸确认并在模型推理阶段获取bbox位置数值(即四个标签点位(aa，bb，cc，dd))和检测框信息文件,根据获取信息进行目标截取分类作为数据库。
对已知人脸数据库(官方facenet)进行处理，分为测试集和验证集，进行归一化和校准操作，加载官方facenet特征模型转化为128维的脸特征向量，保存于Database.npz文件。
官方facenet模型使用moblienetv2网络训练，通常的Bottleneck是先经过一个1×1的Conv layer，把特征图的通道数“压”下来，再经过3×3Conv layer，最后经过一个1×1的Conv layer，将特征图的通道数再“扩张”回去。即先“压缩”，最后“扩张”回去。然后实际使用时候我们把倒数第二层的128个输出值作为特征向量，并去除softmax部分。moblienetv2网络框架如下表1.1所示。
表1.1 moblienetv2网络框架
其中t是扩展因子、c是输出特征矩阵深度channel、n是bottleneck的重复次数,bottleneck这里指倒残差结构、s是步距。
将得到每个人对应的128为特征向量和名称标签，用以特征映射的方式训练SVM分类，经线性核函数映射转换后，在高维空间中变成线性可分的数据，从而可以构造出最优分类超平面实现不同人脸所对应的数据分割。
6.特征对比进行人脸识别
将检测得到的人脸图像输入facenet官方模型进行128为的特征数据转化，在返回给训练好的SVM模型中预测。
预测计算输出人脸对于每一个已知人的概率，当置信度高于阈值时且最高时，判断为该同一人，通过上述方式实现人脸识别功能。
上述实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所做的等效变换或修饰，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于特征模型改进的轻量化人脸识别方法，其特征在于，包括如下步骤：
步骤1：获取含有人脸的待识别图像，制作数据集；
步骤2：改进Yolov5，利用数据集进行训练，生成轻量化人脸检测模型；
步骤3：使用生成的轻量化人脸检测模型对待检测图像进行人脸检测，获取输出的人脸预测框位置进行剪裁人脸框并作对齐变换；
步骤4：调用人脸数据库，加载facenet特征模型转化为128维的脸特征向量，保存于Database.npz文件；
步骤5：提取Database.npz文件中保存的人脸相对应的名称信息和特征向量作为输入，使用svm分类器来进行特征分类，得到分类模型SVCmodel.pkl；
步骤6：将步骤3中剪裁后的人脸图像加载facenet特征模型转为128维特征向量作为分类模型SVCmodel.pkl的输入；
步骤7：调用svm分类器模型SVCmodel.pkl文件，计算分类预测，预测类别概率与预设阈值对比，当高于阈值时且最高时，判断为同一人，否则视为识别不通过。
2.如权利要求1所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，步骤1中使用labellmg标签工具对采集的图像进行标注制作数据集。
3.如权利要求2所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，改进Yolov5：人脸图像通过Mosaic数据增强采用切片的方式生成特征通道数为32维的特征图。
4.如权利要求3所述的这种基于特征模型改进的轻量化人脸识别方法，其特征在于，网络框架采用五层相同的卷积层，首先将32维的特征图输入CSP模块包中，CSP模块包含3个CBL-X模块，先将特征图映射划均等的分为两部分，第一部分使用卷积核大小为1×1，步长为1和3×3，步长为1，得到16维的特征提取图，第二部分使用卷积核大小为1×1，步长为1，得到16维的特征提取图，每进行一次卷积操作都连接BN层和激活函数ReLU；再进行融合(恢复channel数)输送到CBL-Y卷积层，CBL-Y模块包含卷积核大小为3×3，步长为2的标准Conv卷积层，得到64维的特征提取图，然后连接BN层和使用激活函数ReLU，依次循环反复得到通道数分别为64、128、256、512、1024维的不同特征大小的特征提取图。
5.如权利要求4所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，在CBL-Y卷积层模块中添加通道和空间注意力机制，
获取输入进来的特征提取图层，的对每一层的特征点取最大值和平均值，将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，然后各取一个sigmoid，获得了输入特征层每一个特征点的权值(0-1之间)，在获得这个权值后，我们将这个权值分别乘上原输入特征特征提取图层，
进行通道和空间上的最大和平均池化操作，其中最大和平均池化的σ(sigmoid)因子：
σ(sigmoid)＝1/(1+e-(Avg+Max)) (1)
σ(sigmoid)＝1/(1+e-(Min+Max)) (2)
其中，公式(1)中Avg与Max分别表示通道特征图的平均值和最大最，公式(2)中的Min与Max分别表示空间特征图的最小值和最大值。
6.如权利要求5所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，对第五层输出的特征提取图进行采样处理，使用RFE模块代替常规的SPP，RFE使用0×0，1×1，3×3，9×9四个分支不同速率的扩张卷积以捕获多尺度信息和不同范围的依赖，增加特征图的感受野，从而提高多尺度目标的准确率，
在特征融合层部分，采用多尺度FPN模块，将RFE模块输出的上采样特征图和五层卷积层输出的特征图做融合处理，作为一方面，不做任何处理的卷积的特征输出，作为另一方面，特征图的尺寸大小是一致的，再将二者项融合处理，融合对输入卷积层的两个不同大小的特征图，实现自上而下与自下而上的深浅层特征双向融合，降低了局部特征信息的丢失率，
经过特征融合处理，最终得到三种尺寸为20×20×18、40×40×18、80×80×18的预测特征图，完成yolov5模型的改进。
7.如权利要求6所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，对改进后yolov5模型进行轻量化处理：
通过剪枝优化的方式对卷积层进行结构化通道剪枝稀疏正则化，输入的特征层在BN层先经过归一化处理，对自学习参数γ施加一个L1正则化，得到稀疏分布的数组值，
评估通道缩放因子以自动识别不重要的通道所对应的卷积核将其去除，将训练结果进行推理，最终生成用于检测人脸的轻量化人脸检测模型。
8.如权利要求7所述的种基于特征模型改进的轻量化人脸识别方法，其特征在于，待检测图像经过轻量化人脸检测模型输出不同大小的人脸预测框，采用Repulsion Loss损失函数选取置信度最高的人脸预测框，，以此过滤遮挡人脸带来的损失问题，
引入Repulsion Loss损失计算，其中Repulsion Loss损失函数如公式(3)，排除损失如公式(4)所示：
其中，p是人脸预测框，是与最大的ground truth人脸的IoU，σ∈[0,1)是一个平滑参数，用于调整灵敏度对异常值的排斥损失，提升降低人脸遮挡的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310591694.XA CN116758609A (zh) | 2023-05-24 | 2023-05-24 | 一种基于特征模型改进的轻量化人脸识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310591694.XA CN116758609A (zh) | 2023-05-24 | 2023-05-24 | 一种基于特征模型改进的轻量化人脸识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116758609A true CN116758609A (zh) | 2023-09-15 |
Family
ID=87955735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310591694.XA Pending CN116758609A (zh) | 2023-05-24 | 2023-05-24 | 一种基于特征模型改进的轻量化人脸识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758609A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315850A (zh) * | 2023-10-27 | 2023-12-29 | 江苏羲辕健康科技有限公司 | 一种基于人工智能的针剂存取方法及装置 |
| CN117521742A (zh) * | 2023-10-12 | 2024-02-06 | 汕头大学 | 基于深度神经网络模型的轻量化部署图像处理方法 |
-
2023
- 2023-05-24 CN CN202310591694.XA patent/CN116758609A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117521742A (zh) * | 2023-10-12 | 2024-02-06 | 汕头大学 | 基于深度神经网络模型的轻量化部署图像处理方法 |
| CN117521742B (zh) * | 2023-10-12 | 2024-04-30 | 汕头大学 | 基于深度神经网络模型的轻量化部署图像处理方法 |
| CN117315850A (zh) * | 2023-10-27 | 2023-12-29 | 江苏羲辕健康科技有限公司 | 一种基于人工智能的针剂存取方法及装置 |
| CN117315850B (zh) * | 2023-10-27 | 2024-03-19 | 江苏羲辕健康科技有限公司 | 一种基于人工智能的针剂存取方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116758609A (zh) | 一种基于特征模型改进的轻量化人脸识别方法 | |
| CN112270347A (zh) | 一种基于改进ssd的医疗废弃物分类检测方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| CN107451565B (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
| US11216913B2 (en) | Convolutional neural network processor, image processing method and electronic device | |
| CN110782420A (zh) | 一种基于深度学习的小目标特征表示增强方法 | |
| CN110287777B (zh) | 一种自然场景下的金丝猴躯体分割算法 | |
| CN110503149B (zh) | 一种图像中局部特征分类方法及系统 | |
| CN113487576B (zh) | 一种基于通道注意力机制的虫害图像检测方法 | |
| CN114972208B (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| CN112836651B (zh) | 基于动态融合机制的手势图像特征提取方法 | |
| CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN105956570A (zh) | 基于唇部特征和深度学习的笑脸识别方法 | |
| CN111340051A (zh) | 图片处理方法、装置及存储介质 | |
| CN109508640A (zh) | 一种人群情感分析方法、装置和存储介质 | |
| CN114998756A (zh) | 一种基于yolov5的遥感图像检测方法、装置及存储介质 | |
| Ulaganathan et al. | Isolated handwritten Tamil character recognition using convolutional neural networks | |
| CN114492634B (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN116363535A (zh) | 基于卷积神经网络的无人机航拍影像中的船舶检测方法 | |
| DOUTOUM et al. | Classification of Guava Leaf Disease using Deep Learning | |
| CN112560824B (zh) | 一种基于多特征自适应融合的人脸表情识别方法 | |
| CN117671235A (zh) | 一种基于YOLOv5的轻量化紫外图像目标检测方法及系统 | |
| Hu et al. | Automatic detection of pecan fruits based on Faster RCNN with FPN in orchard | |
| CN114241348A (zh) | 基于多模块卷积神经网络的异常行为识别方法及装置 | |
| Gardie et al. | Image-based Tomato Disease Identification Using Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |