CN112052772A - 一种人脸遮挡检测算法 - Google Patents

一种人脸遮挡检测算法 Download PDF

Info

Publication number
CN112052772A
CN112052772A CN202010899963.5A CN202010899963A CN112052772A CN 112052772 A CN112052772 A CN 112052772A CN 202010899963 A CN202010899963 A CN 202010899963A CN 112052772 A CN112052772 A CN 112052772A
Authority
CN
China
Prior art keywords
face
training
model
convolutional neural
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010899963.5A
Other languages
English (en)
Inventor
陈大添
黄招东
孙高海
陈炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Jieyu Computer Technology Co ltd
Original Assignee
Fujian Jieyu Computer Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Jieyu Computer Technology Co ltd filed Critical Fujian Jieyu Computer Technology Co ltd
Priority to CN202010899963.5A priority Critical patent/CN112052772A/zh
Publication of CN112052772A publication Critical patent/CN112052772A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明涉及一种人脸遮挡检测算法，包括以下步骤：人脸图像预处理，将收集的复数张人脸图像根据人脸位置信息和人脸关键点坐标进行图像切割，得到复数张人脸五官图像作为基础数据集；数据增广，对所述基础数据集进行数据增广；数据标注与划分，对不同类别增广后的图像分类标注，将标注后的数据作为训练样本，包括训练集、验证集和测试集；搭建卷积神经网络模型；设置超参数，训练卷积神经网络模型，确定超参数，配置训练集模拟训练，使用验证集测试模型，观察模型准确率是否明显浮动，若准确率浮动明显，则返回设置超参数，否则作为人脸遮挡检测模型输出；测试模型，验证准确率，使用测试集确定模型准确率，评估最优超参数训练模型的泛化能力。

Description

一种人脸遮挡检测算法
技术领域
本发明涉及一种人脸遮挡检测算法，属于人脸识别领域。
背景技术
目前，人脸遮挡检测大部分是通过特征提取算法提取图像特征，再使用分类器对特征进行分类。传统的方法是利用SIFT(Scale-invariant Feature Transform,尺度不变特征变换)和HOG(Histogram of Oriented Gradient,方向梯度直方图)等特征提取算法，提取特征再经过不同的特征处理，然后使用支持向量机等分类器进行训练得到分类器模型。
近年来，深层神经网络的兴起，提供了另外一种解决方案。其中卷积神经网络就适用于图像识别与分类。通过构建卷积神经网络，训练大量完整人脸数据，学习权重参数，提取图像特征，直接输出分类结果。
传统的人脸遮挡检测采用整张人脸图像作为输入数据，需要卷积神经网络的训练需要大量的数据学习五官位置和五官遮挡信息达到准确率，准确率低、训练数据多，因此，本发明提供一种人脸遮挡检测算法用于解决上述问题。
发明内容
为了解决上述技术问题，本发明提供一种人脸遮挡检测算法，其具有准确率高、模型拟合训练数据少的特点。
本发明技术方案如下：一种人脸遮挡检测算法，包括以下步骤：人脸图像预处理，收集复数张人脸图像，遍历所有人脸图像，并根据人脸位置信息和人脸关键点坐标对每张人脸图像进行图像切割处理，得到复数张人脸五官的图像作为基础数据集；数据增广，对所述基础数据集中的人脸图像进行数据增广，得到增广后的图像，数据增广的方式包括亮度调整、旋转图像角度和镜像处理；数据标注与划分，对所述增广后的图像进行分类，包括遮挡、眼睛、嘴巴和鼻子，对不同类别的所述增广后的图像进行标注，将标注后的数据作为训练样本，包括训练集、验证集和测试集；搭建卷积神经网络模型，卷积神经网络包括输入层、隐藏层和输出层，通过训练样本对卷积神经网络进行训练，输出卷积神经网络模型；设置超参数，训练卷积神经网络模型，所述超参数的设置包括初始学习率、单批次训练数据大小和训练数据迭代次数，确定超参数，配置训练集数据模拟训练，使用验证集测试模型准确率，观察模型准确率是否有明显浮动和验证模型泛化能力，若准确率浮动明显，则返回设置超参数、调整学习率、单次训练批次大小和训练数据迭代次数，否则输出结果作为人脸遮挡检测模型；测试模型，验证准确率，使用测试集确定模型准确率，评估最优超参数训练模型的泛化能力；获取待识别的人脸五官信息，利用训练好的人脸遮挡检测模型进行人脸遮挡检测。
具体的，所述卷积神经网络是通过网络堆叠的方式提取图像特征，包括浅层网络和深层网络，所述浅层网络提取边缘、纹理和颜色特征，深层网络提取具体的轮廓和结构特征。
具体的，所述卷积神经网络权重共享，卷积神经网络在进行卷积核与特征图计算时，通过滑窗方式与特征图的不同部位进行计算，计算过程共用权值。
具体的，所述卷积神经网络的图像数据可分割为不同区域子图，不同区域子图存在相同的特征，可以使用同一组权重参数检测。
具体的，通过Dlib人脸检测算法获取人脸五官信息。
具体的，通过调用所述Dlib人脸检测算法函数，得出所述人脸关键点信息左眼区域是以点36和点39的距离为宽的正方形，右眼区域是以点42和点45的距离为宽的正方形，鼻子区域是以点28和点33的距离为框的正方形，嘴巴区域是以点48和点54为宽的正方形。
具体的，所述权重参数通过卷积神经网络在训练过程中利用损失函数进行反向传播更新，卷积神经网络提取特征向量，所述损失函数是通过softmax函数计算所述特征向量的标签与增广后图像的标注标签交叉熵得到的。
具体的，所述卷积神经网络的隐藏层可替换成mobilenet、vggnet或resnet网络结构。
本发明具有如下有益效果：
1、本发明在人脸遮挡检测前将人脸五官进行分割，识别更具有针对性，降低训练数据，提升识别准确率；
2、本发明使用卷积神经网络提取特征，相对于传统的特征工程进行特征提取，减少了人工特征设计过程，降低人工成本；
3、本发明相比传统采用SIFT和HOG特征提取算法的方法，具有更好的泛化能力；
4、本发明中使用的卷积神经网络具有稀疏连接和权重共享的特性，更适合处理图像数据；
5、本发明中使用的卷积神经网络相较于全连接网络，使用卷积层和池化层替代了全连接层，网络层之间只有部分节点相连接，减少了网络参数，加快网络训练速度，降低过拟合风险。
附图说明
图1为本发明人脸遮挡检测的流程图
图2为本发明人脸关键点示意图
图3为本发明训练卷积神经网络的流程图
图4为本发明卷积神经网络结构的示意图
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
参见图1至图4，一种人脸遮挡检测算法，包括以下步骤：人脸图像预处理，收集复数张人脸图像，遍历所有人脸图像，并根据人脸位置信息和人脸关键点坐标对每张人脸图像进行图像切割处理，得到复数张人脸五官的图像作为基础数据集；数据增广，对所述基础数据集中的人脸图像进行数据增广，得到增广后的图像，数据增广的方式包括亮度调整、旋转图像角度和镜像处理；数据标注与划分，对所述增广后的图像进行分类，包括遮挡、眼睛、嘴巴和鼻子，对不同类别的所述增广后的图像进行标注，将标注后的数据作为训练样本，包括训练集、验证集和测试集；搭建卷积神经网络模型，卷积神经网络包括输入层、隐藏层和输出层，通过训练样本对卷积神经网络进行训练，输出卷积神经网络模型；设置超参数，训练卷积神经网络模型，所述超参数的设置包括初始学习率、单批次训练数据大小和训练数据迭代次数，确定超参数，配置训练集数据模拟训练，使用验证集测试模型准确率，观察模型准确率是否有明显浮动和验证模型泛化能力，若准确率浮动明显，则返回设置超参数、调整学习率、单次训练批次大小和训练数据迭代次数，否则输出结果作为人脸遮挡检测模型；测试模型，验证准确率，使用测试集确定模型准确率，评估最优超参数训练模型的泛化能力；获取待识别的人脸五官信息，利用训练好的人脸遮挡检测模型进行人脸遮挡检测。
进一步的，所述卷积神经网络是通过网络堆叠的方式提取图像特征，包括浅层网络和深层网络，所述浅层网络提取边缘、纹理和颜色特征，深层网络提取具体的轮廓和结构特征。
进一步的，所述卷积神经网络权重共享，卷积神经网络在进行卷积核与特征图计算时，通过滑窗方式与特征图的不同部位进行计算，计算过程共用权值。
进一步的，所述卷积神经网络的图像数据可分割为不同区域子图，不同区域子图存在相同的特征，可以使用同一组权重参数检测。
进一步的，通过Dlib人脸检测算法获取人脸五官信息。
进一步的，通过调用所述Dlib人脸检测算法函数计算得出所述人脸关键点信息左眼区域是以点36和点39的距离为宽的正方形，右眼区域是以点42和点45的距离为宽的正方形，鼻子区域是以点28和点33的距离为框的正方形，嘴巴区域是以点48和点54为宽的正方形。
进一步的，所述权重参数通过卷积神经网络在训练过程中利用损失函数进行反向传播更新，卷积神经网络提取特征向量，所述损失函数是通过softmax函数计算所述特征向量的标签与增广后图像的标注标签交叉熵得到的。
进一步的，所述卷积神经网络的隐藏层可替换成mobilenet、vggnet或resnet网络结构。
进一步的，所述卷积神经网络的具体结构包括INPUT->CONV1->CONV2->MAXPOOL->CONV3->MAXPOOL->CONV4->CONV5->DENSE->OUTPUT，所述INPUT为输入层数据，图像尺寸为48*48*3，所述CONV1为第一层卷积层，尺寸为11*11*96，步长为1，所述CONV2为第二层卷积层，尺寸为5*5*128，步长为1，所述MAXPOOL为最大池化层，步长为2，所述CONV3为第三层卷积层，尺寸为3*3*128，步长为1，所述CONV4为第四层卷积层，尺寸为3*3*64，步长为1，所述CONV5为第五层卷积层，尺寸为3*3*64，步长为1，所述DENSE为稠密层，输出尺寸为4*1*1，所述OUTPUT为输出层，是卷积神经网络提取的特征向量。
进一步的，使用独热编码对不同类别的增广后的图像进行标注，所述DENSE输出一个4*1*1的一维向量，经过softmax函数计算得到每个位置的概率，若得出概率结果为[0.10.1 0.7 0.1]，则最接近的位置为[0 0 1 0]，所述不同类别增广后的图像的独热编码分别为遮挡[1 0 0 0]，眼睛[0 1 0 0]，嘴巴[0 0 1 0]，鼻子[00 0 1]。
进一步的，训练集、验证集和测试集的划分比例为8：1：1。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (8)

1.一种人脸遮挡检测算法，其特征在于，包括以下步骤：
人脸图像预处理，收集复数张人脸图像，遍历所有人脸图像，并根据人脸位置信息和人脸关键点坐标对每张人脸图像进行图像切割处理，得到复数张人脸五官的图像作为基础数据集；
数据增广，对所述基础数据集中的人脸图像进行数据增广，得到增广后的图像，数据增广的方式包括亮度调整、旋转图像角度和镜像处理；
数据标注与划分，对所述增广后的图像进行分类，包括遮挡、眼睛、嘴巴和鼻子，对不同类别的所述增广后的图像进行标注，将标注后的数据作为训练样本，包括训练集、验证集和测试集；
搭建卷积神经网络模型，卷积神经网络包括输入层、隐藏层和输出层，通过训练样本对卷积神经网络进行训练，输出卷积神经网络模型；
设置超参数，训练卷积神经网络模型，所述超参数的设置包括初始学习率、单批次训练数据大小和训练数据迭代次数，确定超参数，配置训练集数据模拟训练，使用验证集测试模型准确率，观察模型准确率是否有明显浮动和验证模型泛化能力，若准确率浮动明显，则返回设置超参数，调整学习率、单次训练批次大小和训练数据迭代次数，否则输出结果作为人脸遮挡检测模型；
测试模型，验证准确率，使用测试集确定模型准确率，评估最优超参数训练模型的泛化能力；
获取待识别的人脸五官信息，利用训练好的人脸遮挡检测模型进行人脸遮挡检测。
2.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：所述卷积神经网络是通过网络堆叠的方式提取图像特征，包括浅层网络和深层网络，所述浅层网络提取边缘、纹理和颜色特征，深层网络提取具体的轮廓和结构特征。
3.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：所述卷积神经网络权重共享，卷积神经网络在进行卷积核与特征图计算时，通过滑窗方式与特征图的不同部位进行计算，计算过程共用权值。
4.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：所述卷积神经网络的图像数据可分割为不同区域子图，不同区域子图存在相同的特征，可以使用同一组权重参数检测。
5.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：通过Dlib人脸检测算法获取人脸五官信息。
6.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：通过调用所述Dlib人脸检测算法函数，得出所述人脸关键点信息左眼区域是以点36和点39的距离为宽的正方形，右眼区域是以点42和点45的距离为宽的正方形，鼻子区域是以点28和点33的距离为框的正方形，嘴巴区域是以点48和点54为宽的正方形。
7.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：所述权重参数通过卷积神经网络在训练过程中利用损失函数进行反向传播更新，卷积神经网络提取特征向量，所述损失函数是通过softmax函数计算所述特征向量的标签与增广后图像的标注标签的交叉熵得到的。
8.根据权利要求1所述的一种人脸遮挡检测算法，其特征在于：所述卷积神经网络的隐藏层可替换成mobilenet、vggnet或resnet网络结构。
CN202010899963.5A 2020-08-31 2020-08-31 一种人脸遮挡检测算法 Pending CN112052772A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010899963.5A CN112052772A (zh) 2020-08-31 2020-08-31 一种人脸遮挡检测算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010899963.5A CN112052772A (zh) 2020-08-31 2020-08-31 一种人脸遮挡检测算法

Publications (1)

Publication Number Publication Date
CN112052772A true CN112052772A (zh) 2020-12-08

Family

ID=73607104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010899963.5A Pending CN112052772A (zh) 2020-08-31 2020-08-31 一种人脸遮挡检测算法

Country Status (1)

Country Link
CN (1) CN112052772A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507989A (zh) * 2021-02-04 2021-03-16 北京远鉴信息技术有限公司 一种面部识别方法、装置、电子设备及可读存储介质
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112699856A (zh) * 2021-03-24 2021-04-23 成都新希望金融信息有限公司 人脸装饰品识别方法、装置、电子设备及存储介质
CN113158939A (zh) * 2021-04-29 2021-07-23 南京甄视智能科技有限公司 人脸遮挡部位的识别方法及系统
CN113269300A (zh) * 2021-04-14 2021-08-17 广州晟烨信息科技股份有限公司 一种人脸采集特征训练方法、系统及存储介质
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备
CN114155573A (zh) * 2021-11-05 2022-03-08 上海弘目智能科技有限公司 基于SE-ResNet网络的人种识别方法、装置及计算机存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112580720A (zh) * 2020-12-18 2021-03-30 华为技术有限公司 一种模型训练方法及装置
CN112507989A (zh) * 2021-02-04 2021-03-16 北京远鉴信息技术有限公司 一种面部识别方法、装置、电子设备及可读存储介质
CN112699856A (zh) * 2021-03-24 2021-04-23 成都新希望金融信息有限公司 人脸装饰品识别方法、装置、电子设备及存储介质
CN113269300A (zh) * 2021-04-14 2021-08-17 广州晟烨信息科技股份有限公司 一种人脸采集特征训练方法、系统及存储介质
CN113158939A (zh) * 2021-04-29 2021-07-23 南京甄视智能科技有限公司 人脸遮挡部位的识别方法及系统
CN113158939B (zh) * 2021-04-29 2022-08-23 南京甄视智能科技有限公司 人脸遮挡部位的识别方法及系统
CN113657462A (zh) * 2021-07-28 2021-11-16 讯飞智元信息科技有限公司 用于训练车辆识别模型的方法、车辆识别方法和计算设备
CN114155573A (zh) * 2021-11-05 2022-03-08 上海弘目智能科技有限公司 基于SE-ResNet网络的人种识别方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN106599797B (zh) 一种基于局部并行神经网络的红外人脸识别方法
CN112052772A (zh) 一种人脸遮挡检测算法
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
CN109409297B (zh) 一种基于双通道卷积神经网络的身份识别方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN104050471B (zh) 一种自然场景文字检测方法及系统
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN110163069B (zh) 用于辅助驾驶的车道线检测方法
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN109446922B (zh) 一种实时鲁棒的人脸检测方法
CN111027377B (zh) 一种双流神经网络时序动作定位方法
CN110728179A (zh) 一种采用多路卷积神经网络的猪脸识别方法
CN106778474A (zh) 3d人体识别方法及设备
CN106023257A (zh) 一种基于旋翼无人机平台的目标跟踪方法
CN103778435A (zh) 一种基于视频的行人快速检测方法
CN110119695A (zh) 一种基于特征融合和机器学习的虹膜活性检测方法
CN112651301A (zh) 一种整合人脸全局和局部特征的表情识别方法
Gurrala et al. A new segmentation method for plant disease diagnosis
CN113221655B (zh) 基于特征空间约束的人脸欺骗检测方法
CN110969101A (zh) 一种基于hog和特征描述子的人脸检测与跟踪方法
CN114299279A (zh) 基于脸部检测和识别的无标记群体恒河猴运动量估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination