CN115131843A - 一种基于图像分割的检测脸部遮挡的方法 - Google Patents
一种基于图像分割的检测脸部遮挡的方法 Download PDFInfo
- Publication number
- CN115131843A CN115131843A CN202110312609.2A CN202110312609A CN115131843A CN 115131843 A CN115131843 A CN 115131843A CN 202110312609 A CN202110312609 A CN 202110312609A CN 115131843 A CN115131843 A CN 115131843A
- Authority
- CN
- China
- Prior art keywords
- face
- occlusion
- image
- picture
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000003709 image segmentation Methods 0.000 title claims description 14
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 5
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 230000000903 blocking effect Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 230000001815 facial effect Effects 0.000 claims 8
- 210000001331 nose Anatomy 0.000 abstract description 14
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 208000006440 Open Bite Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供人脸识别系统中一种检测人脸遮挡属性的方法。包括对眼睛、脸颊、嘴巴和鼻子的遮挡检测。其方法的主要步骤：S1.合成遮挡数据：S1.1人脸区域划分；S1.2遮挡填充；S1.3生成标签热图；S2.训练遮挡检测模型；S3.处理模型预测结果：S3.1模型输出转换；S3.2计算遮挡比例。本方法简单，支持眼睛、嘴巴、脸颊、鼻子多个部位的遮挡检测。能够检测由自身扭转引起的遮挡和外部物体引起的遮挡。能够计算出各个部位的遮挡比例。
Description
技术领域
本发明涉及智能视频处理技术领域，特别涉及一种基于图像分割的检测脸部遮挡的方法。
背景技术
人脸识别作为成为生物识别中的一个热门技术，在进行人脸识别前，人脸质量评估也是不可或缺的一步。主要分为三个关键部分：人脸姿态评估，人脸遮挡评估，人脸清晰度评估。遮挡可分为自身遮挡和物体遮挡。自身遮挡是由头部扭动，导致脸的部分轮廓不可见。常见的物体遮挡包括口罩、眼镜、围巾等引起的遮挡。通常来说，遮挡检测就是判断人脸是否被自身或其他物体遮挡。
现有的人脸检测方法多是对人脸是否遮挡做一个简单的二分类，即遮挡或不遮挡。即使实现了眼睛嘴巴脸颊多个部位遮挡检测，也面临着准确率低且无法解决自身遮挡的问题，没有实际应用价值。
在一些公共场所，需要在戴口罩的情况下识别出人的身份。这种检测方式无法分辨出是脸颊部分还是眼睛部分遮挡，一概会过滤掉遮挡人脸，从而无法进行识别，这种方式已经不能满足当下市场需求，急需一种更加精细且准确的检测方式。
此外，现有技术中的常用术语如下：
卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一，广泛应用于视觉图像识别领域。
图像语义分割(Semantic Segmentation)是图像处理和是机器视觉技术中关于图像理解的重要一环，也是人工智能领域中一个重要的分支。语义分割即是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、人或车等)，从而进行区域划分。
全卷积网络(Fully Convolutional Networks，FCN)是Jonathan Long提出的一种图像分割技术。FCN对图像进行像素级的分类，从而解决了语义级别的图像分割问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类不同，FCN可以接受任意尺寸的输入图像，对最后一个卷积层的特征图上的每个像素都产生了一个预测,同时保留了原始输入图像中的空间信息,最后在特征图上进行逐像素分类。
发明内容
本申请解决了现有的人脸遮挡检测技术准确率低，不能同时分辨出人脸各个部位的遮挡情况的问题。
具体地，本发明提供一种基于图像分割的检测脸部遮挡的方法，所述方法包括以下步骤：
S1，合成遮挡数据：
S1.1，人脸区域划分：对人脸划分成不同的区域，设置72个人脸关键点对人脸进行区域划分；
S1.2，遮挡物体填充：通过对步骤S1.1中划分的区域随机填充背景，从而达到遮挡的目的；
S1.3，生成标签热图：在训练神经网络时需要提供与图片对应的标签数据，把固定长度的特征向量标签转化为热图；
S2，训练遮挡检测模型：
搭建全卷积神经网络，并利用步骤S1生成的数据和标签训练模型，模型的输入是48x48x3的彩色图片，模型的输出是48x48x7特征图；
S3,处理模型预测结果：
S3.1模型输出转换：
模型输出看作是48x48个像素组成的图片，每个像素由7个值组成，分别表示是背景、左眼、右眼、鼻子、嘴巴、左脸、右脸的概率，记为P＝{p0,p1,p2,p3,p4,p5,p6}，P中元素最大值所对应的索引即为此像素的类别；依次求得这48x48个像素的所属类别，可把模型输出转化48x48x1的类别分布热图；
S3.2计算遮挡比例：
经大数据统计，48x48像素下，左眼、右眼、鼻子、左脸、右脸、嘴巴占的像素个数分别为S＝{50,50,25，200，200，150}，计算S3.1中类别分布热图中各个部位所占的像素个数N＝{n1,n2,n3,n4,n5,n6}，则各个部位所占的比例为：R＝clip(S/N,0,1)，其中clip对结果做0-1截断。
所述步骤S1.1中将对人脸的左眼、右眼、鼻子、左脸、右脸、嘴巴进行遮挡检测，共6个部位。
所述步骤S1.1中，各个区域由以下关键点确定：
(1)左眼，关键点[0,1,40,47,26,25,24,23,22,0]依次围起来的区域；
(2)右眼，关键点[12,11,55,56,39,40,41,42,43,12]依次围起来的区域；
(3)鼻子，关键点[47,48,49,50,53,54,55,56,47]依次围起来的区域；
(4)左脸，关键点[1,2,3,4,58,50,49,48,1]依次围起来的区域；
(5)右脸，关键点[11,10,9,8,62,53,54,55,11]依次围起来的区域；
(6)嘴巴，关键点[4,58,50,53,62,8,7,6,5,4]依次围起来的区域。
所述步骤S1.2中，由于现实中很难获取到各个部位分别的数据，这里使用人工合成的遮挡数据。
所述步骤S1.2中，生成方法如下：
(1)选定一张人脸图片和一张背景图片，大小均为48x48，随机生成一组标签，用0表示需要遮挡，1表示不遮挡；
(2)根据标签，利用人脸关键点生成掩码图像mask，对掩码图像取反得到mask_inv；
(3)mask图与背景图做与运算得到bg，mask_inv与人脸图片做与运算得到图像img；把bg与img相加就得到了遮挡图片。
由此，本申请的优势在于：本方法简单，支持眼睛、嘴巴、脸颊、鼻子多个部位的遮挡检测。能够检测由自身扭转引起的遮挡和外部物体引起的遮挡。能够计算出各个部位的遮挡比例。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1本发明的方法流程图。
图2是本人脸关键点示意图。
图3是掩码图。
图4是遮挡图像合成的示意图。
图5(a)是无遮挡显示图及预测结果各个部位的热图。
图5(b)是眼睛不遮挡显示图及预测结果各个部位的热图。
图5(c)是左眼和左脸部分遮挡显示图及预测结果各个部位的热图。
图5(d)是右眼和右脸部分遮挡显示图及预测结果各个部位的热图。
图5(e)是眼睛遮挡显示图及预测结果各个部位的热图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点，现结合附图对本发明进行进一步的详细说明。
如图1所示，本发明涉及人脸识别系统中一种检测人脸遮挡属性的方法。包括对眼睛、脸颊、嘴巴和鼻子的遮挡检测。其方法的主要步骤：
S1.合成遮挡数据
S1.1人脸区域划分
S1.2遮挡填充
S1.3生成标签热图
S2.训练遮挡检测模型
S3.处理模型预测结果
S3.1模型输出转换
S3.2计算遮挡比例
具体地，本发明的实施例方法的具体步骤如下描述：
步骤1.合成遮挡数据
1.1人脸区域划分
为了能够精细化地判断人脸的哪些部位遮挡，需要对人脸划分成不同的区域。本专利将对人脸的左眼、右眼、鼻子、左脸、右脸、嘴巴(含下巴)进行遮挡检测，共个部位。利用72个人脸关键点，如附图2，可以很方便地对人脸进行区域划分。各个区域由以下关键点确定：
(1)左眼，关键点[0,1,40,47,26,25,24,23,22,0]依次围起来的区域
(2)右眼，关键点[12,11,55,56,39,40,41,42,43,12]依次围起来的区域
(3)鼻子，关键点[47,48,49,50,53,54,55,56,47]依次围起来的区域
(4)左脸，关键点[1,2,3,4,58,50,49,48,1]依次围起来的区域
(5)右脸，关键点[11,10,9,8,62,53,54,55,11]依次围起来的区域
(6)嘴巴，关键点[4,58,50,53,62,8,7,6,5,4]依次围起来的区域
1.2遮挡物体填充由于现实中很难获取到各个部位分别的数据，这里使用人工合成的遮挡数据。通过对上述中划分的区域随机填充背景，从而达到遮挡的目的。生成方法如下：
(1)选定一张人脸图片和一张背景图片，大小均为48x48。随机生成一组标签，如(0，1，1，0，0，1)，用0表示需要遮挡，1表示不遮挡，那么这组标签的含义就是左眼遮挡，右眼不遮挡，鼻子不遮挡，左脸遮挡，右脸遮挡，嘴巴不遮挡。
(2)根据标签，利用人脸关键点生成掩码图像mask，对掩码图像取反得到mask_inv，如附图3。
(3)mask图与背景图做与运算得到bg，mask_inv与人脸图片做与运算得到图像img。把bg与img相加就得到了遮挡图片。如附图4。
1.3生成标签热图
在训练神经网络时需要提供与图片对应的标签数据。由于FCN是对图像进行像素级的分类，需要把固定长度的特征向量标签如上述随机生成的标签(0，1，1，0，0，1)转化为热图。首先对人脸的各个部位分类，左眼、右眼、鼻子、左脸、右脸、嘴巴的分类标号为1-6。根据人脸关键点构造一张与人脸图片大小相同的黑色图片，对这些部位填充相应的数字，背景或遮挡部位填充0。
步骤2.训练遮挡检测模型
搭建FCN全卷积神经网络，并利用步骤1生成的数据和标签训练模型，模型的输入是48x48x3的彩色图片，模型的输出是48x48x7特征图。
步骤3.处理模型预测结果
3.1模型输出转换
模型输出可以看做是48x48个像素组成的图片，每个像素由7个值组成，分别表示是背景、左眼、右眼、鼻子、嘴巴、左脸、右脸的概率，记为P＝{p0,p1,p2,p3,p4,p5,p6}。P中元素最大值所对应的索引即为此像素的类别。依次求得这48x48个像素的所属类别，可把模型输出转化48x48x1的类别分布热图。如附图5(a)-图5(e)。
3.2计算遮挡比例
经大数据统计，48x48像素下，左眼、右眼、鼻子、左脸、右脸、嘴巴(含下巴)占的像素个数分别为S＝{50,50,25，200，200，150}。计算3.1中类别分布热图中各个部位所占的像素个数N＝{n1,n2,n3,n4,n5,n6}，则各个部位所占的比例为：R＝clip(S/N,0,1)，其中clip对结果做0-1截断。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述方法包括以下步骤：
S1，合成遮挡数据：
S1.1，人脸区域划分：对人脸划分成不同的区域，设置72个人脸关键点对人脸进行区域划分；
S1.2，遮挡物体填充：通过对步骤S1.1中划分的区域随机填充背景，从而达到遮挡的目的；
S1.3，生成标签热图：在训练神经网络时需要提供与图片对应的标签数据，把固定长度的特征向量标签转化为热图；
S2，训练遮挡检测模型：
搭建全卷积神经网络，并利用步骤S1生成的数据和标签训练模型，模型的输入是48x48x3的彩色图片，模型的输出是48x48x7特征图；
S3,处理模型预测结果：
S3.1模型输出转换：
模型输出看作是48x48个像素组成的图片，每个像素由7个值组成，分别表示是背景、左眼、右眼、鼻子、嘴巴、左脸、右脸的概率，记为P＝{p0,p1,p2,p3,p4,p5,p6}，P中元素最大值所对应的索引即为此像素的类别；依次求得这48x48个像素的所属类别，可把模型输出转化48x48x1的类别分布热图；
S3.2计算遮挡比例：
经大数据统计，48x48像素下，左眼、右眼、鼻子、左脸、右脸、嘴巴占的像素个数分别为S＝{50,50,25，200，200，150}，计算S3.1中类别分布热图中各个部位所占的像素个数N＝{n1,n2,n3,n4,n5,n6}，则各个部位所占的比例为：
R＝clip(S/N,0,1)，其中clip对结果做0-1截断。
2.根据权利要求1所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述步骤S1.1中将对人脸的左眼、右眼、鼻子、左脸、右脸、嘴巴进行遮挡检测，共6个部位。
3.根据权利要求2所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述步骤S1.1中，各个区域由以下关键点确定：
(1)左眼，关键点[0,1,40,47,26,25,24,23,22,0]依次围起来的区域；
(2)右眼，关键点[12,11,55,56,39,40,41,42,43,12]依次围起来的区域；
(3)鼻子，关键点[47,48,49,50,53,54,55,56,47]依次围起来的区域；
(4)左脸，关键点[1,2,3,4,58,50,49,48,1]依次围起来的区域；
(5)右脸，关键点[11,10,9,8,62,53,54,55,11]依次围起来的区域；
(6)嘴巴，关键点[4,58,50,53,62,8,7,6,5,4]依次围起来的区域。
4.根据权利要求1所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述步骤S1.2中，由于现实中很难获取到各个部位分别的数据，这里使用人工合成的遮挡数据。
5.根据权利要求4所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述步骤S1.2中，生成方法如下：
(1)选定一张人脸图片和一张背景图片，大小均为48x48，随机生成一组标签，用0表示需要遮挡，1表示不遮挡；
(2)根据标签，利用人脸关键点生成掩码图像mask，对掩码图像取反得到mask_inv；
(3)mask图与背景图做与运算得到bg，mask_inv与人脸图片做与运算得到图像img；把bg与img相加就得到了遮挡图片。
6.根据权利要求5所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述一组标签，如果为(0，1，1，0，0，1)，那么这组标签的含义就是左眼遮挡，右眼不遮挡，鼻子不遮挡，左脸遮挡，右脸遮挡，嘴巴不遮挡。
7.根据权利要求1所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述S1.3中，由于全卷积是对图像进行像素级的分类，需要把固定长度的特征向量标签转化为热图，首先对人脸的各个部位分类，左眼、右眼、鼻子、左脸、右脸、嘴巴的分类标号为1-6；根据人脸关键点构造一张与人脸图片大小相同的黑色图片，对这些部位填充相应的数字，背景或遮挡部位填充0。
8.根据权利要求1所述的一种基于图像分割的检测脸部遮挡的方法，其特征在于，所述嘴巴包含下巴部分。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110312609.2A CN115131843B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图像分割的检测脸部遮挡的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110312609.2A CN115131843B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图像分割的检测脸部遮挡的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115131843A true CN115131843A (zh) | 2022-09-30 |
| CN115131843B CN115131843B (zh) | 2024-05-07 |
Family
ID=83374241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110312609.2A Active CN115131843B (zh) | 2021-03-24 | 2021-03-24 | 一种基于图像分割的检测脸部遮挡的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131843B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170083752A1 (en) * | 2015-09-18 | 2017-03-23 | Yahoo! Inc. | Face detection |
| CN108805040A (zh) * | 2018-05-24 | 2018-11-13 | 复旦大学 | 一种基于分块的有遮挡人脸识别算法 |
| CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法及系统 |
| CN112016464A (zh) * | 2020-08-28 | 2020-12-01 | 中移（杭州）信息技术有限公司 | 检测人脸遮挡的方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-24 CN CN202110312609.2A patent/CN115131843B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170083752A1 (en) * | 2015-09-18 | 2017-03-23 | Yahoo! Inc. | Face detection |
| CN108805040A (zh) * | 2018-05-24 | 2018-11-13 | 复旦大学 | 一种基于分块的有遮挡人脸识别算法 |
| CN111191616A (zh) * | 2020-01-02 | 2020-05-22 | 广州织点智能科技有限公司 | 一种人脸遮挡检测方法、装置、设备及存储介质 |
| CN111428581A (zh) * | 2020-03-05 | 2020-07-17 | 平安科技（深圳）有限公司 | 人脸遮挡检测方法及系统 |
| CN112016464A (zh) * | 2020-08-28 | 2020-12-01 | 中移（杭州）信息技术有限公司 | 检测人脸遮挡的方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115131843B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229519B (zh) | 图像分类的方法、装置及系统 | |
| CN112766160A (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN113807276B (zh) | 基于优化的YOLOv4模型的吸烟行为识别方法 | |
| CN111597920B (zh) | 一种自然场景下的全卷积单阶段的人体实例分割方法 | |
| CN112257526B (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
| CN111563417A (zh) | 一种基于金字塔结构卷积神经网络的人脸表情识别方法 | |
| CN110517306A (zh) | 一种基于深度学习的双目深度视觉估计的方法和系统 | |
| CN112487981A (zh) | 基于双路分割的ma-yolo动态手势快速识别方法 | |
| CN113222973A (zh) | 图像处理方法及装置、处理器、电子设备及存储介质 | |
| WO2023279799A1 (zh) | 对象识别方法、装置和电子系统 | |
| WO2022267653A1 (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
| CN115116137A (zh) | 基于轻量化YOLO v5网络模型与时空记忆机制的行人检测方法 | |
| US20240161461A1 (en) | Object detection method, object detection apparatus, and object detection system | |
| CN109508668A (zh) | 一种镜头类型信息识别方法及装置 | |
| CN112686314B (zh) | 基于远距离拍摄场景的目标检测方法、装置及存储介质 | |
| CN113903063A (zh) | 基于深度时空网络决策融合的人脸表情识别方法及系统 | |
| CN116824641B (zh) | 姿态分类方法、装置、设备和计算机存储介质 | |
| CN112232205B (zh) | 移动端cpu实时多功能人脸检测方法 | |
| Le et al. | Facial detection in low light environments using OpenCV | |
| CN114529979A (zh) | 人体姿势辨识系统、人体姿势辨识方法以及非暂态计算机可读取储存媒体 | |
| CN115131843B (zh) | 一种基于图像分割的检测脸部遮挡的方法 | |
| CN111080754A (zh) | 一种头部肢体特征点连线的人物动画制作方法及装置 | |
| CN115909400A (zh) | 一种用于低分辨率监控场景中使用手机行为的识别方法 | |
| CN113255514A (zh) | 基于局部场景感知图卷积网络的行为识别方法 | |
| CN113205152A (zh) | 一种环视融合的特征融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |