CN110287760A - 一种基于深度学习的人脸五官点遮挡检测方法 - Google Patents

一种基于深度学习的人脸五官点遮挡检测方法 Download PDF

Info

Publication number
CN110287760A
CN110287760A CN201910242017.0A CN201910242017A CN110287760A CN 110287760 A CN110287760 A CN 110287760A CN 201910242017 A CN201910242017 A CN 201910242017A CN 110287760 A CN110287760 A CN 110287760A
Authority
CN
China
Prior art keywords
sense
point
face
human face
organ
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910242017.0A
Other languages
English (en)
Inventor
舒畅
李阳
周宁
李晓峰
傅志中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201910242017.0A priority Critical patent/CN110287760A/zh
Publication of CN110287760A publication Critical patent/CN110287760A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的人脸五官关键点遮挡检测算法，属于图像处理领域，其整体步骤为：S1：构建数据集并将数据集划分为训练集和测试集两部分；S2：经过归一化和热力图计算处理提取图像特征；S3：对处理过后的数据集进行数据集扩充；S4：训练基于神经网络的遮挡检测模型预测人脸五官点联合遮挡概率；S5：利用阈值分割求取人脸图像的五官关键点处的遮挡状态。本发明提出一种基于人脸五官定位场景下的人脸五官点遮挡检测的方法，弥补了当前人脸五官定位的方法在五官点遮挡处的信息不足的问题。

Description

一种基于深度学习的人脸五官点遮挡检测方法
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度学习的人脸五官关键点遮挡检测算法。
背景技术
人脸五官定位的目标是为了准确的定位一些五官点。而由于光照遮挡以及大的旋转和偏移等多种因素，导致在自然环境下的人脸五官定位存在很大的挑战性。其背后的原因是五官定位模型缺少大面积遮挡情况下的的五官点的信息来推测出精确的五官点位置，比如图像中人佩戴墨镜，眼睛周围的信息完全缺失。鉴于上述情况，模型需要获取遮挡点处的信息来增强对遮挡情况下五官点位置的预测能力，因而判定五官点处是否被遮挡成为至关重要的环节。
健壮级联回归模型关注人脸在自然环境下有可能被障碍物遮挡，该模型针对每一个五官点都预测每个五官点的横坐标，纵坐标和这个点被遮挡的概率,但这个模型只是对人脸区域人为分了9块，计算每一块被遮挡的概率，因而没有精确到每一个五官点的遮挡情况；去噪自编码器模型中提到可以通过先把人脸遮挡部分恢复之后再进行常规的人脸五官点的位置预测，从根源上解决遮挡问题，但是开销过大，而且自然界中的遮挡各式各样，没有办法通过一个很好的模型来学习到不同遮挡的去除方法，因而模型的适用性不强。
人脸五官定位算法模型定位不准确的一个重要原因是模型缺乏遮挡点处的信息，没有足够的特征来对五官点位置进行预测。而为人脸五官定位模型提供五官点处的遮挡信息能够为模型提供参考，有利于模型进行精准的预测。
发明内容
本发明的目的在于针对现有五官关键点定位算法中的局部遮挡所导致的图像信息不充足的问题，提供一种人脸五官点遮挡检测的方法，其利用人脸图片的全局特征作为神经网络的输入特征，输出人脸五官点遮挡状态的多任务回归模型，从而为人脸五官定位算法提供额外的信息，主要包括以下步骤：
步骤一、数据预处理：读取训练集中人脸图像和人脸五官点位置，并对人脸图像进行白化处理，即减均值除以标准差，计算过程如公式一所示，得到归一化后的人脸图像。
其中Ii表示的是输入人脸图像的第i张图像，μ和σ分表表示的是训练集的均值和标准差，IRi表示的是经过归一化处理之后的第i张图像。
步骤二、热力图计算：利用步骤一中读取到的人脸五官点位置信息计算出热力图作为后续模型的输入特征，热力图作为图像特征能够减少噪声对遮挡检测方法的影响，规避那些除了五官点之外的无用信息，比如脸颊中央不是我们关心的区域，而通过热力图计算的手段能够将脸颊中央的噪声置零，计算过程如公式二：
其中为IRi(x,y)表示的是输入图像在(x,y)处的像素值，Si,j表示的是训练第i个样本的第j个人脸五官点的位置，Hi(x,y)表示的是输出的热力图。
步骤三、数据集扩充：经过不同角度的旋转和水平反转对公开数据集进行数据集扩充，原有数据集中遮挡图像和非遮挡图像样本存在样本不均衡的情况，因而本方法额外添加了受高斯噪声影响的遮挡图像，添加高斯噪声的过程如公式三所示。数据集扩充的具体方法是对非遮挡的人脸图像扩充为原先的8倍，对遮挡的人脸图像扩充为原先的8*(1+1/ro)倍，这里ro表示的是遮挡人脸图像在整个训练集中的占比。
其中μ2和σ2表示的是高斯噪声的均值和标准差，rx,y则是和x,y相关的位置参数。步骤四、构建人脸五官点遮挡检测模型：选用分类模型作为五官点遮挡检测的基模型会导致模型严重的过拟合，因而这里选用回归模型，模型由5个卷积层组和一个全连接层以及一个输出层组成，如图2所示。具体操作过程分为7步，1到5步为卷积操作，第6步为全连接操作，第七步为生成输出向量的操作，而具体操作细节如下，
步骤四-1、首先一个尺寸为(长：32，宽：32，深度：3)的人脸图像作为模型的输入。输入图像经过两组卷积核组的卷积操作得到特征图，每个卷积核组由64个卷积核组成。第一个卷积核组是由64个尺寸为(长：3，宽：3，深度：3)，滑动长度为1的卷积核组成。输入图像经过第一个卷积核组的卷积操作后得到尺寸为(长：30，宽：30，深度：64)的特征图，而其中一个卷积核的卷积操作如图3所示，具体到图像中每一个元素的卷积计算，可以参照图4，这里为了简洁起见，只介绍单通道矩阵经过单通道的卷积核卷积之后的结果。
而将卷积操作尺寸计算过程如公式四所示，
其中I表示的是输入图像长(宽)，K表示的是卷积核的长(宽)，而S是滑动步长的大小，F表示的是输出图像的长(宽)，而这里的I为32，K为3，S为1，因而输出图像的尺寸为30。而输入图像经过64个上述卷积核后得到结果的过程如图5所示。
第二个卷积层组是由64个(长：3，宽：3，深度：64)，滑动长度为1的卷积核组成，其卷积操作与上文类似。
步骤四-2、将步骤四-1得到的输出特征图经过两个卷积层组，第一组由128个(长：3，宽：3，深度：64)，滑动长度为1的卷积核组成，第二组由128个(长：3，宽：3，深度：128)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-3、将步骤四-2得到的输出特征图经过三个卷积层组，第一组由256个(长：3，宽：3，深度：128)，滑动长度为1的卷积核组成，第二组由256个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，第三组由256个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-4、将步骤四-3得到的输出特征图经过三个卷积层组，第一组由512个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，第二组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第三组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-5、将步骤四-4得到的输出特征图经过三个卷积层组，第一组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第二组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第三组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-6、将步骤四-5得到的输出结果经过矩阵相乘得到一个长度为4096的向量，即[d1,d2,...,d4096]。
步骤四-7、将步骤四-6得到的输出结果经过矩阵相乘得到一个长度为68的向量，即[o1,o2,...,o68]，并将这个向量作为模型预测的每个五官点的成为遮挡点的概率。步骤五、阈值分割：对步骤四得到的遮挡概率向量的每一维进行阈值分割，将其转换为相同维度的[0,1]向量，转换公式如公式五所示，0表示的是这个五官关键点被预测为非遮挡点，1预测为这个五官点被预测为遮挡点。
步骤六、方法评测：在上述步骤完成后，将测试集的人脸图像经过白化处理和热力图计算得到图像特征，再经过步骤四中的训练好的模型预测人脸五官点遮挡概率向量，最后通过步骤五中的阈值分割得到人脸五官点遮挡状态，并使用召回率作为评价算法性能的指标，召回率公式如公式六：
本发明的有益效果是：采用深度学习模型，对人脸图像上的每一个五官点进行遮挡状态的预测，从而能够为后续的人脸识别和人脸验证提供相应的置信度信息。
附图说明
图1是本发明提供的人脸五官关键点遮挡检测算法的流程图
图2是五官点遮挡检测模型
图3是一个卷积核的操作过程
图4是一个卷积核的具体计算过程
图5是卷积层操作的总体介绍
图6是白化处理前后的人脸图像的对比图，(a)代表的是原始图片，(b)代表的是归一化后的图片
图7是热力图计算前后的人脸图像对比图，(a)代表的是归一化后图片，(b)代表的是经过人力图计算后的图片
图8是人脸五官关键点遮挡检测算法结果展示图，标定的圆点为预测的非遮挡点，标定的叉点为预测的遮挡点
具体实施方式
下面是结合附图和实施例对本发明作进一步的说明。
本实施例的目的是把一幅人脸图像的每个五官关键点处的遮挡状态预测出来，具体包括以下步骤，大体流程如图1所示：
步骤一、数据预处理：读取训练集中人脸图像和人脸五官点位置，并对人脸图像进行白化处理，即减均值除以标准差，计算过程如公式一所示，得到归一化后的人脸图像，归一化前后的对比图如图6所示。
其中Ii表示的是输入人脸图像的第i张图像，μ和σ分表表示的是训练集的均值和标准差，IRi表示的是经过归一化处理之后的第i张图像。
步骤二、热力图计算：利用步骤一中读取到的人脸五官点位置信息计算出热力图作为后续模型的输入特征，热力图作为图像特征能够减少噪声对遮挡检测方法的影响，规避那些除了五官点之外的无用信息，比如脸颊中央不是我们关心的区域，而通过热力图计算的手段能够将脸颊中央的噪声置零，计算过程如公式二：
其中为IRi(x,y)表示的是输入图像在(x,y)处的像素值，Si,j表示的是训练第i个样本的第j个人脸五官点的位置，Hi(x,y)表示的是输出的热力图，这里的符号表示的是点乘。而图像在热力图处理前后的对比图如图7所示。
步骤三、数据集扩充：经过不同角度的旋转和水平反转对公开数据集进行数据集扩充，原有数据集中遮挡图像和非遮挡图像样本存在样本不均衡的情况，因而本方法额外添加了受高斯噪声影响的遮挡图像，添加高斯噪声的过程如公式三所示。数据集扩充的具体方法是对非遮挡的人脸图像扩充为原先的8倍，对遮挡的人脸图像扩充为原先的8*(1+1/ro)倍，这里ro表示的是遮挡人脸图像在整个训练集中的占比。
其中μ2和σ2表示的是高斯噪声的均值和标准差，rx,y则是和x,y相关的位置参数。步骤四、构建人脸五官点遮挡检测模型：选用分类模型作为五官点遮挡检测的基模型会导致模型严重的过拟合，因而这里选用回归模型，模型由5个卷积层组和一个全连接层以及一个输出层组成的网络模型作为基模型，如图2所示。而图2的操作过程分为七步，一到五步为卷积操作，第六步为全连接操作，第七步为生成输出层的操作，而具体操作细节如下，
步骤四-1、首先一个尺寸为(长：32，宽：32，深度：3)的人脸图像作为模型的输入。输入图像经过两组卷积核组的卷积操作得到特征图，每个卷积核组由64个卷积核组成。第一个卷积核组是由64个尺寸为(长：3，宽：3，深度：3)，滑动长度为1的卷积核组成。输入图像经过第一个卷积核组的卷积操作后得到尺寸为(长：30，宽：30，深度：64)的特征图，而其中一个卷积核的卷积操作如图3所示，具体到图像中每一个元素的卷积计算，可以参照图4，这里为了简洁起见，只介绍单通道矩阵经过单通道的卷积核卷积之后的结果。
而将卷积操作尺寸计算过程如公式四所示，
其中I表示的是输入图像长(宽)，K表示的是卷积核的长(宽)，而S是滑动步长的大小，F表示的是输出图像的长(宽)，而这里的I为32，K为3，S为1，因而输出图像的尺寸为30。而输入图像经过64个上述卷积核后得到结果的过程如图5所示。
第二个卷积层组是由64个(长：3，宽：3，深度：64)，滑动长度为1的卷积核组成，其卷积操作与上文类似。
步骤四-2、将步骤四-1得到的输出特征图经过两个卷积层组，第一组由128个(长：3，宽：3，深度：64)，滑动长度为1的卷积核组成，第二组由128个(长：3，宽：3，深度：128)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-3、将步骤四-2得到的输出特征图经过三个卷积层组，第一组由256个(长：3，宽：3，深度：128)，滑动长度为1的卷积核组成，第二组由256个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，第三组由256个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-4、将步骤四-3得到的输出特征图经过三个卷积层组，第一组由512个(长：3，宽：3，深度：256)，滑动长度为1的卷积核组成，第二组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第三组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-5、将步骤四-4得到的输出特征图经过三个卷积层组，第一组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第二组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，第三组由512个(长：3，宽：3，深度：512)，滑动长度为1的卷积核组成，具体操作过程如步骤四-1中所示。
步骤四-6、将步骤四-5得到的输出结果经过矩阵相乘得到一个长度为4096的向量，即[d1,d2,...,d4096]。
步骤四-7、将步骤四-6得到的输出结果经过矩阵相乘得到一个长度为68的向量，即[o1,o2,...,o68]，并将这个向量作为模型预测的每个五官点的成为遮挡点的概率。步骤五、阈值分割：对步骤四得到的遮挡概率向量的每一维进行阈值分割，将其转换为相同维度的[0,1]向量，转换公式如公式五所示，0表示的是这个五官关键点被预测为非遮挡点，1预测为这个五官点被预测为遮挡点。而五官点遮挡检测方法最终结果如图8所示。
步骤六、方法评测：在上述步骤完成后，将测试集的人脸图像经过白化处理和热力图计算得到图像特征，再经过步骤四中的训练好的模型预测人脸五官点遮挡概率向量，最后通过步骤五中的阈值分割得到人脸五官点遮挡状态，并使用召回率作为评价算法性能的指标，召回率公式如公式六：
本发明的创新点以及关键点如下：
1)人脸五官遮挡检测方法的输入特征是人脸图像根据五官点位置计算得出的热力掩码图，这样的提取特征的方法的好处在于能够规避与任务不相关的噪声的干扰，从而使模型的鲁棒性更强。
2)遮挡检测模型采用的是回归模型，传统的分类模型对于样本不均衡的人脸五官点遮挡检测问题的适用性不好，模型过拟合的问题严重，而采用回归思想能够进一步挖掘模型提取抽象特征的能力，从而解决样本不均衡导致的预测效果不好的问题。且模型采用的是重新训练的VGGNet模型，其卷积层的提取到的特征更加抽象。
上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (4)

1.一种基于深度学习的人脸五官点遮挡检测方法，其特征在于所述方法的整体步骤为：
步骤一、数据预处理：读取训练集中人脸图像和人脸五官点位置，并对人脸图像进行白化处理，得到归一化后的人脸图像；
步骤二、热力图计算：利用步骤一中读取到的人脸五官点位置信息计算出热力图并作为后续模型的输入特征；
步骤三、数据集扩充：经过不同角度的旋转和水平反转操作对公开数据集进行数据集扩充。原有数据集中遮挡图像和非遮挡图像样本存在样本不均衡的情况，因而本方法额外添加了受高斯噪声影响的遮挡图像；
步骤四、构建人脸五官点遮挡检测模型：选用分类模型作为五官点遮挡检测的基模型会导致模型严重的过拟合，因而这里选用回归模型。模型会以一张步骤二得到的热力图作为输入，输出人脸图像中每个五官点位置处成为遮挡点的概率，并将所有概率值保存在一个向量中；
步骤五、阈值分割：对步骤四得到的遮挡概率向量的每一维进行阈值分割，将其转换为相同维度的[0,1]向量，转换公式如公式一所示，0表示的是这个五官关键点被预测为非遮挡点，1预测为这个五官点被预测为遮挡点；
步骤六、方法评测：在上述步骤完成后，将测试集的人脸图像经过白化处理和热力图计算得到图像特征，再经过步骤四中的训练好的模型预测人脸五官点遮挡概率向量，最后通过步骤五中的阈值分割得到人脸五官点遮挡状态，并使用召回率作为评价算法性能的指标，召回率公式如公式二：
2.如权利要求1所述的方法，其特征在于：所述步骤二中热力图作为后续模型的输入特征能够减少噪声对遮挡检测方法的影响，规避那些除了五官点之外的无用信息，比如脸颊中央不是我们关心的区域，而通过热力图计算的手段能够将脸颊中央的噪声置零，计算过程如公式三：
其中为IRi(x,y)表示的是输入图像在(x,y)处的像素值，Si,j表示的是训练第i个样本的第j个人脸五官点的位置，Hi(x,y)表示的是输出的热力图。
3.如权利要求1所述的方法，其特征在于：所述步骤三中数据集扩充的具体方法是对非遮挡的人脸图像扩充为原先的8倍，对遮挡的人脸图像扩充为原先的8*(1+1/ro)倍，这里ro表示的是遮挡人脸图像在整个训练集中的占比。
4.如权利要求1所述的方法，其特征在于：所述步骤四中的五官点遮挡检测算法选用由5个卷积层组和一个全连接层以及一个输出层组成的回归网络模型作为预测模型。
CN201910242017.0A 2019-03-28 2019-03-28 一种基于深度学习的人脸五官点遮挡检测方法 Pending CN110287760A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910242017.0A CN110287760A (zh) 2019-03-28 2019-03-28 一种基于深度学习的人脸五官点遮挡检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910242017.0A CN110287760A (zh) 2019-03-28 2019-03-28 一种基于深度学习的人脸五官点遮挡检测方法

Publications (1)

Publication Number Publication Date
CN110287760A true CN110287760A (zh) 2019-09-27

Family

ID=68001230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910242017.0A Pending CN110287760A (zh) 2019-03-28 2019-03-28 一种基于深度学习的人脸五官点遮挡检测方法

Country Status (1)

Country Link
CN (1) CN110287760A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298225A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种遮挡环境下的人脸五官定位的方法
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN111695495A (zh) * 2020-06-10 2020-09-22 杭州萤石软件有限公司 人脸识别方法、电子设备及存储介质
CN111738092A (zh) * 2020-05-28 2020-10-02 华南理工大学 一种基于深度学习的恢复被遮挡人体姿态序列方法
CN112287802A (zh) * 2020-10-26 2021-01-29 汇纳科技股份有限公司 人脸图像检测方法、系统、存储介质及设备
CN112396600A (zh) * 2020-12-02 2021-02-23 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN113011216A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN113705466A (zh) * 2021-08-30 2021-11-26 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012281152A1 (en) * 2011-07-13 2014-02-06 The Multiple Myeloma Research Foundation, Inc. Methods for data collection and distribution
WO2014200742A1 (en) * 2013-06-12 2014-12-18 3M Innovative Properties Company Presenting results of visual attention modeling
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN106650666A (zh) * 2016-12-26 2017-05-10 北京旷视科技有限公司 活体检测的方法及装置
CN108509862A (zh) * 2018-03-09 2018-09-07 华南理工大学 抗角度与遮挡干扰的快速人脸识别方法
US20180260793A1 (en) * 2016-04-06 2018-09-13 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN108875540A (zh) * 2018-03-12 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
CN108932456A (zh) * 2017-05-23 2018-12-04 北京旷视科技有限公司 人脸识别方法、装置和系统及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2012281152A1 (en) * 2011-07-13 2014-02-06 The Multiple Myeloma Research Foundation, Inc. Methods for data collection and distribution
WO2014200742A1 (en) * 2013-06-12 2014-12-18 3M Innovative Properties Company Presenting results of visual attention modeling
US20180260793A1 (en) * 2016-04-06 2018-09-13 American International Group, Inc. Automatic assessment of damage and repair costs in vehicles
CN106650662A (zh) * 2016-12-21 2017-05-10 北京旷视科技有限公司 目标对象遮挡检测方法及装置
CN106650666A (zh) * 2016-12-26 2017-05-10 北京旷视科技有限公司 活体检测的方法及装置
CN108932456A (zh) * 2017-05-23 2018-12-04 北京旷视科技有限公司 人脸识别方法、装置和系统及存储介质
CN108875511A (zh) * 2017-12-01 2018-11-23 北京迈格威科技有限公司 图像生成的方法、装置、系统及计算机存储介质
CN108509862A (zh) * 2018-03-09 2018-09-07 华南理工大学 抗角度与遮挡干扰的快速人脸识别方法
CN108875540A (zh) * 2018-03-12 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
MAREK KOWALSKI: "Deep Alignment Network: A convolutional neural network for robust face alignment", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》 *
YIZHANG XIA: "Face Occlusion Detection Using Deep Convolutional Neural Networks", 《INTERNATIONAL JOURNAL OF PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE》 *
刘伟强: "基于级联卷积神经网络的人脸检测算法的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
包娇: "基于深度神经网络的回归模型及其应用研究", 《中国博士学位论文全文数据库 信息科技辑》 *
子目的笔记: "？卷积神经网络数据扩充详解", 《HTTPS://BLOG.CSDN.NET/WEIXIN_41440103/ARTICLE/DETAILS/84503711》 *
孙康等: "基于级联卷积神经网络的人脸检测算法", 《南京理工大学学报》 *
董兰芳等: "基于FasterR-CNN的人脸检测方法", 《计算机系统应用》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110298225A (zh) * 2019-03-28 2019-10-01 电子科技大学 一种遮挡环境下的人脸五官定位的方法
CN111027504A (zh) * 2019-12-18 2020-04-17 上海眼控科技股份有限公司 人脸关键点检测方法、装置、设备及存储介质
CN113011216A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN113011216B (zh) * 2019-12-19 2024-04-02 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN111738092A (zh) * 2020-05-28 2020-10-02 华南理工大学 一种基于深度学习的恢复被遮挡人体姿态序列方法
CN111738092B (zh) * 2020-05-28 2024-03-29 华南理工大学 一种基于深度学习的恢复被遮挡人体姿态序列方法
CN111695495B (zh) * 2020-06-10 2023-11-14 杭州萤石软件有限公司 人脸识别方法、电子设备及存储介质
CN111695495A (zh) * 2020-06-10 2020-09-22 杭州萤石软件有限公司 人脸识别方法、电子设备及存储介质
CN112287802A (zh) * 2020-10-26 2021-01-29 汇纳科技股份有限公司 人脸图像检测方法、系统、存储介质及设备
CN112396600A (zh) * 2020-12-02 2021-02-23 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN112396600B (zh) * 2020-12-02 2023-06-30 郑州航空工业管理学院 基于热成像和深度图的脱敏状态下面部神经麻痹检测系统
CN113705466A (zh) * 2021-08-30 2021-11-26 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN113705466B (zh) * 2021-08-30 2024-02-09 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法

Similar Documents

Publication Publication Date Title
CN110287760A (zh) 一种基于深度学习的人脸五官点遮挡检测方法
Bai et al. Edge-guided recurrent convolutional neural network for multitemporal remote sensing image building change detection
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN107330453B (zh) 基于分步识别和融合关键部位检测的色情图像识别方法
CN107527337B (zh) 一种基于深度学习的视频对象移除篡改检测方法
CN110349136A (zh) 一种基于深度学习的篡改图像检测方法
CN107563999A (zh) 一种基于卷积神经网络的芯片缺陷识别方法
CN108399248A (zh) 一种时序数据预测方法、装置及设备
CN104933738B (zh) 一种基于局部结构检测和对比度的视觉显著图生成方法
CN108647625A (zh) 一种表情识别方法及装置
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN102024156B (zh) 彩色人脸图像中的唇部区域定位方法
CN106164980A (zh) 信息处理装置以及信息处理方法
CN110942472B (zh) 一种基于特征融合与自适应分块的核相关滤波跟踪方法
CN110276264A (zh) 一种基于前景分割图的人群密度估计方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
CN110909615B (zh) 基于多尺度输入混合感知神经网络的目标检测方法
CN106228139A (zh) 一种基于卷积网络的表观年龄预测算法及其系统
Zhao et al. High-resolution remote sensing bitemporal image change detection based on feature interaction and multitask learning
CN109493333A (zh) 基于卷积神经网络的超声甲状腺结节钙化点提取算法
CN105809119A (zh) 一种基于稀疏低秩结构多任务学习的行为识别方法
CN109815957A (zh) 一种基于彩色图像在复杂背景下的文字识别方法
Cheng et al. Generating high-resolution climate prediction through generative adversarial network
Li et al. Weak edge identification network for ocean front detection
CN109993728B (zh) 一种热转印胶水偏位自动检测方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190927