CN112069993B - 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 - Google Patents
基于五官掩膜约束的密集人脸检测方法及系统和存储介质 Download PDFInfo
- Publication number
- CN112069993B CN112069993B CN202010923017.XA CN202010923017A CN112069993B CN 112069993 B CN112069993 B CN 112069993B CN 202010923017 A CN202010923017 A CN 202010923017A CN 112069993 B CN112069993 B CN 112069993B
- Authority
- CN
- China
- Prior art keywords
- face
- network
- mask
- face detection
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 90
- 210000000056 organ Anatomy 0.000 title claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000013526 transfer learning Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 15
- 101100029838 Mus musculus Pinx1 gene Proteins 0.000 claims description 12
- 210000000697 sensory organ Anatomy 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 17
- 210000003128 head Anatomy 0.000 description 26
- 238000012545 processing Methods 0.000 description 7
- 210000000887 face Anatomy 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质，收集训练数据集并进行预处理，生成五官语义信息掩膜；根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优检测模型；采用最优检测模型检测密集人脸图像。本发明采用基于五官语义信息掩膜约束的密集人脸检测方法，根据5点标注提供的五官特征生成掩膜约束，有效提升了对于密集人脸的检测性能。本发明对于人脸密集分布时的人脸图像能起到较好的检测效果，对于遮挡、俯仰、偏转、肤色等复杂情况也都有较强的算法鲁棒性。本发明在安防、人流量控制、自动驾驶、智慧城市等领域都有广泛的应用前景。
Description
技术领域
本发明属于人脸检测技术领域，涉及一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质。
背景技术
目前，人脸识别算法已经得到了广泛的应用，早期的人脸检测算法使用模板匹配技术，此后机器学习算法被用于该问题，包括神经网络，支持向量机等。以上都是针对图像中某个区域进行人脸-非人脸的二分类判别。卷积神经网络和深度学习方法在图像分类问题上取得成功之后也很快推动了人脸检测方法的发展，例如Cascade CNN，DenseBox，Faceness-Net，MTCNN等方法，在人脸检测任务中取得了优于传统机器学习算法的效果。
但是由于两方面原因，人脸检测一直是一个复杂的模式识别问题，其主要的难点有两方面，一方面是由于人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等，以及人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等。另外一方面由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，以及光照的影响，如图像中的亮度、对比度的变化和阴影等，还有图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。这些问题在密集分布的人脸图像中体现会更加明显，因为密集分布的人脸像素占比少，特征有限，样本分布不均衡，因此密集人脸检测问题对监督约束信息的丰富提出了更高的要求。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质。
为实现上述目的，本发明采用的技术方案如下：
一种基于五官掩膜约束的密集人脸检测方法，包括以下步骤：
步骤1：收集训练数据集并进行预处理，生成五官语义信息掩膜；
步骤2：根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；
步骤3：采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优检测模型；
步骤4：采用最优检测模型检测密集人脸图像。
本发明进一步的改进在于，步骤1中，训练数据集采用网络开源的大规模5点人脸标注数据集，数据集包含超过30000张图像，以及400000个人脸，选择40%作为训练集，10%作为验证集，50%作为测试集。
本发明进一步的改进在于，步骤1的具体过程包括：
步骤1.1：对数据集中的每张图像按照人脸面部部件解析5点关键点标注，人脸5点特征信息分别对应右眼、左眼、鼻尖、右嘴角和左嘴角；
步骤1.2：根据解析得到的5点人脸标注，将人脸5点特征信息分成上半部分人脸区域与下半部分人脸区域，根据上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系，生成五官语义信息掩膜。
本发明进一步的改进在于，上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系为：
上半部分人脸对应右眼-左眼-鼻尖倒三角区域，下半部分人脸对应右嘴角-左嘴角-鼻尖正三角区域。
本发明进一步的改进在于，步骤2的具体过程为：构建特征提取网络，在特征提取网络基础上构建多任务网络头，从而形成含有五官语义信息掩膜约束的人脸检测网络。
本发明进一步的改进在于，利用深度残差网络ResNet50、轻量化网络MobileNet-v1或轻量化网络ShuffleNet-v2构建特征提取网络；
多任务网络头包括分类网络头、位置回归网络头、关键点回归网络头和面部五官掩膜区域语义分割网络头；其中，分类网络头和位置回归网络头均根据目标检测算法得到。
本发明进一步的改进在于，步骤2中，根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络的损失函数Loss公式如下：
Loss=Lcls+Lbox+Lpts+Lmask
其中，Lcls为人脸前景背景分类损失函数，
Lbox为人脸框定位损失函数，
Lpts为人脸五官定位损失函数，
Lmask为约束项。
本发明进一步的改进在于，人脸的前景和背景分类损失函数Lcls根据分类网络头得到；
人脸框定位损失函数Lbox根据位置回归网络头得到；
人脸五官定位损失函数Lpts根据5点关键点回归网络头得到；
约束项Lmask根据面部五官掩膜区域语义分割网络头得到。
一种基于五官掩膜约束的密集人脸检测系统，包括：
生成模块，用于收集训练数据集并进行预处理，生成五官语义信息掩膜；
构建模块，用于根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；
训练模块，用于采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优模型；
检测模块，用于采用最优模型检测密集人脸图像。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的基于五官掩膜约束的密集人脸检测方法。
与现有技术相比，本发明具有的有益效果：
本发明采用基于五官语义信息掩膜约束的密集人脸检测方法，在传统的基于深度学习的人脸检测算法中，采用5点标注的数据输入形式，根据5点标注提供的五官特征生成掩膜约束，有效提升了对于密集人脸的检测性能。本发明对于人脸密集分布时的人脸图像能起到较好的检测效果，对于遮挡、俯仰、偏转、肤色等复杂情况也都有较强的算法鲁棒性。本发明训练得到的最优模型，在安防、人流量控制、自动驾驶、智慧城市等领域都有广泛的应用前景。
进一步的，本发明的提出的数据处理、预训练模型加载、掩膜约束损失函数的构建思想，对于其他基于深度学习的人脸检测方法也有借鉴价值。
进一步的，利用深度残差网络ResNet50，构建特征提取网络，用来达到模型最佳情况下的检测精度；利用经典轻量化网络MobileNet-v1，构建特征提取网络用来提升模型的运行速度；利用新型轻量化网络ShuffleNet-v2，构建特征提取网络用来提升轻量化基础网络的检测精度。
附图说明
图1是本发明实施例所述密集人脸检测方法的流程以及检测效果示意图。
图2是步骤3中分类Lcls处理效果图。其中，（a）为人脸的前景，（b）为背景。
图3是步骤3中定位Lbox处理效果图。其中，（a）为人脸的前景，（b）为定位Lbox处理后。
图4是步骤3中关键点Lpts处理效果图。其中，（a）为人脸的前景，（b）为关键点Lpts处理后。
图5是步骤3中掩膜Lmask处理效果图。其中，（a）为人脸的前景，（b）为掩膜Lmask处理后。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
实施例
参照图1，其示出了本申请实施例所述基于五官掩膜约束的密集人脸检测方法的具体运行流程，包括：
步骤1：收集训练数据集并进行预处理，生成五官语义信息掩膜。
本发明采用网络开源的大规模5点人脸标注数据集，数据集包含超过30000张图像，以及接近400000个人脸，这些人脸在尺度，姿态，遮挡方面都有很大的变化范围。随机选择40%、10%、50%作为训练、验证、测试集。大规模5点人脸标注数据集为现有数据集。数据处理主要包含以下内容：
步骤1.1：对数据集中的每张图像按照人脸面部部件解析5点关键点标注。分别对应为：1-右眼，2-左眼，3-鼻尖，4-右嘴角，5-左嘴角。
步骤1.2：生成五官掩膜。根据解析得到的5点人脸标注，并且将人脸5点特征信息分成两个区域作为输入数据，两个区域与5点关键点的对应关系为：
上半部分人脸对应“右眼-左眼-鼻尖”倒三角区域；
下半部分人脸对应“右嘴角-左嘴角-鼻尖”正三角区域；
根据上述对应关系，生成对应的五官语义信息掩膜，来为检测提供更多的监督信息，改善5点的回归效果。
步骤2：根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络。
本发明提出了图1示出的含有五官语义信息掩膜约束的人脸检测网络，根据基于深度学习的目标检测算法基本架构，本发明提出的含有五官语义信息掩膜约束的人脸检测网络通过以下过程得到：
步骤2.1：特征提取网络的构建；
采用了三种方案中的一种构建特征提取网络，三种方案分别是利用深度残差网络ResNet50，构建特征提取网络，用来达到模型最佳情况下的检测精度；利用经典轻量化网络MobileNet-v1，构建特征提取网络用来提升模型的运行速度；利用新型轻量化网络ShuffleNet-v2，构建特征提取网络用来提升轻量化基础网络的检测精度。
根据特征提取网络得到一些特征，根据所得到的特征构建一个特征金字塔，在特征金字塔的输出端进一步构建多任务网络头。
步骤2.2：多任务网络头的构建；
在特征金字塔之后，根据经典目标检测算法获得分类网络头和位置回归网络头，本发明还添加了5点关键点回归网络头和面部五官掩膜区域语义分割网络头，分类网络头、回归网络头、关键点回归网络头和面部五官掩膜区域语义分割网络头构成多任务网络头。
步骤3：根据训练目标构建损失函数，并在损失函数中加入掩膜约束项。
参照图2，本发明提出的检测模型对应在损失函数中加入了五官掩膜的约束项Lmask，约束项Lmask来训练多任务网络头；
为在训练中提升检测效果，最终使用的损失函数由约束项Lmask和以下三个部分构成：人脸前景背景分类损失函数Lcls，人脸框定位损失函数Lbox，人脸五官定位损失函数Lpts。四种损失函数按照下式加权求和，训练检测网络：
Loss=Lcls+Lbox+Lpts+Lmask
其中，人脸的前景和背景分类损失函数Lcls根据分类网络头得到；分类Lcls处理效果如图2中的（a）和（b）所示；
人脸框定位损失函数Lbox根据位置回归网络头得到；定位Lbox处理效果如图3中的（a）和（b）所示；
人脸五官定位损失函数Lpts根据5点关键点回归网络头得到；关键点Lpts处理效果如图4中的（a）和（b）所示；
约束项Lmask根据面部五官掩膜区域语义分割网络头得到；掩膜Lmask处理效果如图5中的（a）和（b）所示。
步骤4：采用迁移学习方法对含有掩膜约束的人脸检测网络进行训练，得到最优检测模型。
采用迁移学习的方法，对于现有的人脸检测器参数模型，固定分类回归层的相关参数，根据步骤2.2中的多任务网络头结构，修改人脸5点关键点网络层的维度，在现有参数模型中对应添加分割网络层，然后对修改和添加的网络层参数随机初始化，得到定位相对准确，只有关键点和语义区域需要重新回归的参数，根据实际情况再设置训练相关超参数并利用随机梯度下降算法训练整个人脸检测网络，最终得到最优模型。训练数据时先加载处理后的人脸检测网络，从而完成训练任务。
步骤5：采用训练完成的最优检测模型测试密集人脸图像。
利用训练好的模型在人脸分布密集的自然图像上进行检测，得到了图1所示的测试结果，如输出图像所示，结果表明本发明提出的基于五官掩膜约束的检测模型对于人脸密集分布时的人脸图像能起到较好的检测效果，对于遮挡、俯仰、偏转、肤色等复杂情况也都有较强的算法鲁棒性。
本实施例公开了一种基于五官掩膜约束的密集人脸检测方法，该方法通过在传统基于深度学习的人脸检测模型中引入5点标注构成的五官掩膜约束，提升了检测模型的分类回归性能，针对密集人脸检测问题有效提升了效果。
本发明提出了一种基于五官掩膜约束的密集人脸检测方法，包括：对5点标注的人脸数据根据面部五官部件特征生成五官掩膜；在损失函数中加入五官掩膜约束项，构造检测网络模型来融合分类、定位、关键点、掩膜语义特征；采用迁移学习的方式处理预训练模型，使其满足含有掩膜约束的网络输入；在训练数据集上对密集人脸检测网络模型进行训练；使用训练完成的检测网络模型在密集人脸自然图像上验证人脸检测效果。
一种基于五官掩膜约束的密集人脸检测系统，包括：
生成模块，用于收集训练数据集并进行预处理，生成五官语义信息掩膜；
构建模块，用于根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；
训练模块，用于采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优模型；
检测模块，用于采用最优模型检测密集人脸图像。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述的基于五官掩膜约束的密集人脸检测方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于五官掩膜约束的密集人脸检测方法，其特征在于，包括以下步骤：
步骤1：收集训练数据集并进行预处理，生成五官语义信息掩膜；
步骤2：根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；
步骤3：采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优检测模型；
步骤4：采用最优检测模型检测密集人脸图像；
步骤1的具体过程包括：
步骤1.1：对数据集中的每张图像按照人脸面部部件解析5点关键点标注，人脸5点特征信息分别对应右眼、左眼、鼻尖、右嘴角和左嘴角；
步骤1.2：根据解析得到的5点人脸标注，将人脸5点特征信息分成上半部分人脸区域与下半部分人脸区域，根据上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系，生成五官语义信息掩膜；
上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系为：
上半部分人脸对应右眼-左眼-鼻尖倒三角区域，下半部分人脸对应右嘴角-左嘴角-鼻尖正三角区域；
步骤2的具体过程为：构建特征提取网络，在特征提取网络基础上构建多任务网络头，从而形成含有五官语义信息掩膜约束的人脸检测网络；
利用深度残差网络ResNet50、轻量化网络MobileNet-v1或轻量化网络ShuffleNet-v2构建特征提取网络；
多任务网络头包括分类网络头、位置回归网络头、关键点回归网络头和面部五官掩膜区域语义分割网络头；其中，分类网络头和位置回归网络头均根据目标检测算法得到；
步骤2中，根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络的损失函数Loss公式如下：
Loss=Lcls+Lbox+Lpts+Lmask
其中，Lcls为人脸前景背景分类损失函数，
Lbox为人脸框定位损失函数，
Lpts为人脸五官定位损失函数，
Lmask为约束项。
2.根据权利要求1所述的一种基于五官掩膜约束的密集人脸检测方法，其特征在于，步骤1中，训练数据集采用网络开源的大规模5点人脸标注数据集，数据集包含超过30000张图像，以及400000个人脸，选择40%作为训练集，10%作为验证集，50%作为测试集。
3.根据权利要求1所述的一种基于五官掩膜约束的密集人脸检测方法，其特征在于，
人脸的前景和背景分类损失函数Lcls根据分类网络头得到；
人脸框定位损失函数Lbox根据位置回归网络头得到；
人脸五官定位损失函数Lpts根据5点关键点回归网络头得到；
约束项Lmask根据面部五官掩膜区域语义分割网络头得到。
4.一种基于五官掩膜约束的密集人脸检测系统，其应用如权利要求1-3任一项所述的五官掩膜约束的密集人脸检测方法，其特征在于，包括：
生成模块，用于收集训练数据集并进行预处理，生成五官语义信息掩膜；
构建模块，用于根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；
训练模块，用于采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优模型；
检测模块，用于采用最优模型检测密集人脸图像。
5.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至3任一项所述的基于五官掩膜约束的密集人脸检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923017.XA CN112069993B (zh) | 2020-09-04 | 2020-09-04 | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010923017.XA CN112069993B (zh) | 2020-09-04 | 2020-09-04 | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112069993A CN112069993A (zh) | 2020-12-11 |
| CN112069993B true CN112069993B (zh) | 2024-02-13 |
Family
ID=73666511
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010923017.XA Active CN112069993B (zh) | 2020-09-04 | 2020-09-04 | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112069993B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818770A (zh) * | 2021-01-19 | 2021-05-18 | 中科方寸知微(南京)科技有限公司 | 跨数据集的人脸关键点检测方法 |
| CN112949499A (zh) * | 2021-03-04 | 2021-06-11 | 北京联合大学 | 一种基于ShuffleNet改进的MTCNN人脸检测方法 |
| CN113705466B (zh) * | 2021-08-30 | 2024-02-09 | 浙江中正智能科技有限公司 | 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法 |
| CN114299279B (zh) * | 2021-12-01 | 2024-08-02 | 北京昭衍新药研究中心股份有限公司 | 基于脸部检测和识别的无标记群体恒河猴运动量估计方法 |
Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215637A (ja) * | 2005-02-01 | 2006-08-17 | Southern Taiwan Univ Of Technology | 警備システムの素面判別方法 |
| CN101458763A (zh) * | 2008-10-30 | 2009-06-17 | 中国人民解放军国防科学技术大学 | 基于图像加权平均的自动人脸识别方法 |
| KR20090093223A (ko) * | 2008-02-29 | 2009-09-02 | 홍익대학교 산학협력단 | 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 |
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| KR20120113912A (ko) * | 2011-04-06 | 2012-10-16 | 한국수자원공사 | 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법 |
| CN103268485A (zh) * | 2013-06-09 | 2013-08-28 | 上海交通大学 | 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法 |
| WO2015149534A1 (zh) * | 2014-03-31 | 2015-10-08 | 华为技术有限公司 | 基于Gabor二值模式的人脸识别方法及装置 |
| CN105069431A (zh) * | 2015-08-07 | 2015-11-18 | 成都明图通科技有限公司 | 人脸的定位方法和装置 |
| CN105095856A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于掩膜的有遮挡人脸识别方法 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
| CN106127170A (zh) * | 2016-07-01 | 2016-11-16 | 重庆中科云丛科技有限公司 | 一种融合关键特征点的训练方法、识别方法及系统 |
| CN106897748A (zh) * | 2017-03-02 | 2017-06-27 | 上海极链网络科技有限公司 | 基于深层卷积神经网络的人脸质量评估方法和系统 |
| GB201802928D0 (en) * | 2018-02-23 | 2018-04-11 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| WO2018188534A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN108875548A (zh) * | 2018-04-18 | 2018-11-23 | 科大讯飞股份有限公司 | 人物轨迹生成方法及装置、存储介质、电子设备 |
| CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及系统 |
| CN109903257A (zh) * | 2019-03-08 | 2019-06-18 | 上海大学 | 一种基于图像语义分割的虚拟头发染色方法 |
| CN109934058A (zh) * | 2017-12-15 | 2019-06-25 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置、电子设备、存储介质及程序 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110298225A (zh) * | 2019-03-28 | 2019-10-01 | 电子科技大学 | 一种遮挡环境下的人脸五官定位的方法 |
| CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
| CN111553230A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 无约束场景下的基于特征强化的渐进式级联人脸检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPR541801A0 (en) * | 2001-06-01 | 2001-06-28 | Canon Kabushiki Kaisha | Face detection in colour images with complex background |
| CN107644209A (zh) * | 2017-09-21 | 2018-01-30 | 百度在线网络技术（北京）有限公司 | 人脸检测方法和装置 |
-
2020
- 2020-09-04 CN CN202010923017.XA patent/CN112069993B/zh active Active
Patent Citations (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006215637A (ja) * | 2005-02-01 | 2006-08-17 | Southern Taiwan Univ Of Technology | 警備システムの素面判別方法 |
| KR20090093223A (ko) * | 2008-02-29 | 2009-09-02 | 홍익대학교 산학협력단 | 얼굴 인식 시스템의 성능 향상을 위한 동적 마스크와 인페인팅을 이용한 안경제거 |
| CN101458763A (zh) * | 2008-10-30 | 2009-06-17 | 中国人民解放军国防科学技术大学 | 基于图像加权平均的自动人脸识别方法 |
| CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
| KR20120113912A (ko) * | 2011-04-06 | 2012-10-16 | 한국수자원공사 | 상관관계를 이용한 가려진 얼굴 영상 검출 및 복원 방법 |
| CN103268485A (zh) * | 2013-06-09 | 2013-08-28 | 上海交通大学 | 基于稀疏正则化的实现多波段人脸图像信息融合的人脸识别方法 |
| WO2015149534A1 (zh) * | 2014-03-31 | 2015-10-08 | 华为技术有限公司 | 基于Gabor二值模式的人脸识别方法及装置 |
| CN105095856A (zh) * | 2015-06-26 | 2015-11-25 | 上海交通大学 | 基于掩膜的有遮挡人脸识别方法 |
| CN105069431A (zh) * | 2015-08-07 | 2015-11-18 | 成都明图通科技有限公司 | 人脸的定位方法和装置 |
| CN105354565A (zh) * | 2015-12-23 | 2016-02-24 | 北京市商汤科技开发有限公司 | 基于全卷积网络人脸五官定位与判别的方法及系统 |
| CN106127170A (zh) * | 2016-07-01 | 2016-11-16 | 重庆中科云丛科技有限公司 | 一种融合关键特征点的训练方法、识别方法及系统 |
| CN106897748A (zh) * | 2017-03-02 | 2017-06-27 | 上海极链网络科技有限公司 | 基于深层卷积神经网络的人脸质量评估方法和系统 |
| WO2018188534A1 (zh) * | 2017-04-14 | 2018-10-18 | 深圳市商汤科技有限公司 | 人脸图像处理方法、装置和电子设备 |
| CN109934058A (zh) * | 2017-12-15 | 2019-06-25 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置、电子设备、存储介质及程序 |
| WO2019128367A1 (zh) * | 2017-12-26 | 2019-07-04 | 广州广电运通金融电子股份有限公司 | 基于Triplet Loss的人脸认证方法、装置、计算机设备和存储介质 |
| CN109977739A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN108334847A (zh) * | 2018-02-06 | 2018-07-27 | 哈尔滨工业大学 | 一种真实场景下的基于深度学习的人脸识别方法 |
| GB201802928D0 (en) * | 2018-02-23 | 2018-04-11 | Sony Interactive Entertainment Inc | Eye tracking method and apparatus |
| CN108875548A (zh) * | 2018-04-18 | 2018-11-23 | 科大讯飞股份有限公司 | 人物轨迹生成方法及装置、存储介质、电子设备 |
| CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及系统 |
| CN109903257A (zh) * | 2019-03-08 | 2019-06-18 | 上海大学 | 一种基于图像语义分割的虚拟头发染色方法 |
| CN110298225A (zh) * | 2019-03-28 | 2019-10-01 | 电子科技大学 | 一种遮挡环境下的人脸五官定位的方法 |
| CN111160309A (zh) * | 2019-12-31 | 2020-05-15 | 深圳云天励飞技术有限公司 | 一种图像处理方法和相关设备 |
| CN111553230A (zh) * | 2020-04-21 | 2020-08-18 | 东南大学 | 无约束场景下的基于特征强化的渐进式级联人脸检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 姿态变化估计策略下的人脸真实性判别研究;任勇;张楠;牟轩沁;;计算机工程与应用(16);全文 * |
| 生成对抗网络进行感知遮挡人脸还原的算法研究;魏赟;孙硕;;小型微型计算机系统(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112069993A (zh) | 2020-12-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112069993B (zh) | 基于五官掩膜约束的密集人脸检测方法及系统和存储介质 | |
| CN110443231A (zh) | 一种基于人工智能的单手手指点读文字识别方法和系统 | |
| CN107330444A (zh) | 一种基于生成对抗网络的图像自动文本标注方法 | |
| CN109376582A (zh) | 一种基于生成对抗网络的交互式人脸卡通方法 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN107895160A (zh) | 人脸检测与识别装置及方法 | |
| CN106778563A (zh) | 一种基于空间连贯特征的快速任意姿态人脸表情识别方法 | |
| Xu et al. | (Retracted) Method of generating face image based on text description of generating adversarial network | |
| CN109034090A (zh) | 一种基于肢体动作的情感识别系统及方法 | |
| CN112069992A (zh) | 一种基于多监督稠密对齐的人脸检测方法、系统及存储介质 | |
| CN108961358A (zh) | 一种获得样本图片的方法、装置及电子设备 | |
| Gong et al. | DeepfakeNet, an efficient deepfake detection method | |
| Gao et al. | Real-time visual tracking with compact shape and color feature | |
| Lu et al. | Detection of deepfake videos using long-distance attention | |
| Kim et al. | Animeceleb: Large-scale animation celebheads dataset for head reenactment | |
| CN113469273B (zh) | 基于双向生成及中间域对齐的无监督域适应图像分类方法 | |
| CN116824333B (zh) | 一种基于深度学习模型的鼻咽癌检测系统 | |
| CN115457374B (zh) | 基于推理模式评估深伪图像检测模型泛化性方法及装置 | |
| Guo et al. | Facial parts swapping with generative adversarial networks | |
| Tian | Analysis of Chinese Painting Color Teaching Based on Intelligent Image Color Processing Technology in the Network as a Green Environment | |
| CN108898188A (zh) | 一种图像数据集辅助标记系统及方法 | |
| Guo et al. | CCST-GAN: Generative Adversarial Networks for Chinese Calligraphy Style Transfer | |
| Li et al. | Partimagenet++ dataset: Scaling up part-based models for robust recognition | |
| Zhang et al. | Zero-Shot Real Facial Attribute Separation and Transfer at Novel Views | |
| Xin et al. | An Automatic Location and Recognition Method for Bank Card Number |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A dense face detection method, system, and storage medium based on facial mask constraints Granted publication date: 20240213 Pledgee: Xi'an Caijin Financing Guarantee Co.,Ltd. Pledgor: Xi'an Xitu Zhiguang Intelligent Technology Co.,Ltd. Registration number: Y2024980014052 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |