CN113723414B - 一种蒙面人脸遮挡物分割方法与装置 - Google Patents
一种蒙面人脸遮挡物分割方法与装置 Download PDFInfo
- Publication number
- CN113723414B CN113723414B CN202110923768.6A CN202110923768A CN113723414B CN 113723414 B CN113723414 B CN 113723414B CN 202110923768 A CN202110923768 A CN 202110923768A CN 113723414 B CN113723414 B CN 113723414B
- Authority
- CN
- China
- Prior art keywords
- face
- feature map
- feature
- image
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012544 monitoring process Methods 0.000 claims abstract description 3
- 238000000605 extraction Methods 0.000 claims description 35
- 238000011176 pooling Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 10
- 208000032443 Masked facies Diseases 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000002787 reinforcement Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种蒙面人脸遮挡物分割方法与装置。本方法为：1)利用训练数据集训练一蒙面人脸分割网络；其中训练数据集中每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像；2)蒙面人脸分割模型获取每对输入图像中的蒙面人脸；然后对蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；然后从该特征地图提取不同尺度特征并对其进行融合，得到全局特征地图；然后对该全局特征地图进行逐像素预测，得到预测分割图；然后根据该预测分割图与对应的语义分割图像计算得到损失值，利用损失值监督训练该蒙面人脸分割网络；3)利用步骤2)训练后的蒙面人脸分割网络对待处理图像进行分割，得到该待处理图像的预测分割图。
Description
技术领域
本发明属于计算机视觉和深度学习领域，尤其涉及一种针对遮挡条件下的蒙面人脸的遮挡物分割方法及装置。
背景技术
尽管当前以深度学习为代表的人脸识别模型已经在无遮挡情况下取得了很高的识别精度，但是这些模型在识别遮挡人脸的时候，性能往往会急剧下降。其原因首先在于，相较于无遮挡人脸检测，蒙面人脸检测由于部分面部结构被遮挡导而致面部关键信息严重丢失，这大幅降低了人脸检测器的鲁棒性，将检测图像中蒙面人脸的任务难度急剧提升；其次现有的大型蒙面人脸数据库很少，在大型数据库中训练出来的模型不包括被遮挡的面孔，当训练集中高置信度的区分区域被遮挡时，模型在蒙面人脸上的表现会出现退化。
基于这一事实，人们提出了蒙面人脸检测与识别方法：通过采用稀疏表达、卷积神经网络、深度学习方法等构造的特征提取器直接从部分人脸内容中表达遮挡人脸，或者对深度网络的滤波器支持度进行约束，这些方法目标均是使提取的人脸特征能够对遮挡鲁棒。虽然这类解决方案可以在蒙面人脸图像上恢复一定的性能，但深度模型对非蒙面人脸图像的判别能力受到影响。本质上，遮挡图像和非遮挡图像在嵌入特征空间中的分布不匹配没有得到适当的处理。而蒙面人脸图像中遮挡物的掩码是减小分布失真、提高遮挡鲁棒性的关键思想，正确分割蒙面人脸的遮挡物可以在特征提取中排除可能导致错误响应的像素，获得更合理的嵌入特征空间。显然，若想推动蒙面人脸检测与识别技术的发展，精准分割蒙面人脸的遮挡物的语义分割问题亟待解决。
语义分割方法可分为传统方法和深度学习的方法，其中传统的语义分割方法主要包括纹理基元森林(Texton Forest)和随机森林(Random Forest)等；深度学习方法引入后，不仅简化了语义分割的过程，且分割精度远超过传统方法。现代语义分割算法主要的深度神经网络体系结构包括卷积神经网络(CNNs)、循环神经网络(RNNs)和长短期记忆(LSTM)、编码器-解码器和生成对抗网络(GANs)等。CNN是其中最成功、应用最广泛的架构之一，著名的CNN架构包括AlexNet、VGGNet、ResNet和MobileNet等。但是目前的语义分割都是在coco，ImageNet 等数据集上训练的，没有对人脸进行分割，尤其是针对蒙面人脸的语义分割，因此蒙面人脸检测依然是目前人脸检测的一个技术难题。
发明内容
为提高蒙面人脸的识别效率，本发明提供了一种蒙面人脸遮挡物的分割方法及装置，该方法采用编码器-解码器架构并结合CNN架构，不同于单一的语义分割算法训练，本发明的网络通过蒙面人脸检测器实现对蒙面人脸图像的裁剪和分割，通过基于卷积的编码器和基于卷积的解码器实现了蒙面人脸遮挡物的精确分割。
为解决上述技术问题，本发明通过以下技术方案来实现。
一种蒙面人脸遮挡物分割方法，其步骤包括：
1)利用训练数据集训练一蒙面人脸分割网络；其中所述训练数据集包括多个蒙面人脸图像对；每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像；
2)所述蒙面人脸分割模型获取每对输入图像中的蒙面人脸；然后对蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；然后从该蒙面人脸的特征地图提取不同尺度特征并对其进行融合，得到该蒙面人脸的全局特征地图；然后对该全局特征地图进行逐像素预测，得到预测分割图；然后根据该预测分割图与对应的语义分割图像计算得到损失值，利用损失值监督训练该蒙面人脸分割网络；
3)利用步骤2)训练后的蒙面人脸分割网络对待处理图像进行分割，得到该待处理图像的预测分割图。
进一步的，所述深度可分离卷积操作的方法为：首先对输入图像进行逐通道卷积，得到 m个(n+1-n1)×(n+1-n1)×1的图像映射；其中输入图像大小为n×n×m，图像的高、宽均为 n像素，m是图像的通道数，逐通道卷积的卷积核大小为n1×n1×1；将该m个图像映射进行堆叠得到一个(n+1-n1)×(n+1-n1)×m的特征地图；然后对该特征地图进行逐点卷积并对逐点卷积结果进行加权组合生成新的特征地图作为该蒙面人脸的特征地图。
进一步的，逐点卷积的卷积核大小为1×1×m，每个1×1×m的卷积核分别对所得(n+1-n1) ×(n+1-n1)×m的特征地图做卷积后都得到一个大小为(n+1-n1)×(n+1-n1)×1的映射；然后对所得映射进行加权组合生成该蒙面人脸的特征地图。
进一步的，得到该蒙面人脸的全局特征地图的方法为：
41)采用四个尺寸不同的池化内核构建四个池化层，分别对该蒙面人脸的特征地图进行特征提取；
42)通过上采样将步骤41)所抽取每一特征调整为与该蒙面人脸的特征地图大小一致；
43)对步骤42)调整后的特征与该蒙面人脸的特征地图融合，得到该蒙面人脸的全局特征地图。
进一步的，步骤41)中，利用全局池作为最粗糙的级别，对输入的特征地图进行平均池化，得到一对应的特征集合；将输入的特征地图划分为n1×n1个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n2×n2个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n3×n3个子区域，进行平均池化得到一对应的特征集合；然后通过1×1的卷积层将每个特征集合的维度降低到1/N；N为池化内核的大小。
一种蒙面人脸遮挡物分割装置，其特征在于，包括蒙面人脸检测模块、主干特征提取模块、加强特征提取模块和预测模块；其中，
蒙面人脸检测模块，用于获取输入图像中的蒙面人脸并输入到主干特征提取模块；
主干特征提取模块，用于对输入的蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；
加强特征提取模块，用于从该蒙面人脸的特征地图提取不同尺度特征并对其进行融合，得到该蒙面人脸的全局特征地图；
预测模块，用于对该全局特征地图进行逐像素预测，得到该输入图像的预测分割图。
本发明利用带标注的蒙面人脸图像训练一个深度神经网络，构建蒙面人脸检测框架，在训练过程中，为了提高网络训练速度和资源利用率，先冻结主干特征提取网络的权重训练，将更多的资源投入到训练后的网络参数优化部分；
利用包含卷积的反残差模块，构建一个编码器；
利用上采样操作构建层次全局先验模块，构建一个解码器；
利用卷积操作将解码器输出的特征层通道数调整为所分割的类数量，并将大小调整为与输入图像相同的尺寸，获得最终的预测分割图。
进一步地，为了训练编码器和解码器，预先准备训练数据集，由大量的蒙面人脸图像对组成；每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像。
本发明的蒙面人脸遮挡物分割方法的具体实现包括：
输入图像通过蒙面人脸检测框架后记录图像中蒙面人脸的位置坐标，通过矩阵操作裁剪检测到的蒙面人脸。
进一步地，将裁剪后的蒙面人脸通过编码器初步提取特征，其中编码器z＝f(x)的作用是将输入压缩成空间上的特征表示，获得特征层。其中，特征表示能够捕获对预测输出有用的输入图像的底层语义信息。
进一步地，利用获得的倒数第二个特征层构建辅助训练分支以提高网络性能，构建辅助训练分支的详细步骤为：通过卷积进行特征整合和通道数的调整，然后进行标准化、ReLU激活、Dropout等操作。
解码器y＝g(z)对空间的特征表示进行预测，得到预测的分割图像。
将预测结果调整为与输入图像大小相等的分割图像。
进一步地，所述获得分割图像的方法为：通过卷积将图像的通道数调整为所分割的类的数量，并对分类后的结果调整大小使其与输入图像的大小相等。
进一步地，将辅助训练的输出结果与图像的标签对比获得Loss值，利用Loss监督网络训练，提高语义分割准确率。
与上面方法对应地，本发明还提供一种蒙面人脸遮挡物分割装置，包括主干特征提取模块、加强特征提取模块和预测模块；所述主干特征提取模块采用编码器将输入压缩成空间上的特征表示，获得特征层，由包含卷积的反残差模块组成；所述加强特征提取模块采用解码器对空间的特征表示进行预测，由层次全局先验模块构成；所述预测模块采用卷积操作处理特征映射，得到最终的预测分割图。
本发明的有益效果在于：
针对蒙面人脸遮挡物的分割问题，尤其是自然环境下的人脸遮挡情况，本发明的分割方法及装置具有较高的分割像素精度，其中MPA值可达94.23％、MIoU值可达90.23％，有助于推动蒙面人脸检测与识别技术的发展。
附图说明
图1为本发明一种蒙面人脸的遮挡物分割方法的结构图。
图2为本发明遮挡物分割方法主干特征提取模块中反残差模块的结构示意图。
图3为本发明遮挡物分割方法反残差模块中深度可分离卷积操作的流程图。
图4为本发明一种蒙面人脸的遮挡物分割方法加强特征提取阶段的流程图。
具体实施方式
为使本发明的上述方案和有益效果更明显易懂，下文通过实施例，并配合附图作详细说明如下。
本实施例提供一种蒙面人脸的遮挡物分割方法及实现该方法的装置。该装置包括蒙面人脸检测模块、主干特征提取模块、加强特征提取模块和预测模块。蒙面人脸检测模块通过卷积操作检测并裁剪图像中蒙面的人脸；主干特征提取模块采用反残差模块构成的编码器进行初步提取特征，其中反残差模块包含深度可分离卷积操作；加强特征提取模块采用解码器通过上采样和特征融合操作对特征地图进行逐像素预测，得到分割预测图。本装置的结构如图 1所示，具体说明如下：
预先准备训练数据集，由大量的蒙面人脸图像对组成；每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像。
在蒙面人脸检测模块，输入图像通过人脸检测框架获得蒙面的人脸坐标，通过矩阵操作裁剪得到蒙面的人脸图像。
在主干特征提取模块，裁剪得到的蒙面人脸图像通过反残差模块构成的编码器，进行深度可分离卷积操作获得特征地图，反残差模块的结构如图2所示，
将输入的低维压缩图像(即蒙面人脸)通过卷积增加通道数；
通过轻量级的深度空间卷积进行过滤提取特征；
将特征通过线性卷积降低维度；
降维操作后直接进行残差网络的相加，防止非线性破坏低维空间特征的完整性。
在反残差模块中，为了进一步提高主干特征提取模块的性能，降低计算量，减少对高内存的需求，通过深度可分离卷积操作进行特征提取，该操作可分为两个过程，首先是逐通道卷积，其次是逐点卷积，具体过程如图3所示：
输入网络的图像大小为n×n×m，其中图像的高、宽均为n像素，m是图像的通道数。逐通道卷积的卷积核大小为n1×n1×1，卷积核与输入图像的通道之间为一对一的关系，因此卷积核的数量与输入图像的通道数相同；
通过逐通道卷积后得到输入图像对应的m个(n+1-n1)×(n+1-n1)×1的图像映射；
将这些映射进行堆叠得到一个(n+1-n1)×(n+1-n1)×m的特征地图。
由于逐通道卷积不仅无法扩展特征地图的深度，而且卷积操作是对输入图像的每个通道单独进行，没有有效利用输入图像的不同通道在相同空间位置上的特征信息，因此利用逐点卷积将得到的特征地图在深度方向上进行加权组合(即对上述所得特征地图进行逐点卷积，特征地图中的每一点对应一个像素，对特征地图中的每一像素分别进行一次卷积所得结果进行加权组合)生成蒙面人脸对应的特征地图。
逐点卷积的卷积核大小为1×1×m，其中m是已经得到的特征地图的通道数，每个1×1×m 的卷积核对(n+1-n1)×(n+1-n1)×m的特征地图做卷积后都得出一个大小为(n+1-n1)×(n+1- n1)×1的映射；
M个卷积核就会得到一个(n+1-n1)×(n+1-n1)×M的新的特征地图，M为卷积核的数量。
加强特征提取模块的特征提取流程如图4所示，其步骤包括：
1)采用四个尺寸不同的池化内核来抽象不同的子区域；
进一步地，全局池作为最粗糙的级别，其将输入进来的特征地图整个进行平均池化，生成单个容器的输出；
第二层的池化模块将输入的初步特征地图划分为n1×n1个子区域，然后对每个子区域进行平均池化；
同理，第三层和第四层的池化模块分别将特征图分割成n2×n2个子区域和n3×n3个子区域，并为每个子区域形成特征集合表示；
由于不同级别的输出包含不同大小的特征映射，为了维护全局的特征权重的平衡，通过 1×1的卷积层将每个输出的维度降低到1/N(N为池化内核的大小)。其中，池化内核的数量和大小都可以修改，这与输入池化层的特征图的大小有关。
2)通过上采样操作使不同子区域的特征地图与主干特征提取模块获得的初步特征地图大小一致。
3)平铺并级联这些特征层形成一个全连接层，得到融合了不同尺度特征的全局特征地图。
预测模块通过卷积层对全局特征地图进行逐像素预测，得到预测分割图。
本发明中的蒙面人脸检测模块、主干特征提取模块和加强特征提取模块均可以采用现有的神经网络结构实现。
以上实施仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。
Claims (6)
1.一种蒙面人脸遮挡物分割方法，其步骤包括：
1)利用训练数据集训练一蒙面人脸分割网络；其中所述训练数据集包括多个蒙面人脸图像对；每对图像包括一张蒙面遮挡的人脸图像及对应的蒙面人脸的语义分割图像；
2)所述蒙面人脸分割模型获取每对输入图像中的蒙面人脸；然后对蒙面人脸进行深度可分离卷积操作获得该蒙面人脸的特征地图；然后从该蒙面人脸的特征地图提取不同尺度特征并对其进行融合，得到该蒙面人脸的全局特征地图；然后对该全局特征地图进行逐像素预测，得到预测分割图；然后根据该预测分割图与对应的语义分割图像计算得到损失值，利用损失值监督训练该蒙面人脸分割网络；其中所述深度可分离卷积操作的方法为：首先对输入图像进行逐通道卷积，得到m个(n+1-n1)×(n+1-n1)×1的图像映射；其中输入图像大小为n×n×m，图像的高、宽均为n像素，m是图像的通道数，逐通道卷积的卷积核大小为n1×n1×1；将该m个图像映射进行堆叠得到一个(n+1-n1)×(n+1-n1)×m的特征地图；然后对该特征地图进行逐点卷积并对逐点卷积结果进行加权组合生成新的特征地图作为该蒙面人脸的特征地图；逐点卷积的卷积核大小为1×1×m，每个1×1×m的卷积核分别对所得(n+1-n1)×(n+1-n1)×m的特征地图做卷积后都得到一个大小为(n+1-n1)×(n+1-n1)×1的映射，对所得映射进行加权组合生成该蒙面人脸的特征地图；
3)利用步骤2)训练后的蒙面人脸分割网络对待处理图像进行分割，得到该待处理图像的预测分割图。
2.如权利要求1所述的方法，其特征在于，得到该蒙面人脸的全局特征地图的方法为：
41)采用四个尺寸不同的池化内核构建四个池化层，分别对该蒙面人脸的特征地图进行特征提取；
42)通过上采样将步骤41)所抽取每一特征调整为与该蒙面人脸的特征地图大小一致；
43)对步骤42)调整后的特征与该蒙面人脸的特征地图融合，得到该蒙面人脸的全局特征地图。
3.如权利要求2所述的方法，其特征在于，步骤41)中，利用全局池作为最粗糙的级别，对输入的特征地图进行平均池化，得到一对应的特征集合；将输入的特征地图划分为n1×n1个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n2×n2个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n3×n3个子区域，进行平均池化得到一对应的特征集合；然后通过1×1的卷积层将每个特征集合的维度降低到1/N；N为池化内核的大小。
4.一种蒙面人脸遮挡物分割装置，其特征在于，包括蒙面人脸检测模块、主干特征提取模块、加强特征提取模块和预测模块；其中，
蒙面人脸检测模块，用于获取输入图像中的蒙面人脸并输入到主干特征提取模块；
主干特征提取模块，用于通过反残差模块构成的编码器对蒙面人脸进行深度可分离卷积操作获得特征地图；其中深度可分离卷积操作方法为：首先对输入图像进行逐通道卷积，得到m个(n+1-n1)×(n+1-n1)×1的图像映射；其中输入图像大小为n×n×m，图像的高、宽均为n像素，m是图像的通道数，逐通道卷积的卷积核大小为n1×n1×1；将该m个图像映射进行堆叠得到一个(n+1-n1)×(n+1-n1)×m的特征地图；然后对该特征地图进行逐点卷积并对逐点卷积结果进行加权组合生成新的特征地图作为该蒙面人脸的特征地图；其中逐点卷积的卷积核大小为1×1×m，每个1×1×m的卷积核分别对所得(n+1-n1)×(n+1-n1)
×m的特征地图做卷积后都得出一个大小为(n+1-n1)×(n+1-n1)×1的映射，对所得映射进行加权组合生成该蒙面人脸的特征地图；
加强特征提取模块，用于从该蒙面人脸的特征地图提取不同尺度特征并对其进行融合，得到该蒙面人脸的全局特征地图；
预测模块，用于对该全局特征地图进行逐像素预测，得到该输入图像的预测分割图。
5.如权利要求4所述的蒙面人脸遮挡物分割装置，其特征在于，所述加强特征提取模块采用四个尺寸不同的池化内核构建四个池化层，分别对该蒙面人脸的特征地图进行特征提取；然后通过上采样将个池化层所抽取每一特征调整为与该蒙面人脸的特征地图大小一致；然后调整后的特征与该蒙面人脸的特征地图融合，得到该蒙面人脸的全局特征地图。
6.如权利要求5所述的蒙面人脸遮挡物分割装置，其特征在于，利用全局池作为最粗糙的级别，对输入的特征地图进行平均池化，得到一对应的特征集合；将输入的特征地图划分为n1×n1个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n2×n2个子区域，并对每个子区域进行平均池化得到一对应的特征集合；将输入的特征地图分割成n3×n3个子区域，进行平均池化得到一对应的特征集合；然后通过1×1的卷积层将每个特征集合的维度降低到1/N；N为池化内核的大小。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923768.6A CN113723414B (zh) | 2021-08-12 | 2021-08-12 | 一种蒙面人脸遮挡物分割方法与装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110923768.6A CN113723414B (zh) | 2021-08-12 | 2021-08-12 | 一种蒙面人脸遮挡物分割方法与装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113723414A CN113723414A (zh) | 2021-11-30 |
| CN113723414B true CN113723414B (zh) | 2023-12-15 |
Family
ID=78675578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110923768.6A Active CN113723414B (zh) | 2021-08-12 | 2021-08-12 | 一种蒙面人脸遮挡物分割方法与装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113723414B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883670B (zh) * | 2023-08-11 | 2024-05-14 | 智慧眼科技股份有限公司 | 一种抗遮挡人脸图像分割方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363134A (zh) * | 2019-07-10 | 2019-10-22 | 电子科技大学 | 一种基于语义分割的人脸遮挡区定位方法 |
| CN111310718A (zh) * | 2020-03-09 | 2020-06-19 | 成都川大科鸿新技术研究所 | 一种遮挡人脸图像高准确率检测对比方法 |
| CN112270644A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
| CN112949565A (zh) * | 2021-03-25 | 2021-06-11 | 重庆邮电大学 | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10282589B2 (en) * | 2017-08-29 | 2019-05-07 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for detection and classification of cells using convolutional neural networks |
| CN109766895A (zh) * | 2019-01-03 | 2019-05-17 | 京东方科技集团股份有限公司 | 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法 |
| US11461998B2 (en) * | 2019-09-25 | 2022-10-04 | Samsung Electronics Co., Ltd. | System and method for boundary aware semantic segmentation |
-
2021
- 2021-08-12 CN CN202110923768.6A patent/CN113723414B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110363134A (zh) * | 2019-07-10 | 2019-10-22 | 电子科技大学 | 一种基于语义分割的人脸遮挡区定位方法 |
| CN111310718A (zh) * | 2020-03-09 | 2020-06-19 | 成都川大科鸿新技术研究所 | 一种遮挡人脸图像高准确率检测对比方法 |
| CN112270644A (zh) * | 2020-10-20 | 2021-01-26 | 西安工程大学 | 基于空间特征变换和跨尺度特征集成的人脸超分辨方法 |
| CN112949565A (zh) * | 2021-03-25 | 2021-06-11 | 重庆邮电大学 | 基于注意力机制的单样本部分遮挡人脸识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 融合注意力机制的移动端人像分割网络;周鹏;姚剑敏;林志贤;严群;郭太良;;液晶与显示(06);第38-45页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113723414A (zh) | 2021-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112232349B (zh) | 模型训练方法、图像分割方法及装置 | |
| CN109815886B (zh) | 一种基于改进YOLOv3的行人和车辆检测方法及系统 | |
| Ping et al. | A deep learning approach for street pothole detection | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| CN111882620B (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
| CN109801297B (zh) | 一种基于卷积实现的图像全景分割预测优化方法 | |
| CN112614136B (zh) | 一种红外小目标实时实例分割方法及装置 | |
| CN110533022B (zh) | 一种目标检测方法、系统、装置及存储介质 | |
| CN115205264A (zh) | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 | |
| CN110991444A (zh) | 面向复杂场景的车牌识别方法及装置 | |
| CN110781882A (zh) | 一种基于yolo模型的车牌定位和识别方法 | |
| CN115862066A (zh) | 一种改进YOLOv5的轻量化社区场景下行人检测方法 | |
| CN113392669B (zh) | 一种图像信息检测方法、检测装置及存储介质 | |
| CN114037938B (zh) | 一种基于NFL-Net的低照度目标检测方法 | |
| CN111199255A (zh) | 基于darknet53网络的小目标检测网络模型及检测方法 | |
| CN113496480A (zh) | 一种焊缝图像缺陷的检测方法 | |
| CN116152226A (zh) | 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法 | |
| CN113723414B (zh) | 一种蒙面人脸遮挡物分割方法与装置 | |
| CN114140622B (zh) | 一种基于双分支网络的实时显著性检测图像方法 | |
| CN115223043A (zh) | 一种草莓缺陷检测方法、装置、计算机设备及存储介质 | |
| CN112487911A (zh) | 智能监控环境下基于改进yolov3的实时行人检测方法及装置 | |
| CN116721288A (zh) | 一种基于YOLOv5的安全帽检测方法及系统 | |
| CN110751150A (zh) | 一种基于fpga的二值神经网络车牌识别方法及系统 | |
| CN115376022A (zh) | 基于神经网络的小目标检测算法在无人机航拍中的应用 | |
| CN113223038A (zh) | 一种基于离散余弦变换的掩码表示的实例分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |