CN110414394A - 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 - Google Patents

一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 Download PDF

Info

Publication number
CN110414394A
CN110414394A CN201910639392.9A CN201910639392A CN110414394A CN 110414394 A CN110414394 A CN 110414394A CN 201910639392 A CN201910639392 A CN 201910639392A CN 110414394 A CN110414394 A CN 110414394A
Authority
CN
China
Prior art keywords
layer
block
face
natural number
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910639392.9A
Other languages
English (en)
Other versions
CN110414394B (zh
Inventor
田强
李志远
周卫东
吴国英
张治安
邱旭华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongdun Anxin Technology Development Co ltd
First Research Institute of Ministry of Public Security
Original Assignee
First Research Institute of Ministry of Public Security
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by First Research Institute of Ministry of Public Security filed Critical First Research Institute of Ministry of Public Security
Priority to CN201910639392.9A priority Critical patent/CN110414394B/zh
Publication of CN110414394A publication Critical patent/CN110414394A/zh
Application granted granted Critical
Publication of CN110414394B publication Critical patent/CN110414394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

人脸识别不可避免地会受到遮挡的影响，如环境遮挡、眼镜、围巾、口罩或者是人为故意的遮挡。遮挡会引起人脸信息部分甚至全部的丢失，从而导致错误的识别。由于造成遮挡的原因是多样的，形态是千变万化的，如何消除复杂多变的遮挡给人脸识别带来的困难，一直是一个极富挑战性的研究课题。针对上述问题，本发明提出了一种面部遮挡人脸图像重建方法，包括一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型、遮挡检测方法和基于图像纹理分割最佳相似度块匹配的面部遮挡区域重建方法。

Description

一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的 模型
技术领域
本发明涉及及计算机软件开发编程技术领域，具体涉及一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型。
背景技术
主流的图像修复方法为基于Criminisi的算法图像修复，其现有相关技术包括通过人工方式标记图像的破损区域，在最优块选择时只考虑了块与块之间的颜色差别，没有考虑局部特征优化匹配，同时算法基于全局图像进行修复，修复后的效果差。
通常遮挡图像修复方法如图1所示。其流程如下所述：
1)标记图像的破损区域；
2)判断破损区域是否为空，若空则停止修复；
3)采用Criminisi算法从图像已知区域中寻找最优匹配块；
4)用最优匹配块对待修复样本块进行填补，更新破损区域及源区域，重复步骤1～3。
进一步的，现有技术还存在以下缺陷：
1)破损图像修复位置需要人工标注，无法实现自动标注；
2)基于图像全局开始，修复没有对脸部五官局部区域进行分析，使得重建图像的局部协调性和边界的平滑性较差；
3)Criminisi算法的匹配准则中，只考虑了块与块之间的颜色差别，没有考虑局部特征优化匹配。
发明内容
鉴于现有技术的不足，本发明旨在于提供一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型，通过建立的面部遮挡检测模型，能够自动实现对面部遮挡、前额、眼睛、鼻子、嘴巴及下巴进行遮挡检测；遮挡重建针对面部前额、眼睛、鼻子、嘴巴及下巴的局部区域进行重建，使得重建图像的色彩柔和、边界更平滑；最佳算法匹配时，及考虑了块与块之间的颜色差别，有考虑了局部特征优化，故重建效果更佳。
为解决上述技术问题，本发明提供的技术方案如下：
一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型,包括对人脸区域进行检测，以及对前额、眼睛、鼻子、嘴巴、下巴区域进行检测，对人脸区域进行检测的网络结构分为3层级联结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；
输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc1的核，s1 的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,p1要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层采用p2Xp2 的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s4的步长的卷积操作；全连接层由128个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n2要求为4的整数倍，c2要求为小于9的自然数；s3要求为小于9的自然数,p2要求为小于9的自然数，s4要求为小于9的自然数，c3要求为小于9的自然数,s5要求为小于9的自然数；
第3级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用采用n3xn3x3数据体积要求；卷积层1采用c4X c4的核，s6的步长的卷积操作；最大池化层采用 p3Xp3的核，s7的步长的池化操作；卷积层2采用c5X c5的核，s8的步长的卷积操作；全连接层由200个神经元组成；分类层采用2分类器模型；网络中激活函数采用ReLU激活函数；其中，n3要求为4 的整数倍，c4要求为小于9的自然数；s6要求为小于9的自然数,p3 要求为小于9的自然数,s7为小于9的自然数，c5要求为小于9的自然数；s8要求为小于9的自然数；
对前额、眼睛、鼻子、嘴巴、下巴区域进行检测的网络结构均为相同的2层级联网络结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc2 的核，s1的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；所述n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,c2要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、全连接层和分类层8部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层1采用p2Xp2的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s5的步长的卷积操作；最大池化层2采用p3Xp3的核，s5的步长的池化操作；卷积层3采用c4Xc4 的核，s6的步长的卷积操作；全连接层由128个神经元组成；分类层采用2的分类器模型；网络中激活函数采用ReLU激活函数。
对于本发明的一种应用，一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型实现的面部遮挡人脸图像重建方法，所述方法包括：
S1利用预先建立的人脸遮挡图像样本库训练所构建的一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型；所述人脸遮挡检测模型在于将整幅图像分为人脸区域和背景区域；所述人脸区域进一步局部分块，将人脸区域从上到下可以分为5个明显的特征区域，即前额、眼睛、鼻子、嘴巴及下巴；训练后为脸部、5个局部区域前额、眼睛、鼻子、嘴巴及下巴分别生成对应的遮挡检测器Di(1≤i≤6)；
S2把遮挡待重建图像输入I到训练好的遮挡模型中Di，分别进行遮挡检测，并获取面部遮不同局部遮挡区域块边界位置Bi及图像 Mi,遮挡检测按照遮挡模型依次进行人脸、前额、眼睛、鼻子、嘴巴和下巴遮挡检测；
S3针对面部任一遮挡区域块Bi，获取最佳相似块，从图像Mi 中获取待修复局部区域Bi，从人脸图像库中获取搜索相似块，并挑选相似度最大的块为最佳匹配块S；所述Mi为前额、眼睛、鼻子、嘴巴和下巴遮挡，若为人脸面部遮挡，则终止重建；将最佳匹配块S 和替换图像Mi中遮挡待部分Bi，并进行边界平滑后完成遮挡部分重建。
S4按最佳相似块重建方法，重建其他所有遮挡块，完成遮挡重建。
需要说明的是，获取最佳相似块重建局部遮挡区域，其最佳相似块搜索不是在全局进行，而是被限制在与当前局部遮挡区域内，包括如下步骤：
步骤101：根据面部局部遮挡区域边界轮廓线Bi及输出图像Mi，获取重建区域像素块Ω和已知像素区域φ，则φ＝I-Ω；
步骤102：对待重建区域子块Ω，对图像Mi纹理分割，分割块为Ψp，Ψp块大小为9X9,其中心像素点为p。
步骤103：提取待重建区域边界δΩ，初始时δΩ＝Bi；
步骤104：判断是否还有待重建区域，既若没有待重建区域，则该重建完成，否则执行下一步。
步骤105：存在待重建区域，则计算重建块Ψp各点的优先权，并找到优先权最大的块，设为最佳匹配块，根据计算完图像块的优先顺序后，将按照此顺序依次在完整图像区域中寻找与遮挡图像块最匹配的图像块；
待重建块为分割块为Ψp，最佳相似块为Ψq，采用感知距离d(Ψ p，Ψq)作为优先级，则
式中c(q)为置信度
R(x)、G(x)、B(X)表示待修复样本块Ψp内的任意像素点x的RGB 分量，R(y)、G(y)、B(y)表示待修复样本块Ψq内的任意像素点y的 RGB分量。
步骤106：将最佳匹配块像素值拷贝到对应的未知像素区域；
步骤107：更新遮挡修复区域和边界δΩ，并标记该块Ψp已经重建，重复步骤104～步骤106。
本发明有益效果在于：
建立了遮挡检测模型，针对面部不同遮挡区域采用不同的检测模型，使得遮挡区域检测更精确，增加了重建区域的精确性；优化了遮挡最优算法，使得匹配模块更精确；本发明在遮挡重建前，首先进行了人脸检测，排除了非人脸照片干扰，加快了检测流程。
附图说明
图1为现有技术的流程示意图；
图2为本发明基于级联多个浅层卷积神经网络的人脸遮挡检测网络结构模型的示意图；
图3为本发明面部遮挡人脸图像重建方法的流程示意图；
图4为本发明获取最佳相似块重建局部遮挡区域的流程示意图；
图5a为本发明实施例中遮挡图像处理前的示例图；
图5b为本发明实施例中遮挡图像处理后的示例图；
图6为本发明实施例中的实施流程示意图。
具体实施方式
下面通过附图与实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。
如图2所示，本发明为一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型,包括对人脸区域进行检测，以及对前额、眼睛、鼻子、嘴巴、下巴区域进行检测，对人脸区域进行检测的网络结构分为 3层级联结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；
输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc1的核，s1 的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,p1要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层采用p2Xp2 的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s4的步长的卷积操作；全连接层由128个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n2要求为4的整数倍，c2要求为小于9的自然数；s3要求为小于9的自然数,p2要求为小于9的自然数，s4要求为小于9的自然数，c3要求为小于9的自然数,s5要求为小于9的自然数；
第3级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用采用n3xn3x3数据体积要求；卷积层1采用c4X c4的核，s6的步长的卷积操作；最大池化层采用 p3Xp3的核，s7的步长的池化操作；卷积层2采用c5X c5的核，s8的步长的卷积操作；全连接层由200个神经元组成；分类层采用2分类器模型；网络中激活函数采用ReLU激活函数；其中，n3要求为4 的整数倍，c4要求为小于9的自然数；s6要求为小于9的自然数,p3 要求为小于9的自然数,s7为小于9的自然数，c5要求为小于9的自然数；s8要求为小于9的自然数；
对前额、眼睛、鼻子、嘴巴、下巴区域进行检测的网络结构均为相同的2层级联网络结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc2 的核，s1的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；所述n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,c2要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、全连接层和分类层8部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层1采用p2Xp2的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s5的步长的卷积操作；最大池化层2采用p3Xp3的核，s5的步长的池化操作；卷积层3采用c4Xc4 的核，s6的步长的卷积操作；全连接层由128个神经元组成；分类层采用2的分类器模型；网络中激活函数采用ReLU激活函数。
如图3所示，对于本发明的一种应用，一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型实现的面部遮挡人脸图像重建方法，所述方法包括：
S1利用预先建立的人脸遮挡图像样本库训练所构建的一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型；所述人脸遮挡检测模型在于将整幅图像分为人脸区域和背景区域；所述人脸区域进一步局部分块，将人脸区域从上到下可以分为5个明显的特征区域，即前额、眼睛、鼻子、嘴巴及下巴；训练后为脸部、5个局部区域前额、眼睛、鼻子、嘴巴及下巴分别生成对应的遮挡检测器Di(1≤i≤6)；
S2把遮挡待重建图像输入I到训练好的遮挡模型中Di，分别进行遮挡检测，并获取面部遮不同局部遮挡区域块边界位置Bi及图像 Mi,遮挡检测按照遮挡模型依次进行人脸、前额、眼睛、鼻子、嘴巴和下巴遮挡检测；
S3针对面部任一遮挡区域块Bi，获取最佳相似块，从图像Mi 中获取待修复局部区域Bi，从人脸图像库中获取搜索相似块，并挑选相似度最大的块为最佳匹配块S；所述Mi为前额、眼睛、鼻子、嘴巴和下巴遮挡，若为人脸面部遮挡，则终止重建；将最佳匹配块S 和替换图像Mi中遮挡待部分Bi，并进行边界平滑后完成遮挡部分重建。
S4按最佳相似块重建方法，重建其他所有遮挡块，完成遮挡重建。
进一步的，如图4所示，获取最佳相似块重建局部遮挡区域，其最佳相似块搜索不是在全局进行，而是被限制在与当前局部遮挡区域内，包括如下步骤：
步骤101：根据面部局部遮挡区域边界轮廓线Bi及输出图像Mi，获取重建区域像素块Ω和已知像素区域φ，则φ＝I-Ω；
步骤102：对待重建区域子块Ω，对图像Mi纹理分割，分割块为Ψp，Ψp块大小为9X9,其中心像素点为p。
步骤103：提取待重建区域边界δΩ，初始时δΩ＝Bi；
步骤104：判断是否还有待重建区域，既若没有待重建区域，则该重建完成，否则执行下一步。
步骤105：存在待重建区域，则计算重建块Ψp各点的优先权，并找到优先权最大的块，设为最佳匹配块，根据计算完图像块的优先顺序后，将按照此顺序依次在完整图像区域中寻找与遮挡图像块最匹配的图像块；
待重建块为分割块为Ψp，最佳相似块为Ψq，采用感知距离d(Ψ p，Ψq)作为优先级，则
式中c(q)为置信度
R(x)、G(x)、B(X)表示待修复样本块Ψp内的任意像素点x的RGB 分量，R(y)、G(y)、B(y)表示待修复样本块Ψq内的任意像素点y的 RGB分量。
步骤106：将最佳匹配块像素值拷贝到对应的未知像素区域；
步骤107：更新遮挡修复区域和边界δΩ，并标记该块Ψp已经重建，重复步骤104～步骤106。
实施例
遮挡图像如图5a所示，遮挡处理后如图5b所示，具体实施流程 如图6所示，步骤如下：
1)模型训练参数为：
a)人脸区域检测网络结构分为3层级联结构；
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成。输入采用16x16x1的数据体积要求；卷积层采用4X4 的核，2的步长的卷积操作；最大池化层采用3X3的核，2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型。卷积层与池化层的连接方式为随机连接，网络中激活函数采用ReLU 激活函数。
第2级网络结构由输入、卷积层1、最大池化层、卷积层2、全连接层和分类层6部分组成。输入采用32x32x1的数据体积要求；卷积层1采用4X4的核，2的步长的卷积操作；最大池化层采用3X3的核，2的步长的池化操作；卷积层2采用5X5的核，1的步长的卷积操作；全连接层由128个神经元组成；分类层采用2分类器模型。卷积层与池化层的连接方式为随机连接，网络中激活函数采用ReLU激活函数。
第3级网络结构由输入、卷积层1、最大池化层、卷积层2、全连接层和分类层6部分组成。输入采用采用48x48x1的数据体积要求；卷积层1采用6X6的核，2的步长的卷积操作；最大池化层采用2X2 的核，1的步长的池化操作；卷积层2采用3X3的核，1的步长的卷积操作；全连接层由200个神经元组成；分类层采用2分类器模型。网络中激活函数采用ReLU激活函数。
b)前额、眼睛、鼻子、嘴巴、下巴区域检测网络结构均为相同的2层级联网络结构；
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成。输入采用32x32x1的数据体积要求；卷积层采用2X2 的核，2的步长的卷积操作；最大池化层采用3X3的核，1的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型。卷积层与池化层的连接方式为随机连接，网络中激活函数采用ReLU 激活函数。
第2级网络结构由输入、卷积层1、最大池化层1、卷积层2、最大池化层2、卷积层3、全连接层和分类层8部分组成。输入采用 32x32x1的数据体积要求；卷积层1采用5X5的核，1的步长的卷积操作；最大池化层1采用3X3的核，1的步长的池化操作；卷积层2 采用3X3的核，1的步长的卷积操作；最大池化层2采用3X3的核， 1的步长的池化操作；卷积层3采用3X3的核，1的步长的卷积操作；全连接层由128个神经元组成；分类层采用2的分类器模型。网络中激活函数采用ReLU激活函数。
2)具体流程为：
步骤201：对输入图像到训练后的模型，进行遮挡检测，输出全部面部、前额、眼睛、鼻子、嘴巴、下巴区域是否遮挡，若遮挡，分别给出遮挡轮廓线；
步骤202：判断是否为全部面部遮挡，判断为全部面部遮挡，跳转步骤213，结束重建；
步骤203：判断是前额是否遮挡，若无遮挡，则跳转步骤205；
步骤204：若前额遮挡，采用最佳相似块重建局部前额区域；
步骤205：判断是眼睛是否遮挡，若无遮挡，则跳转步骤207；
步骤206：若眼睛遮挡，采用最佳相似块重建局部眼睛区域；
步骤207：判断是鼻子是否遮挡，若无遮挡，则跳转步骤209；
步骤208：若鼻子遮挡，采用最佳相似块重建局部鼻子区域；
步骤209：判断是嘴巴是否遮挡，若无遮挡，则跳转步骤211；
步骤210：若嘴巴遮挡，采用最佳相似块重建局部嘴巴区域；
步骤211：判断是下巴是否遮挡，若无遮挡，则跳转步骤213；
步骤212：若下巴遮挡，采用最佳相似块重建局部下巴区域；
步骤213：重建完成结束。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (3)

1.一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型,包括对人脸区域进行检测，以及对前额、眼睛、鼻子、嘴巴、下巴区域进行检测，其特征在于，对人脸区域进行检测的网络结构分为3层级联结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；
输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc1的核，s1的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,p1要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层采用p2Xp2的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s4的步长的卷积操作；全连接层由128个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；其中，n2要求为4的整数倍，c2要求为小于9的自然数；s3要求为小于9的自然数,p2要求为小于9的自然数，s4要求为小于9的自然数，c3要求为小于9的自然数,s5要求为小于9的自然数；
第3级网络结构由输入、第一卷积层、最大池化层、第二卷积层、全连接层和分类层6部分组成；输入采用采用n3xn3x3数据体积要求；卷积层1采用c4X c4的核，s6的步长的卷积操作；最大池化层采用p3Xp3的核，s7的步长的池化操作；卷积层2采用c5X c5的核，s8的步长的卷积操作；全连接层由200个神经元组成；分类层采用2分类器模型；网络中激活函数采用ReLU激活函数；其中，n3要求为4的整数倍，c4要求为小于9的自然数；s6要求为小于9的自然数,p3要求为小于9的自然数,s7为小于9的自然数，c5要求为小于9的自然数；s8要求为小于9的自然数；
对前额、眼睛、鼻子、嘴巴、下巴区域进行检测的网络结构均为相同的2层级联网络结构，包括
第1级网络结构由输入、卷积层、最大池化层、全连接层和分类层5部分组成；输入采用n1Xn1X3数据体积要求；卷积层采用c1Xc2的核，s1的步长的卷积操作；最大池化层采用p1Xp1的核，s2的步长的池化操作；全连接层由96个神经元组成；分类层采用2分类器模型；卷积层与池化层为随机连接，网络中激活函数采用ReLU激活函数；所述n1要求为4的整数倍，c1要求为小于9的自然数,s1要求为小于9的自然数,c2要求为小于9的自然数，s2要求为小于9的自然数；
第2级网络结构由输入、第一卷积层、第一最大池化层、第二卷积层、第二最大池化层、第三卷积层、全连接层和分类层8部分组成；输入采用n2Xn2X3数据体积要求；卷积层1采用c2Xc2的核，s3的步长的卷积操作；最大池化层1采用p2Xp2的核，s4的步长的池化操作；卷积层2采用c3Xc3的核，s5的步长的卷积操作；最大池化层2采用p3Xp3的核，s5的步长的池化操作；卷积层3采用c4Xc4的核，s6的步长的卷积操作；全连接层由128个神经元组成；分类层采用2的分类器模型；网络中激活函数采用ReLU激活函数。
2.一种基于权利要求1所述的基于级联多个浅层卷积神经网络的人脸遮挡检测模型实现的面部遮挡人脸图像重建方法，其特征在于，所述方法包括：
S1利用预先建立的人脸遮挡图像样本库训练所构建的一种基于级联多个浅层卷积神经网络的人脸遮挡检测模型；所述人脸遮挡检测模型在于将整幅图像分为人脸区域和背景区域；所述人脸区域进一步局部分块，将人脸区域从上到下可以分为5个明显的特征区域，即前额、眼睛、鼻子、嘴巴及下巴；训练后为脸部、5个局部区域前额、眼睛、鼻子、嘴巴及下巴分别生成对应的遮挡检测器Di(1≤i≤6)；
S2把遮挡待重建图像输入I到训练好的遮挡模型中Di，分别进行遮挡检测，并获取面部遮不同局部遮挡区域块边界位置Bi及图像Mi,遮挡检测按照遮挡模型依次进行人脸、前额、眼睛、鼻子、嘴巴和下巴遮挡检测；
S3针对面部任一遮挡区域块Bi，获取最佳相似块，从图像Mi中获取待修复局部区域Bi，从人脸图像库中获取搜索相似块，并挑选相似度最大的块为最佳匹配块S；所述Mi为前额、眼睛、鼻子、嘴巴和下巴遮挡，若为人脸面部遮挡，则终止重建；将最佳匹配块S和替换图像Mi中遮挡待部分Bi，并进行边界平滑后完成遮挡部分重建。
S4按最佳相似块重建方法，重建其他所有遮挡块，完成遮挡重建。
3.根据权利要求2所述的面部遮挡人脸图像重建方法，其特征在于，获取最佳相似块重建局部遮挡区域，其最佳相似块搜索不是在全局进行，而是被限制在与当前局部遮挡区域内，包括如下步骤：
步骤101：根据面部局部遮挡区域边界轮廓线Bi及输出图像Mi，获取重建区域像素块Ω和已知像素区域φ，则φ＝I-Ω；
步骤102：对待重建区域子块Ω，对图像Mi纹理分割，分割块为Ψp，Ψp块大小为9X9,其中心像素点为p。
步骤103：提取待重建区域边界δΩ，初始时δΩ＝Bi；
步骤104：判断是否还有待重建区域，既若没有待重建区域，则该重建完成，否则执行下一步。
步骤105：存在待重建区域，则计算重建块Ψp各点的优先权，并找到优先权最大的块，设为最佳匹配块，根据计算完图像块的优先顺序后，将按照此顺序依次在完整图像区域中寻找与遮挡图像块最匹配的图像块；
待重建块为分割块为Ψp，最佳相似块为Ψq，采用感知距离d(Ψp，Ψq)作为优先级，则
式中c(q)为置信度
R(x)、G(x)、B(X)表示待修复样本块Ψp内的任意像素点x的RGB分量，R(y)、G(y)、B(y)表示待修复样本块Ψq内的任意像素点y的RGB分量。
步骤106：将最佳匹配块像素值拷贝到对应的未知像素区域；
步骤107：更新遮挡修复区域和边界δΩ，并标记该块Ψp已经重建，重复步骤104～步骤106。
CN201910639392.9A 2019-07-16 2019-07-16 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型 Active CN110414394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910639392.9A CN110414394B (zh) 2019-07-16 2019-07-16 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910639392.9A CN110414394B (zh) 2019-07-16 2019-07-16 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型

Publications (2)

Publication Number Publication Date
CN110414394A true CN110414394A (zh) 2019-11-05
CN110414394B CN110414394B (zh) 2022-12-13

Family

ID=68361610

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910639392.9A Active CN110414394B (zh) 2019-07-16 2019-07-16 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型

Country Status (1)

Country Link
CN (1) CN110414394B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN111523473A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
CN111680597A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN111724522A (zh) * 2020-05-25 2020-09-29 浙江大华技术股份有限公司 一种门禁控制系统、方法、装置、控制设备及存储介质
CN111814571A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种基于背景过滤的口罩人脸识别方法及系统
CN111815790A (zh) * 2020-07-10 2020-10-23 成都智元汇信息技术股份有限公司 一种基于人脸识别的地铁乘车检票方法
CN112308135A (zh) * 2020-10-29 2021-02-02 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路动车撒砂管松脱故障检测方法
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法
CN112907608A (zh) * 2021-03-17 2021-06-04 北京智象云中医科技有限公司 一种基于深度学习的中医红外图像人体分割算法
CN113011216A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN113705466A (zh) * 2021-08-30 2021-11-26 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN113744384A (zh) * 2020-05-29 2021-12-03 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
WO2023272725A1 (zh) * 2021-07-02 2023-01-05 华为技术有限公司 人脸图像处理方法、装置和车辆
CN116311553A (zh) * 2023-05-17 2023-06-23 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868689A (zh) * 2016-02-16 2016-08-17 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868689A (zh) * 2016-02-16 2016-08-17 杭州景联文科技有限公司 一种基于级联卷积神经网络的人脸遮挡检测方法
CN107292256A (zh) * 2017-06-14 2017-10-24 西安电子科技大学 基于辅任务的深度卷积小波神经网络表情识别方法
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127308A (zh) * 2019-12-08 2020-05-08 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN111127308B (zh) * 2019-12-08 2023-06-30 复旦大学 用于局部遮挡下单样本人脸识别的镜像特征重排修复方法
CN113011216A (zh) * 2019-12-19 2021-06-22 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN113011216B (zh) * 2019-12-19 2024-04-02 合肥君正科技有限公司 一种多分类阈值自适应的遮挡检测方法
CN111523473B (zh) * 2020-04-23 2023-09-26 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
CN111523473A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 口罩佩戴识别方法、装置、设备和可读存储介质
CN111724522A (zh) * 2020-05-25 2020-09-29 浙江大华技术股份有限公司 一种门禁控制系统、方法、装置、控制设备及存储介质
CN111724522B (zh) * 2020-05-25 2022-04-08 浙江大华技术股份有限公司 一种门禁控制系统、方法、装置、控制设备及存储介质
CN111680597A (zh) * 2020-05-29 2020-09-18 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN113744384B (zh) * 2020-05-29 2023-11-28 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN111680597B (zh) * 2020-05-29 2023-09-01 北京百度网讯科技有限公司 人脸识别模型处理方法、装置、设备和存储介质
CN113744384A (zh) * 2020-05-29 2021-12-03 北京达佳互联信息技术有限公司 三维人脸重建方法、装置、电子设备及存储介质
CN111814571A (zh) * 2020-06-12 2020-10-23 深圳禾思众成科技有限公司 一种基于背景过滤的口罩人脸识别方法及系统
CN111815790A (zh) * 2020-07-10 2020-10-23 成都智元汇信息技术股份有限公司 一种基于人脸识别的地铁乘车检票方法
CN112308135A (zh) * 2020-10-29 2021-02-02 哈尔滨市科佳通用机电股份有限公司 基于深度学习的铁路动车撒砂管松脱故障检测方法
CN112597854A (zh) * 2020-12-15 2021-04-02 重庆电子工程职业学院 无配合式人脸识别系统及方法
CN112907608A (zh) * 2021-03-17 2021-06-04 北京智象云中医科技有限公司 一种基于深度学习的中医红外图像人体分割算法
WO2023272725A1 (zh) * 2021-07-02 2023-01-05 华为技术有限公司 人脸图像处理方法、装置和车辆
CN113705466A (zh) * 2021-08-30 2021-11-26 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN113705466B (zh) * 2021-08-30 2024-02-09 浙江中正智能科技有限公司 用于遮挡场景、尤其高仿遮挡下的人脸五官遮挡检测方法
CN116311553A (zh) * 2023-05-17 2023-06-23 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置
CN116311553B (zh) * 2023-05-17 2023-08-15 武汉利楚商务服务有限公司 应用于半遮挡图像下的人脸活体检测方法及装置

Also Published As

Publication number Publication date
CN110414394B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN110414394A (zh) 一种面部遮挡人脸图像重建方法以及用于人脸遮挡检测的模型
CN105981008B (zh) 学习深度人脸表示
CN103839223B (zh) 图像处理方法及装置
CN109583483A (zh) 一种基于卷积神经网络的目标检测方法和系统
CN103186894B (zh) 一种自适应分块的多聚焦图像融合方法
CN107749052A (zh) 基于深度学习神经网络的图像去雾方法及系统
CN107871125A (zh) 违章建筑识别方法、装置及电子设备
CN110033332A (zh) 一种人脸识别方法、系统及电子设备和存储介质
CN109410168A (zh) 用于确定图像中的子图块的类别的卷积神经网络模型的建模方法
CN105139004A (zh) 基于视频序列的人脸表情识别方法
CN110008962A (zh) 基于注意力机制的弱监督语义分割方法
CN109858487A (zh) 基于分水岭算法和图像类别标签的弱监督语义分割方法
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN106023098B (zh) 基于张量结构多字典学习与稀疏编码的图像修补方法
CN109584153A (zh) 修饰眼部的方法、装置和系统
CN109801225A (zh) 基于多任务全卷积神经网络的人脸网纹污迹去除方法
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN106339984A (zh) 基于k均值驱动卷积神经网络的分布式图像超分辨方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN110059677A (zh) 基于深度学习的数字表识别方法及设备
CN109614856A (zh) 基于卷积神经网络的真菌图像分类方法
CN109829868A (zh) 一种轻量级深度学习模型图像去雾方法、电子设备及介质
CN106203496A (zh) 基于机器学习的水文曲线提取方法
CN109949248A (zh) 修改车辆在图像中的颜色的方法、装置、设备及介质
KR102430743B1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210722

Address after: 100048 No. 1, South Road, capital gymnasium, Beijing, Haidian District

Applicant after: THE FIRST Research Institute OF MINISTRY OF PUBLIC SECURITY

Applicant after: Beijing ZHONGDUN Anxin Technology Development Co.,Ltd.

Address before: 100048 No. 1, South Road, capital gymnasium, Beijing, Haidian District

Applicant before: THE FIRST Research Institute OF MINISTRY OF PUBLIC SECURITY

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant