CN107194356A - 基于人工神经网络的人脸检测识别方法 - Google Patents

基于人工神经网络的人脸检测识别方法 Download PDF

Info

Publication number
CN107194356A
CN107194356A CN201710378921.5A CN201710378921A CN107194356A CN 107194356 A CN107194356 A CN 107194356A CN 201710378921 A CN201710378921 A CN 201710378921A CN 107194356 A CN107194356 A CN 107194356A
Authority
CN
China
Prior art keywords
face
image
neural network
artificial neural
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710378921.5A
Other languages
English (en)
Inventor
欧阳伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Police Academy
Original Assignee
Hunan Police Academy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Police Academy filed Critical Hunan Police Academy
Priority to CN201710378921.5A priority Critical patent/CN107194356A/zh
Publication of CN107194356A publication Critical patent/CN107194356A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于人工神经网络的人脸检测识别方法，包括图像的位置和姿态估计、预处理、检测、决断等步骤，还包括人脸训练及人脸训练图像样本的生成，所述人脸训练图像样本的生成方法包括选择初始人脸图像、标记特征点、标记特征点组合、形成多个人脸图像样本等步骤。本发明增加了非人脸的识别训练，能有效识别复杂背景中的人脸，人脸识别正确率可高达98%以上，同时图像检测前采用光照补偿处理方法，能消除光照影响。

Description

基于人工神经网络的人脸检测识别方法
技术领域
本发明属于人工智能和模式识别技术领域,具体涉及一种基于神经网络的人脸识别方法。
背景技术
人脸检测问题最初来源于人脸识别（FaceRecognition）。人脸识别的研究可以追溯到20世纪60-70年代，经过几十年的曲折发展已日趋成熟。人脸检测是自动人脸检测系统中的一个关键环节，也是面部表情识别、头部状态估计的必须技术。早期的人脸识别研究主要针对具有较强约束条件的人脸图像（如无背景的图像），往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展，人脸识别成为最有潜力的身份验证手段，这种应用背景要求自动人脸检测系统能够对一般环境中的人脸图像具有一定的适应能力。
人脸是一类具有相当复杂的细节变化的自然结构的目标，目前人脸检测所面临的问题可以归结如下：
图像平面内变化：脸部图像的最简单变化可以通过脸部本事的旋转、移动、缩放、镜像等独立地表示。本类同样包含所有的图像亮度、对比度变化以及被其他物体遮挡。
姿态变化：脸部某些方面的姿态变包含在图像平面变化中，比如旋转和平移。不在图像平面内的脸部旋转对表现会产生很大影响。另一类变化是脸部离摄像机的距离，会导致景物变形。
光线和肤色变化：目标及其环境引起的变化，特别是目标的表面特征和光源。光源的变化会引起脸部表现的强烈变化。
背景变化：当目标具有可预测的形状，就可以选取一个只包含此物体象素的窗口，并忽略背景。可是，对于侧脸，脸部本身的边界是至关重要的特征，并且每个人的形状都不一样。因此，边界是不可预测的，背景不能被简单地屏蔽或忽略。
形状变化：最后是目标本身的形状变化。对于人脸，此类变化包含了脸部表情，如嘴和眼睛的张开、闭合。
对于人脸检测问题，从不同的角度可以有多种分类方法。同时，人脸图像所包含的模式特征十分丰富，这些特征中哪些是最有用的、如何利用这些特征，是人脸检测要研究的主要问题。
发明内容
为了解决上述问题，本发明提供一种基于人工神经网络的人脸检测系统，采用的技术方案如下：
基于人工神经网络的人脸检测识别方法，包括以下步骤：
（1）位置和姿态估计：用神经网络分析图像中潜在的脸部区域并确定脸部姿态；
（2）预处理：图像进行预处理来改善图像的亮度和对比度；
（3）检测：在前两步对图像作位置、姿态和预处理后，由面检测器检测是否存在人脸；
（4）决断：通过利用启发式算法，将面检测器的检测结果合并在一起作决断，来增强人脸检测的正确率。
优选地，还包括人脸检测训练，训练方法如下：
（1）窗口输入图像样本；
（2）训练神经网络，对人脸图像样本输出1，非人脸图像样本输出-1；在循环的第一次迭代时，随即初始化网络的权重；
（3）使用上一次训练计算的权重做为下一次训练的起点。
优选地，在输入图像样本前还包括图像样本的处理，处理方法为：在20×20像素的窗口中，将图像调整为统一的大小、位置和方位；图像的扩缩率为与之间的随机因子，平移量为0.5像素以内的随机值。
优选地，所述人脸训练所需的图像样本的生成方法如下：
（1）选择初始人脸图像；
（2）依据头部的三维姿态，在每张人脸图样上标记特征点；
（3）不同人脸上的标记特征点组合；
（4）多次组合后，形成多个人脸图像样本。
优选地，所述标记特征点组合的原理为：相关特征点对之间的距离平方和为最小。
优选地，所述标记特征点组合的计算方法如下：当存在旋转、伸缩和移动时，相关特征点对之间的距离平方和为最小，即在二维形式下，坐标变换可以写为：
。
优选地，有多对相关的坐标集，上述公式扩展为：
用伪逆方法解此线形方程系统：命名左边的矩阵为A，矢量形式的变量为T，右边为B，此方程的伪逆解为：
伪逆解产生变换T是我们的初始目标，T最小化了坐标集与改造前的之间差的平方和。
在知道如何组合两组标记了的特征点后，按如下的过程不断组合特征点：
（1）初始化，这是一些初始特征位置的向量，也是所有脸部每一个被标记特征的平均位置；对于正面脸的组合，这些特征可以为输入窗口中两个眼睛的期望位置，其它姿态的人脸，这些位置应该来自头部的平均3D模型；
（2）对每一个人脸，使用组合程序来计算最合适的旋转、平移和伸缩来组合脸部特征，得到平均特征位置，已组合的特征位置记为；
（3）对每一人脸，通过已组合的特征位置的平均，更新；
（4）旋转、平移和伸缩特征坐标，使得最大限度地匹配一些标准的坐标，这些标准坐标像用于初始值一样的使用；
（5）转第2步；
（6）迭代多次后收敛，产生每一人脸与其它人脸组合的变换。
优选地，所述步骤（2）中预处理包括光照补偿。
优选地，所述光照补偿包括线性光照模型补偿。
优选地，所述光照补偿还包括商图像补偿。
本发明有益效果：
（1）本发明增加了非人脸的识别训练，能有效识别复杂背景中的人脸，人脸识别正确率可高达98%以上；
（2）图像检测前采用光照补偿处理方法，能消除光照影响。
具体实施方式
下面结合具体实施方式对本发明做进一步的说明。
实施例1
基于人工神经网络的人脸检测识别方法，包括以下步骤：
（1）位置和姿态估计：用神经网络分析图像中潜在的脸部区域并确定脸部姿态；
（2）预处理：图像进行预处理来改善图像的亮度和对比度；
（3）检测：在前两步对图像作位置、姿态和预处理后，由面检测器检测是否存在人脸；
（4）决断：通过利用启发式算法，将面检测器的检测结果合并在一起作决断，来增强人脸检测的正确率。
在人脸检测识别前，还包括人脸检测训练，训练方法如下：
（1）图像样本的处理，处理方法为：在20×20像素的窗口中，将图像调整为统一的大小、位置和方位；图像的扩缩率为与之间的随机因子，平移量为0.5像素以内的随机值；
（2）窗口输入图像样本；
（3）训练神经网络，对人脸图像样本输出1，非人脸图像样本输出-1；在循环的第一次迭代时，随即初始化网络的权重；
（4）使用上一次训练计算的权重做为下一次训练的起点。
本实施例中，所述人脸训练所需的图像样本的生成方法如下：
（1）选择初始人脸图像；
（2）依据头部的三维姿态，在每张人脸图样上标记特征点；
（3）不同人脸上的标记特征点组合；
（4）多次组合后，形成多个人脸图像样本。
其中所述标记特征点组合的原理为：相关特征点对之间的距离平方和为最小。具体如下：
当存在旋转、伸缩和移动时，相关特征点对之间的距离平方和为最小，即在二维形式下，坐标变换可以写为：
如果有多对相关的坐标集，可以扩展为：
当有两对及以上的不同特征点时，可以用伪逆方法（pseudo-inverse method）解此线形方程系统。命名左边的矩阵为A，矢量形式的变量为T，右边为B，此方程的伪逆解为：
伪逆解产生变换T是我们的初始目标，T最小化了坐标集与改造前的之间差的平方和。
在知道如何组合两组标记了的特征点后，按如下的过程不断组合特征点：
（1）初始化，这是一些初始特征位置的向量，也是所有脸部每一个被标记特征的平均位置。对于正面脸的组合，这些特征可以为输入窗口中两个眼睛的期望位置，其它姿态的人脸，这些位置应该来自头部的平均3D模型；
（2）对每一个人脸，使用组合程序来计算最合适的旋转、平移和伸缩来组合脸部特征，得到平均特征位置，已组合的特征位置记为；
（3）对每一人脸，通过已组合的特征位置的平均，更新；
（4）旋转、平移和伸缩特征坐标，使得最大限度地匹配一些标准的坐标。这些标准坐标像用于初始值一样的使用；
（5）转第2步；
（6）迭代多次后收敛，产生每一人脸与其它人脸组合的变换。
实施例2
本实施例与实施例1不同在于，在人脸检测识别的步骤（2）中预处理包括光照补偿；其中所述光照补偿包括线性光照模型补偿。
线性光照模型补偿的处理方法为：假设增加多个光源到场景中会导致图像是每一个光源单独作用下图像的和。作者进一步假设物体对一个独立的光源服从Lambertian光照模型，即光线在各个方向均匀地散射到物体表面。这意味着物体上一个点的亮度只依赖于物体的反射率和物体表面与光源方向间的角度，用以下方程（假设没有阴影）表示：
其中是像素点的亮度，是物体上该点的反射率，是物体表面的法线向量（相对于指向相机的向量），是物体相对于光源的向量，假设光线平行投射到物体上。
由于光源方向是可变的，所以也可变，但表面形状和反射率是固定的，因此这是一个线性方程。其中有三个参数，物体的图像空间（没有阴影）是三维子空间。子空间通过主量分析（principal components analysis (PCA)）从物体样例图中确定。子空间通过线性变化与法线向量集产生联系。如果我们想处理真实的法线向量，需要知道实际的光源方向。如果这些方向有效，系统可以象方程的过约束（over-constrained）集一样处理，直接解出而不需要用主分量分析（principalcomponents analysis）。实际上，我们将解出，但由于具有单位长度，因此可以分离出反射率。有了和，本质上是有了脸部的颜色和形状，就可以产生任何期望光照下的新人脸图像。
实施例3
本实施例与实施例2的不同在于图像光照补偿采用商图像补偿方法。
商图像补偿方法为：反复使用线性光照模型，即通过将输入图像投影到一个线性模型集组成的线性光照空间中，模拟投影找到，并最小化下述量：
其中，为输入图像，i是对所有n个光照模型求和，和第i个模型中像素点的对应反射率和法线向量。最优化结果为：向量表示输入图像中脸部的光照条件，利用一系列的线性模型来弥补人脸个体在反射率与形状之间的差别。在收集了多个脸部光照模型后，用以下方程计算脸部图像在同样条件下的平均图像：
输入图像被合成图像相除，产生所谓的“商图像”。商图像只包含新脸部的反射率和平均脸，在此假设所有脸具有相同的形状。再进一步，在正面光照上乘以平均脸既得处理后的图像：
。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的构思下，利用本发明说明书内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.基于人工神经网络的人脸检测识别方法，其特征在于，包括以下步骤：
（1）位置和姿态估计：用神经网络分析图像中潜在的脸部区域并确定脸部姿态；
（2）预处理：图像进行预处理来改善图像的亮度和对比度；
（3）检测：在前两步对图像作位置、姿态和预处理后，由面检测器检测是否存在人脸；
（4）决断：通过利用启发式算法，将面检测器的检测结果合并在一起作决断，来增强人脸检测的正确率。
2.根据权利要求1所述的基于人工神经网络的人脸检测方法，其特征在于，还包括人脸检测训练，训练方法如下：
（1）窗口输入图像样本；
（2）训练神经网络，对人脸图像样本输出1，非人脸图像样本输出-1；在循环的第一次迭代时，随即初始化网络的权重；
（3）使用上一次训练计算的权重做为下一次训练的起点。
3.根据权利要求2所述的基于人工神经网络的人脸检测方法，其特征在于，在（1）还包括图像样本的处理，处理方法为：在20×20像素的窗口中，将图像调整为统一的大小、位置和方位；图像的扩缩率为与之间的随机因子，平移量为0.5像素以内的随机值。
4.根据权利要求2或3所述的基于人工神经网络的人脸检测方法，其特征在于，所述人脸训练所需的图像样本的生成方法如下：
（1）选择初始人脸图像；
（2）依据头部的三维姿态，在每张人脸图样上标记特征点；
（3）不同人脸上的标记特征点组合；
（4）多次组合后，形成多个人脸图像样本。
5.根据权利要求4所述的基于人工神经网络的人脸检测方法，其特征在于，所述标记特征点组合的原理为：相关特征点对之间的距离平方和为最小。
6.根据权利要求1所述的基于人工神经网络的人脸检测方法，其特征在于，所述标记特征点组合的计算方法如下：当存在旋转、伸缩和移动时，相关特征点对之间的距离平方和为最小，即在二维形式下，坐标变换可以写为：
。
7.根据权利要求6所述的基于人工神经网络的人脸检测方法，其特征在于，有多对相关的坐标集，上述公式扩展为：
用伪逆方法解此线形方程系统：命名左边的矩阵为A，矢量形式的变量为T，右边为B，此方程的伪逆解为：
伪逆解产生变换T是我们的初始目标，T最小化了坐标集与改造前的之间差的平方和；
在知道如何组合两组标记了的特征点后，按如下的过程不断组合特征点：
（1）初始化，这是一些初始特征位置的向量，也是所有脸部每一个被标记特征的平均位置；
对于正面脸的组合，这些特征可以为输入窗口中两个眼睛的期望位置，其它姿态的人脸，这些位置应该来自头部的平均3D模型；
（2）对每一个人脸，使用组合程序来计算最合适的旋转、平移和伸缩来组合脸部特征，得到平均特征位置，已组合的特征位置记为；
（3）对每一人脸，通过已组合的特征位置的平均，更新；
（4）旋转、平移和伸缩特征坐标，使得最大限度地匹配一些标准的坐标，这些标准坐标像用于初始值一样的使用；
（5）转第2步；
（6）迭代多次后收敛，产生每一人脸与其它人脸组合的变换。
8.根据权利要求1所述的基于人工神经网络的人脸检测方法，其特征在于，所述步骤（2）中预处理包括光照补偿。
9.根据权利要求8所述的基于人工神经网络的人脸检测方法，其特征在于，所述光照补偿包括线性光照模型补偿。
10.根据权利要求8所述的基于人工神经网络的人脸检测方法，其特征在于，所述光照补偿还包括商图像补偿。
CN201710378921.5A 2017-05-25 2017-05-25 基于人工神经网络的人脸检测识别方法 Pending CN107194356A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710378921.5A CN107194356A (zh) 2017-05-25 2017-05-25 基于人工神经网络的人脸检测识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710378921.5A CN107194356A (zh) 2017-05-25 2017-05-25 基于人工神经网络的人脸检测识别方法

Publications (1)

Publication Number Publication Date
CN107194356A true CN107194356A (zh) 2017-09-22

Family

ID=59874896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710378921.5A Pending CN107194356A (zh) 2017-05-25 2017-05-25 基于人工神经网络的人脸检测识别方法

Country Status (1)

Country Link
CN (1) CN107194356A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815905A (zh) * 2019-01-24 2019-05-28 深圳市梦网百科信息技术有限公司 一种逆光光源人脸图像检测方法和系统
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
WO2020037678A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN111008929A (zh) * 2019-12-19 2020-04-14 维沃移动通信（杭州）有限公司 图像矫正方法及电子设备
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN113807327A (zh) * 2021-11-18 2021-12-17 武汉博特智能科技有限公司 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HENRY A.ROWLEY: "Neural Network-Based Face Detection", 《DOCTORAL DISSERTATION》 *
梁雪梅: "基于增量学习和ASM的人脸表情分析与识别", 《计算机应用与软件》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020037678A1 (zh) * 2018-08-24 2020-02-27 太平洋未来科技（深圳）有限公司 基于遮挡图像生成三维人脸图像方法、装置及电子设备
CN109815905A (zh) * 2019-01-24 2019-05-28 深圳市梦网百科信息技术有限公司 一种逆光光源人脸图像检测方法和系统
CN109815905B (zh) * 2019-01-24 2022-12-23 深圳市梦网视讯有限公司 一种逆光光源人脸图像检测方法和系统
CN109934115A (zh) * 2019-02-18 2019-06-25 苏州市科远软件技术开发有限公司 人脸识别模型的构建方法、人脸识别方法及电子设备
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111079764B (zh) * 2019-12-06 2023-04-07 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置
CN111008929A (zh) * 2019-12-19 2020-04-14 维沃移动通信（杭州）有限公司 图像矫正方法及电子设备
CN111008929B (zh) * 2019-12-19 2023-09-26 维沃移动通信（杭州）有限公司 图像矫正方法及电子设备
CN113807327A (zh) * 2021-11-18 2021-12-17 武汉博特智能科技有限公司 一种基于光线补偿的深度学习侧脸图像处理方法及系统

Similar Documents

Publication Publication Date Title
CN107194356A (zh) 基于人工神经网络的人脸检测识别方法
CN109636831B (zh) 一种估计三维人体姿态及手部信息的方法
Neverova et al. Dense pose transfer
Mehta et al. Monocular 3d human pose estimation in the wild using improved cnn supervision
Rhodin et al. Egocap: egocentric marker-less motion capture with two fisheye cameras
Chang et al. Clkn: Cascaded lucas-kanade networks for image alignment
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
Wang et al. Action recognition from depth maps using deep convolutional neural networks
Wu et al. Action recognition using context and appearance distribution features
US20180012411A1 (en) Augmented Reality Methods and Devices
US11893789B2 (en) Deep neural network pose estimation system
Bednarik et al. Learning to reconstruct texture-less deformable surfaces from a single view
Rogez et al. Image-based synthesis for deep 3D human pose estimation
Rambach et al. Learning 6dof object poses from synthetic single channel images
Hofmann et al. Multi-view 3d human pose estimation combining single-frame recovery, temporal integration and model adaptation
Liu et al. Enhanced 3D human pose estimation from videos by using attention-based neural network with dilated convolutions
Akada et al. Unrealego: A new dataset for robust egocentric 3d human motion capture
Scheck et al. Learning from theodore: A synthetic omnidirectional top-view indoor dataset for deep transfer learning
CN108846348A (zh) 一种基于三维骨骼特征的人体行为识别方法
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
JP2012113438A (ja) 姿勢推定装置および姿勢推定プログラム
McIlroy et al. Kinectrack: Agile 6-dof tracking using a projected dot pattern
Xue et al. Event-based non-rigid reconstruction from contours

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922

RJ01 Rejection of invention patent application after publication