CN107220612B - 以关键点局部邻域的高频分析为核心的模糊人脸判别方法 - Google Patents

以关键点局部邻域的高频分析为核心的模糊人脸判别方法 Download PDF

Info

Publication number
CN107220612B
CN107220612B CN201710370888.1A CN201710370888A CN107220612B CN 107220612 B CN107220612 B CN 107220612B CN 201710370888 A CN201710370888 A CN 201710370888A CN 107220612 B CN107220612 B CN 107220612B
Authority
CN
China
Prior art keywords
face
image
key points
fuzzy
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710370888.1A
Other languages
English (en)
Other versions
CN107220612A (zh
Inventor
李月龙
唐德华
刘彦昌
肖志涛
耿磊
张芳
吴骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201710370888.1A priority Critical patent/CN107220612B/zh
Publication of CN107220612A publication Critical patent/CN107220612A/zh
Application granted granted Critical
Publication of CN107220612B publication Critical patent/CN107220612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种模糊人脸图像的自动分析判别方法。对比现有相关技术方法，该技术具有适应性强、鲁棒性好，使用阶段不需人工干预，不受与训练人脸容貌相似程度的影响，对训练样本的依赖少，训练阶段耗时短，充分利用人脸图像的全局拓扑及细节特征等优点。本发明的主要创新之处在面部关键点局部邻域特征的设计方面。在人脸核心部位的关键位置提取局部邻域的高频图像特征，即能够保证对直接反映图像清晰程度的图像细节纹理的恰当应用，又能够避免容貌和姿态差异等干扰因素对方法精度的影响，直接提升方法的鲁棒性。此外，本发明还引入基于AdaBoost技术的集成分类器构建策略，对各关键点的局部邻域模糊判别分类器进行集成，实现一体化综合智能决策。

Description

以关键点局部邻域的高频分析为核心的模糊人脸判别方法
技术领域
本发明属于模式识别、计算机视觉、图像处理领域，涉及一种以面部关键点局部特征为核心的模糊人脸判别方法，可用于对一般性二维人脸图像是否模糊进行智能判别。
背景技术
随着计算机软硬件技术的飞速发展以及图像和视频采集设备的不断普及，以人脸识别为代表的智能图像数据分析识别技术得到了越来越广泛的认可和应用。然而，再优秀的智能分析算法也必须以高质量的输入信息为基本前提，低质量的输入信息必然直接影响算法的整体分析效果。因此，对所获取的人脸图像进行自动质量评价，避免过低质量的图像被输入后续处理环节造成判断失误，是具有直观实际意义的应用研究技术。
由聚焦问题、设备分辨率问题、采光问题、数据压缩等造成的图像模糊是目前直接影响人脸图像质量的重要因素之一。由于直接影响图像内容的描述和表达，图像模糊能够对算法精度产生直接影响，且难以通过后续处理算法进行修复(基于信息守恒原理)。因此，有效滤除低质量模糊人脸图像无疑能够直接提升自动分析算法的处理效果，降低发生误判的可能性。注：在当今大数据时代，信息资源极大丰富，相比于判断失误和识别误差，在绝大多数情况下，拒绝低质量图像所带来的损失已经非常微小，例如，随着数字图像拍摄设备的普及，当人们发现拍摄到一幅模糊图像时，通常可以直接再补拍一张，不用付出任何费用。
在相关技术方面，以往的相关研究中，有一些针对一般性图像的模糊判别工作，如：首先进行图像边缘提取，而后进行基于边缘均值的模糊程度度量方法；利用图像的奇异值分析判别图像模糊等。但专门针对人脸图像自身的具体特点进行模糊判别的相关方法目前并不多见。
发明内容
本发明的目的是克服现有技术中存在的不足，提出一种能够专门针对人脸图像特点的模糊图像自动判别方法。为实现该功能，本发明设计了由“方法训练阶段”和“在线使用阶段”两部分构成的综合性方法策略，具体技术实现方案如下。
以关键点局部邻域的高频分析为核心的模糊人脸判别方法，基本步骤包括：
方法训练阶段：
(1)搭建由清晰人脸和模糊人脸图像组成的训练样本集合；
(2)人工标定各训练人脸图像上处在核心位置的关键点(共49个)的坐标，并进行关键点自动提取模型的训练；
(3)依据位于眼部的关键点的坐标，计算眼部区域的重心：
Figure DEST_PATH_GSB0000165844250000011
其中，xlec和xrec分别表示左眼和右眼的重心；
Figure DEST_PATH_GSB0000165844250000021
为左眼部区域所有关键点的坐标，Nle表示此区域关键点数目；
Figure DEST_PATH_GSB0000165844250000022
为右眼部区域所有关键点的坐标，Nre表示此区域关键点数目。
(4)根据连接两眼重心的向量对各人脸图像进行标准化，标准化过程依据仿射变换进行；
(5)提取每个关键点周围邻接的方形局部区域，以其为特征提取的对象区域；
(6)基于离散余弦变换方法，提取各关键点周围局部邻接区域的高频图像特征；
(7)根据训练样本数据，为每一人脸关键点对应的局部邻接区域分别训练一个基于高频图像特征的随机森林分类器，用于判断区分模糊区域和清晰区域；
(8)基于AdaBoost算法进行分类器集成，将所有关键点局部邻域的模糊判别分类器集成为一个统一模糊人脸判别分类器；
在线使用阶段：
(9)对于待判定的实际图像，首先基于受限局部模型(CLM)方法自动分析提取其上人脸关键点的坐标，并采用与对训练样本同样的方法进行人脸图像标准化处理；
(10)提取待判定人脸图像上每一关键点对应的局部邻接区域的高频图像特征；
(11)将关键点局部邻域的高频图像特征输入已学习构建的集成分类器，判定整幅人脸图像是否模糊。
本发明是一种专门针对普通二维人脸图像的模糊判别方法，跟现有技术相比，本发明的主要优势在于：
(1)本发明以关键点的局部邻接区域为特征提取对象。由于仅考虑关键点周围邻接的小局部区域，该特征与人脸样貌的相关性较低，使得本发明方法可以不受输入人脸与训练人脸之间相似程度的限制，从而使方法可以摆脱对训练样本的依赖，更具泛化能力，一般性更强。此外，由于特征提取区域的范围较小，该特征对于人脸的姿态改变也具有一定适应能力，从而进一步拓宽了方法的适用范围，增强了鲁棒性。
(2)由于与具体人脸样貌的相关度较小，本发明的训练学习仅基于少量训练样本即可完成，因此本发明训练阶段的耗时较短。
(3)本发明采用的局部细节特征结合集成分类器的综合模糊判定策略，既能够通过特征局部化有效提升判别特征的可靠性和一般性，同时又能够充分利用面部所有核心特征进行整体综合判决，从而有效降低局部判断误差对全局精度的影响，做到二者兼顾。
(4)本发明的自动化程度高，实际使用阶段基本不需要人工干预，也不需要根据具体输入数据的差异进行人工参数调整，鲁棒性好。
(5)本发明专门针对人脸图像设计，依据人脸图像独有的专门化特征，在整体策略方面更具针对性，属于针对具体问题设计的定制化解决思路，专门性更强，因此对 比一般性方法更容易达到较高的判别精度。
附图说明
图1-1为本发明方法的训练阶段；图1-2为本发明方法的在线使用阶段。
图2本发明方法所采用的49个面部关键点位置。
图3本发明设计的关键点局部邻接区域的范围示例。
具体实施方式
人脸图像是一类较为特殊的图像，其在整体拓扑结构和细节内容方面均与一般性图像有一定差别，具有一定独特特质。因此，对该类图像进行模糊判别，不应拘泥于传统一般性方法(尤其在所采用的判定特征方面)，而应将工作重点放在对人脸图像专属特征的挖掘和利用上。同时，由于该问题上特征的专门化定制程度较高，采用经过针对性训练学习构建的分类器完成模糊人脸区分工作更具优势，所以本发明也设计采用了以分类器为主要工具的判定区分机制。下文将对本发明实施方法进行更为具体的介绍和描述：
方法训练阶段：
本发明中的关键点自动定位模型构建和模糊判别分类器的学习模块均需要依据一定训练样本进行，因此，本发明方法的实施首先面临训练数据的选择问题。为保证正负训练样本均衡，本发明以同样数目的清晰和模糊人脸图像作为训练样本。由于采用与具体人脸样貌相关性较小的关键点局部特征，本发明不需要依赖大量标注训练样本进行学习构建，具体操作过程中，仅取100幅清晰人脸和100幅模糊人脸即可达到理想效果。
对原始训练图像数据进行预处理和统一标准化，去除个体样本之间由非核心因素造成的图像内容差异，是进行关键点自动提取模型构建和分类器学习搭建的基本前提和必要阶段。本发明设计的具体预处理措施包括：1、由于以图像纹理为主要区分特征，色彩信息对本发明方法几乎没有帮助，为降低处理数据规模，本发明首先将所有图像统一转化为256色灰度图。2、进行图像的灰度统一化工作，每幅图像上的每个像素的灰度值均减去该图像的灰度均值并除以其灰度标准差。3、由于本发明方法的分析判断主要基于局部特征，而面积较小的局部区域内容对图像的方向和尺度改变均较为敏感，本发明选择在提取特征前首先对图像进行方向和尺度的标准化工作。其中，方向标准化基于两眼重心连接向量与水平线的夹角进行，尺度标准化基于两眼重心连接向量的长度统一化进行。二者的实现均基于图像的仿射变换I(W(x，θ))，其中，I表示图像，x表示其中的像素坐标，W代表仿射变换，θ为其参数。θ的具体取值可基于上述两方面的内容直接求解获得。人脸图像上两眼重心的位置则基于位于眼部区域的面部关键点位置进行计算。
图像的模糊程度主要体现在细节纹理信息的清晰程度方面，针对人脸图像的具体特点，本发明选择面部49个分布于眼睛、眉毛、嘴巴等核心部位的关键点(参见图2)，在其局部邻域(参加图3)进行内容提取，并分析其中纹理细节的清晰程度，从而判定整幅图像的模糊与否。在训练图像上，这些关键点的位置将由人工进行直接标定(在标定过程中需确保在每一图像上均在对应部位准确标定出图2所示的所有关键点)，并由不同的人进行检查校验，确保标定位置准确无误。而在实际方法应用过程中，显然一个自动算法不可能由人工进行这一工作，本发明选择采用已被广泛证实在人脸图像上具有可靠且稳定效果的受限局部模型算法进行关键点自动获取定位。由于人脸关键点具有较刚性的整体拓扑结构和代表性特征，本发明选择在训练过程中基于标定训练样本对受限局部模型进行预先学习训练。每幅训练图像及其上所有标定关键点将被作为一个训练样本输入模型进行训练，使该模型在学习每个关键点的细节特征的同时也着重掌握拟定位人脸关键点的整体拓扑结构，从而实现更高精度的关键点提取。
在判断和决策策略方面，考虑到本发明的特征提取区域较小，采用AdaBoost等具有一定特征自主选择能力的分类器无法完全展开，本发明选择直接指定特征，并训练专属分类器进行模糊决策。由于直接反映图像清晰程度的细节纹理信息的精细程度主要体现在图像高频信息部分，本发明选择关键点局部邻接图像区域的高频信息作为判断模糊的主要特征。在高频信息的获取方面，本发明采用运算高效且仅有实值部分的离散余弦变换进行图像信息向频域的转换，并经大量实验验证分析，明确保留90％的高频信息作为模糊判别特征。
鉴于人脸上每一关键点的局部邻域特征各不相同(如眼部与嘴部关键点的局部邻域特征就偏差较大)，且专门化分类器更有利于达到较高的识别精度，本发明选择为每一关键点的局部邻域均单独学习训练一个模糊判别分类器。在分类器形式方面，基于大量实验对比分析，随机森林分类器的判定精度显著优于支持向量机等经典分类器，因此被本发明采用。
由于本发明方法以对整幅人脸图像的模糊判别为核心输出，而本发明已构建有49个关键点特征区域的模糊判别分类器，因此对各分类器的集成是必须解决的问题。显而易见，人脸上各不同位置的关键点对全局模糊判别的影响能力和侧重评价方面各不相同，采用直接投票的方式无疑等价于忽视这些差异，必然影响最终的判定精度。基于此，本发明选择能够依据标定训练样本自动分析确定各子分类器权重的基于AdaBoost的分类器智能集成策略，并在训练阶段基于训练样本实现对该集成策略的具体学习构建。
在线使用阶段：
当通过离线过程完成对本发明方法的学习构建之后，本发明方法即可在线全自动使用，不需要任何人工干预，即可实现对面部人脸是否模糊的自动区分判别。
对待任意一幅输入的待判别图像，本发明方法将依次采用下列处理分析步骤进行智能模糊判别：
首先，对图像进行灰度化和灰度统一化(具体方法与处理训练样本的相同)。随后基于受限局部模型算法自动分析提取当前图像上的所有人脸关键点，并基于关键点坐标进行图像尺度和方向的标准化处理。而后再基于离散余弦变换提取每个关键点对应局部邻域的高频图像特征。最后将这些特征输入已学习构建的综合集成分类器，判定整幅人脸图像是否模糊。

Claims (13)

1.以关键点局部邻域的高频分析为核心的模糊人脸判别方法，包括下列步骤：
方法训练阶段：
(1)搭建由清晰人脸和模糊人脸图像组成的训练样本集合；
(2)标定各人脸图像上处在核心位置的关键点的坐标，并进行关键点提取模型的训练；
(3)依据位于眼部区域的所有关键点的坐标，计算眼部区域的重心位置；
(4)根据连接两眼重心的向量对各人脸图像进行标准化；
(5)取每个关键点周围邻接的方形局部区域，以其为特征提取的对象区域；
(6)提取各关键点局部邻接区域的高频图像特征；
(7)根据训练样本集，为每一人脸关键点对应的局部邻接区域分别训练一个基于高频图像特征的模糊判别分类器，用于对当前关键点特征区域是否模糊的区分判断；
(8)将所有关键点局部邻域的模糊判别分类器集成整合为一个统一的人脸模糊判断分类器；
在线使用阶段：
(9)提取待判定图像上的人脸关键点坐标，并对图像进行标准化处理；
(10)提取待判定图像上每一关键点对应局部邻域的高频图像特征；
(11)将关键点局部领域的高频图像特征输入已训练构建的集成分类器，判定整幅人脸图像是否模糊。
2.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(1)中，训练图像的大小均为128*128，训练样本集合中包含清晰人脸图像100幅和模糊人脸图像100幅。
3.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(2)中，人脸上的关键点共49个，分别位于：眼睛12个、眉毛10个、鼻子9个、嘴巴18个。
4.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(2)中，面部关键点的位置由人工进行直接标定，并在标定完成之后，将所有训练样本及其对应关键点位置用于对受限局部模型(CLM)进行学习训练，该模型将用于进行人脸关键点的自动提取。
5.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(3)中，眼部区域重心的计算方法为：
Figure FSB0000193049940000011
其中，xlec和xrec分别表示左眼和右眼的重心；
Figure FSB0000193049940000012
为位于左眼部区域所有关键点的坐标，Nle表示左眼关键点数目；
Figure FSB0000193049940000013
为位于右眼部区域所有关键点的坐标，Nre表示右眼关键点数目。
6.根据权利要求5所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(4)中，连接两眼重心的向量为l＝xlec-xrec。
7.根据权利要求6所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(4)中，人脸图像的标准化由方向和尺度的标准化两部分构成：方向标准化指将整幅人脸图像以向量l的中点为中心进行旋转，直到该向量方向完全水平；尺度标准化指对整幅图像进行等比放缩，使得l的长度达到预设常数大小C，C＝80；其中，图像旋转和尺度变换均采用图像仿射变换的形式实现。
8.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(5)中，特征提取对象区域，即关键点局部邻接区域，的大小为11*11，关键点处在该区域的中心位置。
9.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(6)中，采用离散余弦变换提取关键点局部邻接区域内图像的频域信息，并取其中90％的高频信息作为特征用于模糊判别。
10.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(7)中，采用随机森林分类器进行关键点局部邻接区域的模糊判别。
11.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(8)中，对于关键点分类器的集成，采用基于AdaBoost算法的弱分类器集成策略。
12.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(9)中，对待判定图像面部关键点的获取采用受限局部模型算法自动进行；对图像的标准化处理包括方向和尺度两方面的标准化，采用与处理训练图像相同的方法。
13.根据权利要求1所述的以关键点局部邻域的高频分析为核心的模糊人脸判别方法，其特征在于，步骤(10)中，对待判定图像的关键点局部邻域的高频特征提取采用与训练集图像相同的方法。
CN201710370888.1A 2017-05-19 2017-05-19 以关键点局部邻域的高频分析为核心的模糊人脸判别方法 Active CN107220612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710370888.1A CN107220612B (zh) 2017-05-19 2017-05-19 以关键点局部邻域的高频分析为核心的模糊人脸判别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710370888.1A CN107220612B (zh) 2017-05-19 2017-05-19 以关键点局部邻域的高频分析为核心的模糊人脸判别方法

Publications (2)

Publication Number Publication Date
CN107220612A CN107220612A (zh) 2017-09-29
CN107220612B true CN107220612B (zh) 2021-06-08

Family

ID=59944565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710370888.1A Active CN107220612B (zh) 2017-05-19 2017-05-19 以关键点局部邻域的高频分析为核心的模糊人脸判别方法

Country Status (1)

Country Link
CN (1) CN107220612B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108629743B (zh) * 2018-04-04 2022-03-25 腾讯科技（深圳）有限公司 图像的处理方法、装置、存储介质和电子装置
CN111241961B (zh) * 2020-01-03 2023-12-08 北京秒针人工智能科技有限公司 人脸检测方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9361672B2 (en) * 2012-03-26 2016-06-07 Google Technology Holdings LLC Image blur detection
CN105139003B (zh) * 2015-09-17 2018-07-06 桂林远望智能通信科技有限公司 一种动态人脸识别系统及方法

Also Published As

Publication number Publication date
CN107220612A (zh) 2017-09-29

Similar Documents

Publication Publication Date Title
CN106815566B (zh) 一种基于多任务卷积神经网络的人脸检索方法
CN107506717B (zh) 无约束场景中基于深度变换学习的人脸识别方法
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN111339990B (zh) 一种基于人脸特征动态更新的人脸识别系统和方法
CN102902959B (zh) 基于二代身份证存储证件照的人脸识别方法及系统
CN111160269A (zh) 一种人脸关键点检测方法及装置
Ren et al. General traffic sign recognition by feature matching
CN104951940B (zh) 一种基于掌纹识别的移动支付验证方法
WO2016145940A1 (zh) 人脸认证方法和装置
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN104504383B (zh) 一种基于肤色和Adaboost算法的人脸检测方法
CN101131728A (zh) 一种基于Shape Context的人脸形状匹配方法
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN108537143B (zh) 一种基于重点区域特征比对的人脸识别方法与系统
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN108446687B (zh) 一种基于移动端和后台互联的自适应人脸视觉认证方法
CN112784712B (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN110598574A (zh) 智能人脸监控识别方法及系统
CN110119695A (zh) 一种基于特征融合和机器学习的虹膜活性检测方法
CN112686191A (zh) 基于人脸三维信息的活体防伪方法、系统、终端及介质
CN107784263A (zh) 基于改进加速鲁棒特征的平面旋转人脸检测的方法
CN107220612B (zh) 以关键点局部邻域的高频分析为核心的模糊人脸判别方法
CN113343927B (zh) 一种适用于面瘫患者的智能化人脸识别方法和系统
CN113435280A (zh) 人证校验方法
CN116386118B (zh) 一种基于人像识别的粤剧匹配化妆系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant