CN111523454A - 一种基于样本扩充和点集匹配的部分人脸识别方法 - Google Patents

一种基于样本扩充和点集匹配的部分人脸识别方法 Download PDF

Info

Publication number
CN111523454A
CN111523454A CN202010322119.6A CN202010322119A CN111523454A CN 111523454 A CN111523454 A CN 111523454A CN 202010322119 A CN202010322119 A CN 202010322119A CN 111523454 A CN111523454 A CN 111523454A
Authority
CN
China
Prior art keywords
image
matching
sample
detected
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010322119.6A
Other languages
English (en)
Inventor
文颖
单昕昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN202010322119.6A priority Critical patent/CN111523454A/zh
Publication of CN111523454A publication Critical patent/CN111523454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

本发明公开了一种基于样本扩充和点集匹配的部分人脸识别方法，其特点是采用待测图像的垂直镜像图像来扩充样本，以及多重点集自检匹配方法，提取人脸图像的特征关键点并执行点集匹配，并以归一化各样本匹配点的个数作为最大匹配概率对待测图像分类。本发明与现有技术相比具有关键点检测的准确性高，较好解决了部分人脸信息较少的识别问题，在一定程度上减少表情、姿态等因素对识别的影响，提高部分人脸的识别准确性。

Description

一种基于样本扩充和点集匹配的部分人脸识别方法
技术领域
本发明涉及人脸识别技术领域，尤其是一种利用机器学习方法对部分人脸图像提取特征关键点并分类的样本扩充和点集匹配的部分人脸识别方法。
背景技术
近年来，人脸识别在图像处理和生物识别领域有了很大的技术提升，并且被广泛应用到生活中。但是实际生活中，由于人脸可能被眼镜、帽子和围巾等遮挡，或展现出不同的姿态和表情，所以待识别的人脸图像可能不是完整的，部分人脸识别还有较大的提升空间和应用前景。
部分人脸图像包含的信息量比完整人脸图像少，而且在相同维度下尺寸也较小。若根据待测图像的尺度裁剪训练图像并进行模板匹配，会消耗较多的内存而且需要较长的运行时间。Hu等人直接利用SIFT对图像不同尺度、亮度的不变性，对不同视角、噪声的稳定性，检测待测图像中的关键点并匹配。该方法对SIFT检测的准确性的依赖较高，而且原方法是针对完整人脸图像的识别提出的。
发明内容
本发明的目的是针对现有技术的不足而设计的一种基于样本扩充和点集匹配的部分人脸识别方法，采用多重点集自检匹配方法，结合样本扩充中的镜像图像的生物信息，提取人脸图像的特征关键点并执行点集匹配，并以归一化各样本匹配点的个数作为最大匹配概率对待测图像分类，有效地去除误匹配点，提高匹配准确率，可应用于多种场景的人脸识别，方法简便，提取的特征关键点更为完备、更为精确，较好解决了部分人脸信息较少的识别问题，具有广泛的应用前景，在一定程度上减少表情、姿态等因素对识别的影响，提高部分人脸的识别准确性。
实现本发明目的的具体技术方案是：一种基于样本扩充和点集匹配的部分人脸识别方法，其特点是采用多重点集自检匹配方法，结合样本扩充中的镜像图像的生物信息，提取人脸图像的特征关键点并执行点集匹配，以归一化各样本匹配点的个数作为最大匹配概率对待测图像分类，其部分人脸的具体识别包括如下步骤：
步骤a：制作图像训练集；
步骤b：对输入的待测图像进行样本扩充；
步骤c：采用多重点集自检匹配方法提取图像特征关键点并完成点集匹配；
步骤d：以归一化各样本匹配点的个数作为匹配概率；
步骤e：将待测图像的镜像图像重复c步骤～d步骤，计算匹配概率；
步骤f：将样本扩充后得到的两个匹配概率相结合，计算出新的匹配概率，概率最高的样本对应的标签为待测图像的类别。
所述a步骤中需要的是有标签的训练样本图像集(可能需要裁剪原始图像以保留完整的人脸部分)。
所述b步骤垂直镜像翻转输入的原始待测图像，将得到的新图像作为新的待测图像，其匹配概率与原始待测图像的匹配概率相结合后参与识别。
所述c步骤中的多重点集自检匹配方法对待测图像进行的点集匹配包括如下步骤：
步骤c1：分别利用尺度不变特征变换(SIFT)、哈尔特征(Haar)和加速稳健特征(SURF)方法检测出图像中的几何、纹理等不同特征关键点，对图像的旋转、缩放和光照等具有较强的鲁棒性。
步骤c2：计算待测图像与训练集中每个图像的匹配点数量。
步骤c3：使用随机抽样一致(RANSAC)方法去除c2步骤中的误匹配点。
所述d步骤中将最终得到的正确匹配点的数值归一化到[0,1]，视为待测图像与训练集中每个图像的匹配概率。
所述f步骤中将样本扩充后得到的两个匹配概率相结合，计算出新的匹配概率，具体为原始待测图像和镜像图像的匹配概率加权相加，最后对未知类别的待测图像进行预测，具体步骤为将待测图像与训练集中的每个训练图像之间的最大匹配概率对应的图像类别作为预测结果。
本发明与现有技术相比具有减少表情、姿态等因素对识别的影响，提高分类的准确性，有效地去除误匹配点，提取的特征关键点更为完备、更为精确，较好解决了部分人脸信息较少的识别问题，方法简便，提取的特征更为精确，较好解决了部分人脸信息较少的识别问题，提高部分人脸的识别准确性。
附图说明
图1为本发明的流程图；
图2为制作图像训练集的原始图像；
图3为裁剪了背景后保留的人脸图像；
图4为训练后的原始图像和裁剪了背景后保留的人脸图像；
图5为特征关键点提取和匹配的说明示意图。
具体实施方式
以下结合部分人脸识别的具体实施例，对本发明做进一步的详细说明。
参阅附图1，本发明包括：制作训练集、样本扩充、多重点集自检匹配和分类四个部分，其部分人脸的具体识别包括如下步骤：
a步骤：裁剪图像
参阅附图2，对于背景部分较多的初始图像需要根据两个眼睛的坐标和五官的近似比例来裁剪掉背景，保留完整的脸部图像。
参阅附图3，保证图片尺寸相同，将N个训练图像的特征向量共同组成训练集G＝[G1,G2,…,GN]。
b步骤：待测图像是部分人脸图像
参阅附图4，针对每个输入的待测图像y，对其进行垂直方向上的镜像变换，得到y的镜像图像y′来实现样本扩充。
参阅附图5，图中的第二张图是原始待测图像，其镜像图像为图中的第四张图，将以相同的方式处理y和y′来分别获得匹配概率，将两个匹配概率加权相加得到最终匹配概率。
c步骤：利用SIFT、Haar和SURF分别对训练集和待测图像提取特征关键点，对于待测图像的每个特征关键点，计算它与训练集中每个图像的特征关键点之间的最近邻距离dis1和次近邻距离dis2，并满足下述I式：
dis1<γ×dis2 (I)；
其中：γ为常数项，依据已有理论和方法设置γ＝0.6。并认为两个描述关键点能够相互匹配，保留正确匹配的特征关键点，删除掉所有未被匹配的特征关键点。使用RANSAC算法对c步骤中筛选出来的匹配点重新检测拟合，其γ和γ′中特征关键点间的匹配如附图5所示。
d步骤：统计待测图像与训练集中每个图像之间特征关键点的匹配个数，最后归一化到[0,1]，并按下述II式计算待测图像与训练集中每个图像之间的匹配概率：
S(y)＝[s(y)1,s(y)2,…,s(y)N] (II)；
e步骤：将待测图像的镜像图像y′重复c步骤c～步骤d，按下述III式计算匹配概率：
S(y′)＝[s(y′)1,s(y′)2,…,s(y′)N] (III)；
f步骤：按下述IV式计算加权匹配概率：
ratei(y)＝ω1×si(y)+(1-ω1)×si(y′) (IV)；
其中，ω1为y匹配概率所对应的权重；1-ω1为y′匹配概率对应的权重；
考虑到镜像变换后的y′与原图像y对匹配的贡献不同，所以，y和y′匹配概率的权重也不同，可将y和y′匹配概率的权重分别赋值为ω1＝0.6和1-0.6＝0.4，
最后将待测图像与训练集中的每个训练图像之间的最大匹配概率对应的图像类别，按下述V式计算预测结果：
Figure BDA0002461824820000041
其中：zi表示训练集中第i个的图像的标签。
以上各实施例只是对本发明做进一步说明，并非用以限制本发明专利，凡为本发明等效实施，均应包含于本发明专利的权利要求范围之内。

Claims (6)

1.一种基于样本扩充和点集匹配的部分人脸识别方法，其特征在于采用多重点集自检匹配方法，结合样本扩充中的镜像图像的生物信息，提取人脸图像的特征关键点并执行点集匹配，以归一化各样本匹配点的个数作为最大匹配概率对待测图像分类，其部分人脸的具体识别包括如下步骤：
步骤a：制作图像训练集；
步骤b：对输入的待测图像进行样本扩充；
步骤c：采用多重点集自检匹配方法，提取图像特征关键点并完成点集匹配；
步骤d：以归一化各样本匹配点的个数为匹配概率；
步骤e：将待测图像的镜像图像重复c步骤～d步骤，计算匹配概率；
步骤f：将样本扩充后得到的两个匹配概率相结合，计算出新的匹配概率，并以概率最高的样本对应的标签为待测图像的类别。
2.根据权利要求1所述基于样本扩充和点集匹配的部分人脸识别方法，其特征在于所述图像训练集为有标签的训练样本图像集。
3.根据权利要求1所述基于样本扩充和点集匹配的部分人脸识别方法，其特征在于所述样本扩充是将原始待测图像经垂直镜像翻转得到新的待测图像，将其匹配概率与原始待测图像的匹配概率相结合。
4.根据权利要求1所述基于样本扩充和点集匹配的部分人脸识别方法，其特征在于所述点集匹配包括如下步骤：
步骤c1：分别利用尺度不变特征变换、哈尔特征和加速稳健特征方法检测出图像中的几何、纹理不同特征关键点；
步骤c2：计算待测图像与训练集中每个图像的匹配点数量；
步骤c3：使用随机抽样一致方法将c2步骤中的误匹配点去除。
5.根据权利要求1所述基于样本扩充和点集匹配的部分人脸识别方法，其特征在于所述归一化各样本匹配点是将正确匹配点的数值归一化到[0,1]，并视为待测图像与训练集中每个图像的匹配概率。
6.根据权利要求1所述基于样本扩充和点集匹配的部分人脸识别方法，其特征在于所述计算出新的匹配概率为原始待测图像和镜像图像的匹配概率加权相加，对未知类别的待测图像进行预测，并将待测图像与训练集中的每个训练图像之间的最大匹配概率对应的图像类别为预测结果。
CN202010322119.6A 2020-04-22 2020-04-22 一种基于样本扩充和点集匹配的部分人脸识别方法 Pending CN111523454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010322119.6A CN111523454A (zh) 2020-04-22 2020-04-22 一种基于样本扩充和点集匹配的部分人脸识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010322119.6A CN111523454A (zh) 2020-04-22 2020-04-22 一种基于样本扩充和点集匹配的部分人脸识别方法

Publications (1)

Publication Number Publication Date
CN111523454A true CN111523454A (zh) 2020-08-11

Family

ID=71903464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010322119.6A Pending CN111523454A (zh) 2020-04-22 2020-04-22 一种基于样本扩充和点集匹配的部分人脸识别方法

Country Status (1)

Country Link
CN (1) CN111523454A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN103679159A (zh) * 2013-12-31 2014-03-26 海信集团有限公司 人脸识别方法
CN106557726A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带静默式活体检测的人脸身份认证系统及其方法
CN107239741A (zh) * 2017-05-10 2017-10-10 杭州电子科技大学 一种基于稀疏重构的单样本人脸识别方法
CN109902581A (zh) * 2019-01-28 2019-06-18 重庆邮电大学 一种基于多步加权的单样本部分遮挡人脸识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413119A (zh) * 2013-07-24 2013-11-27 中山大学 基于人脸稀疏描述子的单样本人脸识别方法
CN103679159A (zh) * 2013-12-31 2014-03-26 海信集团有限公司 人脸识别方法
CN106557726A (zh) * 2015-09-25 2017-04-05 北京市商汤科技开发有限公司 一种带静默式活体检测的人脸身份认证系统及其方法
CN107239741A (zh) * 2017-05-10 2017-10-10 杭州电子科技大学 一种基于稀疏重构的单样本人脸识别方法
CN109902581A (zh) * 2019-01-28 2019-06-18 重庆邮电大学 一种基于多步加权的单样本部分遮挡人脸识别方法

Similar Documents

Publication Publication Date Title
CN110348319B (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
Gao et al. Automatic change detection in synthetic aperture radar images based on PCANet
CN105389593B (zh) 基于surf特征的图像物体识别方法
Shahab et al. ICDAR 2011 robust reading competition challenge 2: Reading text in scene images
CN106600600A (zh) 基于特征匹配的晶圆缺陷检测方法
CN111126240B (zh) 一种三通道特征融合人脸识别方法
CN110008899B (zh) 一种可见光遥感图像候选目标提取与分类方法
CN112200121A (zh) 基于evm和深度学习的高光谱未知目标检测方法
Liu et al. Regularization based iterative point match weighting for accurate rigid transformation estimation
Narayan et al. An optimal feature subset selection using GA for leaf classification
CN112132117A (zh) 一种辅助胁迫检测的融合身份认证系统
CN111815582A (zh) 改进背景先验和前景先验的二维码区域检测方法
Sahithya et al. GUI based detection of unhealthy leaves using image processing techniques
CN114373079A (zh) 一种快速准确的探地雷达目标检测方法
CN112784722B (zh) 基于YOLOv3和词袋模型的行为识别方法
CN109902581A (zh) 一种基于多步加权的单样本部分遮挡人脸识别方法
CN106326927B (zh) 一种鞋印新类别检测方法
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN113673631B (zh) 异常图像检测方法及装置
CN112926592B (zh) 一种基于改进Fast算法的商标检索方法及装置
CN115439405A (zh) 一种钢板表面缺陷的分类方法
CN111523454A (zh) 一种基于样本扩充和点集匹配的部分人脸识别方法
Zanwar et al. A comprehensive survey on soft computing based optical character recognition techniques
Xiao et al. Object detection based on contour learning and template matching
Fan Efficient multiclass object detection by a hierarchy of classifiers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200811