CN110348284A - 基于局部方向纹理模式的遮挡人脸识别特征提取方法 - Google Patents

基于局部方向纹理模式的遮挡人脸识别特征提取方法 Download PDF

Info

Publication number
CN110348284A
CN110348284A CN201910419906.XA CN201910419906A CN110348284A CN 110348284 A CN110348284 A CN 110348284A CN 201910419906 A CN201910419906 A CN 201910419906A CN 110348284 A CN110348284 A CN 110348284A
Authority
CN
China
Prior art keywords
neighborhood
value
pixel
extracting method
face recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910419906.XA
Other languages
English (en)
Inventor
杨巨成
张灵超
李建荣
于洋
王嫄
张传雷
韩书杰
代翔子
毛磊
王晓菁
王洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN201910419906.XA priority Critical patent/CN110348284A/zh
Publication of CN110348284A publication Critical patent/CN110348284A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，该方法通过在一副人脸灰度图像中，选取3×3大小的邻域，并与Kirsch梯度算子模板进行卷积运算，得到8个边缘响应值，然后对选择的邻域内周围像素所在位置赋权重值；计算邻域内的纹理信息；最后计算邻域内中心像素的特征值。本发明提供的方法设计合理，能较好的描述人脸特征，在人脸被遮挡的情况下对遮挡人脸的识别率高，并且泛化能力较好，可广泛用于遮挡人脸识别邻域。

Description

基于局部方向纹理模式的遮挡人脸识别特征提取方法
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种基于局部方向纹理模式的遮挡人脸识别特征提取方法。
背景技术
目前，在现实环境中，我们的摄像头所采集到的人脸大都含有遮挡因素，例如自身佩戴的围巾、帽子，或者是一些别的物体的遮挡。这些遮挡因素的存在在一定程度上影响着人脸识别的准确度，在这种情况下，需要从被遮挡的人脸中提取出辨识力强的特征来进行识别。特征提取过程中用到的特征提取方法一般可以分为基于全局特征和基于局部特征两种，两者比较来说，基于局部特征的特征提取方法对光照、表情等变化的鲁棒性更好。
但是，现有的基于局部特征的特征提取方法所得到的特征值都只包含了图像的梯度信息，而梯度信息并不足以全面的描述一副人脸图像，尤其是含有遮挡的人脸图像，因此，现有的方法在人脸识别过程中会降低在不受控环境下对人脸的识别率。
因此，如何提供一种可以更全面的描述遮挡人脸的特征信息的遮挡人脸识别特征提取方法是本邻域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，该方法得到的特征值同时包含图像的梯度信息和纹理信息，此特征值可以更全面的描述人脸图像的特征信息，可以进行有效的遮挡人脸识别。
为了实现上述目的，本发明采用如下技术方案：
一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，该方法包括以下步骤：
在一副人脸灰度图像中，选取3×3大小的邻域，并与8个Kirsch梯度算子模板进行卷积运算，得到8个边缘响应值；
为邻域内周围像素所在位置赋权重值；
计算邻域内的纹理信息；
计算邻域内中心像素的特征值。
进一步地，卷积运算的方式为：8个Kirsch梯度算子模板的大小为3×3，每个模板分别与选定的3×3邻域内的像素值对应位置相乘，再求和，得到8个边缘响应值，8个所述边缘响应值从左到右且从上到下依次代表3×3邻域内X4、X3、X2、X1、X8、X7、X6、X5所在的位置。
进一步地，对邻域内周围像素赋权重值的过程，具体包括以下步骤：
对得到的8个所述边缘响应值取绝对值，并按照从大到小的顺序进行排序；
对8个所述边缘响应值依次赋值为128、64、32、16、8、4、2和1。
更进一步地，对得到的8个所述边缘响应值取绝对值，并按照从大到小的顺序进行排序时，如果有某两个或两个以上的边缘响应值大小相等，则按照邻域内像素值的编码从X1到X8的顺序，对大小相等的边缘响应值的绝对值依次进行排序。
进一步地，计算邻域内的纹理信息时，计算公式为：
x＝xi-x0
其中,x表示邻域内与xi对应位置像素的纹理，xi表示原始邻域内的周围像素值，x0表示原始邻域内的中心像素值。
进一步地，计算邻域内中心像素的特征值时，计算公式为：
其中，LDTP代表使用此算法所得的特征值,g(xi-x0)表示纹理信息,wi表示相应位置的权重。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，该方法通过在3×3的邻域内引入Kirsch梯度算子模板，根据得到的各个方向的边缘响应值，确定计算纹理特征时的权重分配，使得最终所得的特征值同时包含图像的梯度信息和纹理信息，此特征值可以更全面的描述人脸图像的特征信息，尤其是有遮挡人脸，可以进行有效的遮挡人脸识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本邻域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法的方法流程示意图；
图2为本发明实施例中3×3邻域模板的示意图；
图3为本发明实施例中Kirsch梯度算子模板的示意图；
图4为本发明实施例中3×3邻域像素值与Kirsch梯度算子模板卷积运算的实例图；
图5为本发明实施例中权重取值过程的实例图；
图6为本发明实施例中计算纹理信息的实例图；
图7为本发明实施例中计算中心像素特征值的实例图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，参见附图1，该方法包括以下步骤：
S1:在一副人脸灰度图像中，选取3×3大小的邻域，并与8个Kirsch梯度算子模板进行卷积运算，得到8个边缘响应值；
S2:为邻域内周围像素所在位置赋权重值；
S3:计算邻域内的纹理信息；
S4:计算邻域内中心像素的特征值。
在一个具体的实施例中，卷积运算的方式为：8个Kirsch梯度算子模板的大小为3×3，每个模板分别与选定的3×3邻域内的像素值对应位置相乘，再求和，得到8个边缘响应值，8个边缘响应值从左到右且从上到下依次代表3×3邻域内X4、X3、X2、X1、X8、X7、X6、X5所在的位置。
在本实施例中，选取的邻域(从左至右且从上至下的九个像素：X1、X2、X3、X8、X0、X4、X5、X6、X7)像素值分别为5、8、12、3、9、4、6、7、2；
与Kirsch梯度算子模板进行卷积运算，得到X4位置上的的边缘响应值为8×(-3)+12×(-3)+3×5+9×5+4×5+6×(-3)+7×(-3)+2×(-3)＝-25，
X3位置上的的边缘响应值为8×(-3)+12×5+3×5+9×5+4×(-3)+6×(-3)+7×(-3)+2×(-3)＝39，
X2位置上的的边缘响应值为8×5+12×5+3×5+9×(-3)+4×(-3)+6×(-3)+7×(-3)+2×(-3)＝31，
X1位置上的的边缘响应值为8×5+12×5+3×(-3)+9×(-3)+4×(-3)+6×(-3)+7×(-3)+2×5＝23，
X8位置上的的边缘响应值为8×5+12×(-3)+3×(-3)+9×(-3)+4×(-3)+6×(-3)+7×5+2×5＝-17，
X7位置上的的边缘响应值为8×(-3)+12×(-3)+3×(-3)+9×(-3)+4×(-3)+6×5+7×5+2×5＝-33，
X6位置上的的边缘响应值为8×(-3)+12×(-3)+3×(-3)+9×(-3)+4×5+6×5+7×5+2×(-3)＝-17，
X5位置上的的边缘响应值为8×(-3)+12×(-3)+3×(-3)+9×5+4×5+6×5+7×(-3)+2×(-3)＝-1，具体如图4所示。
在一个具体的实施例中，对邻域内周围像素赋权重值的过程，具体包括以下步骤：
对得到的8个边缘响应值取绝对值，并按照从大到小的顺序进行排序；
对8个边缘响应值依次赋值为128、64、32、16、8、4、2和1。
在本步骤中，对边缘响应值取绝对值，从X1到X8分别为23、31、39、25、1、17、33、17，再根据其赋值规则，得到权重值从X1到X8分别是8、32、128、16、1、4、64、2，具体可参见附图5。
更在一个具体的实施例中，对得到的8个边缘响应值取绝对值，并按照从大到小的顺序进行排序时，如果有某两个或两个以上的边缘响应值大小相等，则按照邻域内像素值的编码从X1到X8的顺序，对大小相等的边缘响应值的绝对值依次进行排序。
在一个具体的实施例中，计算邻域内的纹理信息时，计算公式为：
x＝xi-x0
其中,x表示邻域内与xi对应位置像素的纹理，xi表示原始邻域内的周围像素值，x0表示原始邻域内的中心像素值。
通过上述公式，首先计算x从X1到X8分别为8-5＝3、12-5＝7、3-5＝-2、9-5＝4、4-5＝-1、6-5＝1、7-5＝2、2-5＝-3，再根据公式g(x)计算得到的纹理信息值从X1到X8依次为1、1、0、1、0、1、1、0。具体过程如图6所示。
在一个具体的实施例中，计算邻域内中心像素的特征值时，计算公式为：
其中，LDTP代表使用此算法所得的特征值,g(xi-x0)表示纹理信息,wi表示相应位置的权重。
根据上述公式，我们可以获得此邻域内的特征值为1×8+1×32+0×128+1×16+0×1+1×4+1×64+0×2＝124。具体可参见附图7。
目前，基于局部的特征提取算法有很多种。2010年，Jabid等人在局部算子中引入了Kirsch梯度算子模板，提出了局部方向模式(LDP)算子。其主要思想是将Kirsch梯度算子与3×3邻域内的像素值进行卷积运算，得到中心像素的邻域灰度值，然后将前K个最大值置1，其余置0，最终得到中心像素的特征值。此种方法通过对边缘梯度算子Kirsch的引入，使得图像的梯度方向信息表示的更加清晰。但也存在一定问题。在计算特征值时，K值是通过实验经验进行确定的，其不确定性会在一定程度上造成特征丢失，从而影响识别效果。
2015年，Xie Y等人在LDP算子的基础上，提出了局部相对方向模式(LODP)算子。该算子在使用Kirsch梯度算子与原始邻域的像素值卷积运算之后，对关于中心点位置两两对应的的梯度值相互比较大小，大的置1，小的置0。此算法虽然避免了LDP算子中K的取值，但其所得到的仅仅只有图像的梯度信息，不够全面。
以上两种算法所得到的特征值都只包含了图像的梯度信息，而梯度信息并不足以全面的描述一副人脸图像，尤其是含有遮挡的人脸图像，这就会降低在不受控环境下对人脸的识别率。
本发明实施例提供的方法，相对于LDP和LODP算法来说，克服了它们特征信息只包含梯度信息的问题，使计算得到的特征值融合了遮挡人脸的纹理和梯度两种信息，因此对遮挡人脸图像的识别率均优于这两种算法。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，包括以下步骤：
在一副人脸灰度图像中，选取3×3大小的邻域，并与8个Kirsch梯度算子模板进行卷积运算，得到8个边缘响应值；
为邻域内周围像素所在位置赋权重值；
计算邻域内的纹理信息；
计算邻域内中心像素的特征值。
2.根据权利要求1所述的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，卷积运算的方式为：8个Kirsch梯度算子模板的大小为3×3，每个模板分别与选定的3×3邻域内的像素值对应位置相乘，再求和，得到8个边缘响应值，8个所述边缘响应值依次代表3×3邻域内X4、X3、X2、X1、X8、X7、X6和X5所在的位置。
3.根据权利要求1所述的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，对邻域内周围像素赋权重值的过程，具体包括以下步骤：
对得到的8个所述边缘响应值取绝对值，并按照从大到小的顺序进行排序；
对8个所述边缘响应值依次赋值为128、64、32、16、8、4、2和1。
4.根据权利要求3所述的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，对得到的8个所述边缘响应值取绝对值，并按照从大到小的顺序进行排序时，如果有某两个或两个以上的边缘响应值大小相等，则按照邻域内像素值的编码从X1到X8的顺序，对大小相等的边缘响应值的绝对值依次进行排序。
5.根据权利要求1所述的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，计算邻域内的纹理信息时，计算公式为：
x＝xi-x0
其中,x表示邻域内与xi对应位置像素的纹理，xi表示原始邻域内的周围像素值，x0表示原始邻域内的中心像素值。
6.根据权利要求1所述的一种基于局部方向纹理模式的遮挡人脸识别特征提取方法，其特征在于，计算邻域内中心像素的特征值时，计算公式为：
其中，LDTP代表使用此算法所得的特征值,g(xi-x0)表示纹理信息,wi表示相应位置的权重。
CN201910419906.XA 2019-05-20 2019-05-20 基于局部方向纹理模式的遮挡人脸识别特征提取方法 Pending CN110348284A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910419906.XA CN110348284A (zh) 2019-05-20 2019-05-20 基于局部方向纹理模式的遮挡人脸识别特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910419906.XA CN110348284A (zh) 2019-05-20 2019-05-20 基于局部方向纹理模式的遮挡人脸识别特征提取方法

Publications (1)

Publication Number Publication Date
CN110348284A true CN110348284A (zh) 2019-10-18

Family

ID=68173909

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910419906.XA Pending CN110348284A (zh) 2019-05-20 2019-05-20 基于局部方向纹理模式的遮挡人脸识别特征提取方法

Country Status (1)

Country Link
CN (1) CN110348284A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464908A (zh) * 2020-12-18 2021-03-09 杭州电子科技大学 一种吸引局部二阶梯度轮廓模式人脸特征提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778529A (zh) * 2016-11-25 2017-05-31 南京理工大学 一种基于改进ldp的人脸识别方法
CN108197529A (zh) * 2017-11-27 2018-06-22 重庆邮电大学 一种融合DLDP与sobel的表情特征提取方法
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法
CN109543656A (zh) * 2018-12-17 2019-03-29 南京邮电大学 一种基于dcs-ldp的人脸特征提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778529A (zh) * 2016-11-25 2017-05-31 南京理工大学 一种基于改进ldp的人脸识别方法
CN108197529A (zh) * 2017-11-27 2018-06-22 重庆邮电大学 一种融合DLDP与sobel的表情特征提取方法
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法
CN109543656A (zh) * 2018-12-17 2019-03-29 南京邮电大学 一种基于dcs-ldp的人脸特征提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张群慧: "基于局部模式纹理描述符的杂草自动分类算法", 《科学技术与工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112464908A (zh) * 2020-12-18 2021-03-09 杭州电子科技大学 一种吸引局部二阶梯度轮廓模式人脸特征提取方法
CN112464908B (zh) * 2020-12-18 2024-02-13 杭州电子科技大学 一种吸引局部二阶梯度轮廓模式人脸特征提取方法

Similar Documents

Publication Publication Date Title
JP7386545B2 (ja) 画像中の物体を識別するための方法、及び当該方法を実施するためのモバイル装置
CN103927016B (zh) 一种基于双目视觉的实时三维双手手势识别方法及其系统
CN105844630B (zh) 一种双目视觉的图像超分辨率融合去噪方法
CN106650615B (zh) 一种图像处理方法及终端
CN104182719B (zh) 一种图像识别方法及装置
CN109359568A (zh) 一种基于图卷积网络的人体关键点检测方法
CN110532897A (zh) 零部件图像识别的方法和装置
CN108596944A (zh) 一种提取运动目标的方法、装置及终端设备
US9384557B2 (en) Information processing device, image modification method, and computer program product
CN106251298B (zh) 处理图像的方法和装置
CN105260720B (zh) 指纹识别的方法及装置
CN107395958A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114783024A (zh) 基于YOLOv5的公共场所戴口罩的人脸识别系统
JP4993615B2 (ja) 画像認識方法および装置
WO2020151148A1 (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN107742094A (zh) 提高人证比对结果的图像处理方法
US20230394871A1 (en) Method for verifying the identity of a user by identifying an object within an image that has a biometric characteristic of the user and separating a portion of the image comprising the biometric characteristic from other portions of the image
CN110147708A (zh) 一种图像数据处理方法和相关装置
CN108510450A (zh) 一种作物叶片图像的光照处理方法及装置
CN113052923A (zh) 色调映射方法、装置、电子设备和存储介质
CN108764287A (zh) 基于深度学习和分组卷积的目标检测方法及系统
Nikam et al. Bilingual sign recognition using image based hand gesture technique for hearing and speech impaired people
CN110348284A (zh) 基于局部方向纹理模式的遮挡人脸识别特征提取方法
CN110532938A (zh) 基于Faster-RCNN的纸质作业页码识别方法
CN115731591A (zh) 一种化妆进度检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191018