CN112464901B - 基于梯度脸局部高阶主方向模式的人脸特征提取方法 - Google Patents

基于梯度脸局部高阶主方向模式的人脸特征提取方法 Download PDF

Info

Publication number
CN112464901B
CN112464901B CN202011485882.7A CN202011485882A CN112464901B CN 112464901 B CN112464901 B CN 112464901B CN 202011485882 A CN202011485882 A CN 202011485882A CN 112464901 B CN112464901 B CN 112464901B
Authority
CN
China
Prior art keywords
face
gradient
directions
main
derivative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011485882.7A
Other languages
English (en)
Other versions
CN112464901A (zh
Inventor
王涛
叶学义
钱丁炜
陈华华
孙伟杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202011485882.7A priority Critical patent/CN112464901B/zh
Publication of CN112464901A publication Critical patent/CN112464901A/zh
Application granted granted Critical
Publication of CN112464901B publication Critical patent/CN112464901B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于“梯度脸”局部高阶主方向模式的人脸特征提取方法。首先设计“梯度脸”卷积算子，计算像素的多方向梯度分量和，以构造“梯度脸”结构。该结构不但削弱了局部区域光照变化因素的影响，保留主要的人脸特征，通过在特征域上提取高阶导数信息，由于在底层抑制了噪声，很好地解决了高阶提取算法噪声敏感问题。同时，在“梯度脸”上引入主方向分组策略表征其高阶导数特征，以局部邻域高阶导数方向变化的特征码形成主方向特征图。不但没有丢失不同导数方向之间高阶导数信息，保持了算子的精确的表征能力，而且特征码长度仅为主流方法的一半。本发明方法对光照、表情以及面部遮挡等变化因素具有好的鲁棒性，以及更高的识别效率。

Description

基于梯度脸局部高阶主方向模式的人脸特征提取方法
技术领域
本发明属于人脸识别技术领域，特别涉及一种基于“梯度脸”的局部高阶主方向模式的人脸特征提取技术。
背景技术
光照变化、噪声干扰、遮挡和姿态表情变化等变化因素会严重影响人脸识别的准确率。同时人脸识别实时性的要求也使得识别效率成为另一个值得关注的指标。
目前基于一阶导数模式提取的人脸特征往往会产生较粗的边缘，轮廓不够清晰，致使图像细节表征能力不够。而高阶导数在对精细细节，如细线，边缘等细节的增强作用要比一阶导数好得多。但是其对孤立像素的响应要比对边缘或线的响应要更强烈，容易放大噪声。在人脸识别领域，一些利用图像高阶导数的特征提取算法均可扩展至n 阶，通常其前n-1阶均是常规的差分运算，累积提取特定方向上的高阶空间的信息，第n阶则编码不同方向上的第n-1阶导数之间的关系。典型的有关基于高阶导数算法提取人脸特征的文献，例如：局部导数模式Local Derivative Pattern(LDP),IEEE transactions on imageprocessing,2010；改进之后提出的局部方向导数模式Local Directional GradientPattern(LDGP),Multimedia Tools andApplications,2017；再到之后的局部梯度六元模式Local Gradient HexaPattern(LDHP)，IEEE Transactions on Circuits and SystemsforVideo Technology,2018。目前高阶特征的人脸特征提取方法在不断追求高阶数提取图像精细鉴别信息的同时，并没有考虑高阶算法固有的对噪声敏感问题，造成算法对变化因素鲁棒性差；其次，现有的高阶提取算法中，要么特征简短，但识别效果不佳，如LDGP；反之，识别效果佳，但特征冗长，如 LGHP。在识别效率和识别效果上难以平衡。本发明针对以上两点，提出基于“梯度脸”的局部高阶主方向模式的人脸识别算法(Local High-orderPrincipal Direction Pattern Based On Gradient Face， GF_LHOPDP)，增强了对变化因素的鲁棒性，同时在识别效果和识别效率上取得一个较好的平衡。
发明内容
本发明的目的是在光照、表情、遮挡等干扰在人脸识别技术应用中普遍存在的情况下，提出一种基于“梯度脸”局部高阶主方向模式的人脸特征提取方法，以提高人脸识别性能。方法在提取高阶导数特征之前，对灰度图像提取多方向上的梯度分量并求和后逐点替换原像素，形成“梯度脸”结构，以缓解高阶导数算法噪声敏感问题。在“梯度脸”结构上提取高阶导数特征时，设计一种主方向分组的编码策略，按照三个主方向分组分别编码参考像素与邻域像素的导数方向变化，三个主方向分组仅产生三幅特征图，且涵盖所有导数信息，在保证特征丰富性的同时，提升了人脸识别系统的识别效率。
本发明具体包括如下步骤：
步骤1、设置步长为1，从灰度图像左上区域开始依次提取3*3 区域的多方向梯度分量和，即在0°、45°、90°和135°四个方向对灰度图像的3*3区域的像素点进行差分计算后取绝对值并求和，然后逐点替换原像素值，形成一幅梯度特征图，即“梯度脸”；
步骤2、对步骤1得到“梯度脸”进行n阶特征提取。
同样设置步长为1，从“梯度脸”图像左上区域开始依次提取3*3 区域进行前n-1阶常规差分的计算，即分别累积计算0°、45°、90°和 135°方向的导数。在第n阶导数的计算上，从0°方向开始沿逆时针方向，计算所有方向之间的导数，分别以0°、45°和90°作为主方向，并将与主方向相关的导数划分到一组：①(0°,45°)、(0°,90°)和(0°,135°)；②(45°,90°)和(45°,135°)；③(90°,135°)。
步骤3、采用“01”符号表示分组中的导数的方向关系，“1”表示两导数方向同向，“0”表示两导数反向，则：
在分组①中主方向与组内其他方向的导数方向变化关系共有四种情况：“111”、“110”、“100”和“000”。“111”表示的是有三个组内方向与主方向在导数方向上同向。与主导数方向同向的邻域方向越多，视为对主方向的加强，当分组内存在两个及以上两导数同向的情况，则编码为“1”,否则编码为“0”。
同理，在分组②中主方向与组内其他方向的导数方向变化会有三种情况：“11”、“10”和“00”，当分组内存在两导数均同向的情况，编码为“1”,否则编码为“0”。
在分组③中，即90°为主方向的情况下，导数方向变化会有两种情况：“1”和“0”，当分组内存在两导数同向的情况，则编码为“1”, 否则编码为“0”。
步骤4、根据步骤3的编码规则，在3*3区域内分别计算出0°、45°和90°作为主方向的二进制码，将其转化为十进制数，将该十进制数作为待编码像素的编码值，遍历所有像素，得到人脸的在该主方向上的特征图。分别对三幅不同主方向的特征图进行直方图特征提取，然后级联得到最终的局部纹理特征，作为该幅人脸图像的识别特征。
本发明有益效果如下：
本发明针对现有高阶特征的人脸识别由于对噪声敏感导致的鲁棒性差以及特征冗长的问题，提出一种基于“梯度脸”的局部高阶主方向模式的特征提取方法(GF_LHOPDP)。1)通过提取多方向的像素梯度求和的方法，提取原始图像梯度域信息，构造“梯度脸”，保留主要的人脸特征。削弱了局部区域光照变化因素的影响，而且由于在底层抑制了噪声，使得后续高阶计算中噪声的传递被降低。2)在高阶提取算法第n阶采用主方向分组编码策略，编码主方向的导数方向变化，并未丢失不同导数方向之间高阶导数信息，保持了算子的精确的表征能力，并把特征码长度降低到3*9比特。
本发明提出的算法相比其他算法对人脸光照变化、表情变化以及面部遮挡变化因素具有更优良的鲁棒性，较好的缓解了高阶方法噪声敏感问题；同时在识别效果和识别效率上取得了一个较好的平衡效果，对于人脸识别有实际应用价值。
附图说明
图1为本发明实施例图像局部像素空间示意图；
图2为本发明实施例构造“梯度脸”示意图；
图3为本发明实施例主方向分组策略示意图；
图4为本发明实施例以0°作为主方向的二阶GF_LHOPDP计算过程。
具体实施方式
以下结合附图与实施例对本发明进行进一步描述。
本发明提供了基于“梯度脸”的局部高阶主方向模式的人脸识别方法，为使本发明目的、技术方案及效果更加明晰，通过以下实例对方案进行进一步说明。
步骤1、提取“梯度脸”特征。
如图1示，在以G0为中心点的3*3区域灰度图中，邻域8个像素点代表的是与中心点相差1或距离的像素点。图像中心点G0在θ方向的梯度分量表示为G′θ(G0)，其中，G′θ(G0)＝I(G0)-I(Gi)，θ分别为方向0°、45°、90°和135°，i＝4,3,2,1。
那么，中心像素点G0的梯度幅值可以定义为：
G0＝∑|G′θ(G0)|,θ＝0°,45°,90°,135°.
如图2所示，扩展至整幅人脸矩阵，即通过计算像素点和卷积核的卷积取绝对值，然后把结果相加到一起，最终得到的值就作为该参考点的新值，由此实现从“灰度脸”向“梯度脸”的转化。
步骤2、主方向分组策略
如图3所示，在“梯度脸”特征图的3*3区域内提取0°、45°、90°和135°方向的前n-1阶差分信息，在第n阶导数的计算上引入主方向分组策略，即分成①(0°,45°)、(0°,90°)和(0°,135°)；②(45°,90°)和 (45°,135°)；③(90°,135°)三组模板表征其高阶导数特征，以局部邻域高阶导数方向变化的特征码形成主方向特征图，统计其直方图特征并级联。
步骤3、特征编码
以二阶主方向导数模式的特征提取方法为例，说明具体特征编码过程：
如图4a所示，分别计算“梯度脸”以G0为参考点沿θ方向的一阶导数G′θ(G0)，其中，G′θ(G0)＝I(G0)-I(Gi)，θ分别为方向0°、45°、 90°和135°，i＝4,3,2,1。
然后从0°方向开始沿逆时针方向，分别以0°、45°和90°作为主方向，计算在3*3邻域内相邻方向之间的导数，并按照与主方向的相关程度进行分组：
①(0°,45°)、(0°,90°)和(0°,135°)
以0°作为主方向的二阶方向导数定义为：
其中，θ为主方向0°，α、β和γ是除了主方向以外的三个方向， 45°、90°和135°。为编码二值的符号函数，用以二值化邻域方向导数变化，P(.,.,.)为编码函数。主方向与邻域方向的导数方向变化关系共有四种情况：“111”、“110”、“100”和“000”。例如“111”代表的是有三个邻域方向与主方向在导数方向上同向。与主导数方向同向的邻域方向越多，视为对主方向的加强，这里设置阈值为2，表示将两个及以上同向的情况编码为“1”，反之编码为“0”。
②(45°,90°)和(45°,135°)
同理，以45°为主方向的二阶方向导数定义为：
其中，θ为主方向45°，β、γ是沿逆时针方向除了主方向以外的两个方向，90°和135°。这里导数方向变化会有三种情况：“11”、“10”和“00”。编码函数P(.,.)的阈值同样设置为2。
③(90°,135°)
以90°为主方向的定义为：
其中，θ为主方向90°，γ是沿着逆时针方向除了主方向以外的一个方向135°。这里导数方向变化会有两种情况：“1”和“0”，编码函数P(.)的阈值设置为1。
步骤4、级联三个主方向的二进制码，得到二阶局部主方向模式 GF_LHOPDP2(G)如下所示：
扩展至n阶的GF_LHOPDP模式如下：
将得到的二进制码转化为十进制数，该十进制数作为待编码像素的编码值，遍历所有像素，得到该人脸的在该主方向的特征图，对三幅主方向的特征图进行直方图特征提取，然后级联得到最终的局部纹理特征。
图4展示了以0°作为主方向的二阶GF_LHOPDP编码过程。图4a指示了编码的开始方向，即沿着逆时针取四个方向依次求导数。图4b、c、d、e和f分别是图像片段以及其0°、45°、90°和135°导数。图4g、h和i分别是参考像素点和8个邻域像素点在方向对 (0°,45°)、(0°,90°)和(0°,135°)的导数。图4j将三个导数方向变化二值化并根据主方向策略提取特征码。同理，可以分别计算出45°和90°作为主方向的特征码，最终级联形成3*9比特GF_LHOPDP码。

Claims (1)

1.基于“梯度脸”局部高阶主方向模式的人脸特征提取方法，其特征在于，步骤如下：
步骤1、设置步长为1，从灰度图像左上区域开始依次提取3*3区域的多方向梯度分量和，即在0°、45°、90°和135°四个方向对灰度图像的3*3区域的像素点进行差分计算后取绝对值并求和，然后逐点替换原像素值，形成一幅梯度特征图，即“梯度脸”；
步骤2、对步骤1得到“梯度脸”进行n阶特征提取；
同样设置步长为1，从“梯度脸”图像左上区域开始依次提取3*3区域进行前n-1阶常规差分的计算，即分别累积计算0°、45°、90°和135°方向的导数；在第n阶导数的计算上，从0°方向开始沿逆时针方向，计算所有方向之间的导数，分别以0°、45°和90°作为主方向，并将与主方向相关的导数划分到一组：①(0°,45°)、(0°,90°)和(0°,135°)；②(45°,90°)和(45°,135°)；③(90°,135°)；
步骤3、采用“01”符号表示分组中的导数的方向关系，“1”表示两导数方向同向，“0”表示两导数反向，则：
在分组①中主方向与组内其他方向的导数方向变化关系共有四种情况：“111”、“110”、“100”和“000”；“111”表示的是有三个组内方向与主方向在导数方向上同向；与主导数方向同向的邻域方向越多，视为对主方向的加强，当分组内存在两个及以上两导数同向的情况，则编码为“1”,否则编码为“0”；
同理，在分组②中主方向与组内其他方向的导数方向变化会有三种情况：“11”、“10”和“00”，当分组内存在两导数均同向的情况，编码为“1”,否则编码为“0”；
在分组③中，即90°为主方向的情况下，导数方向变化会有两种情况：“1”和“0”，当分组内存在两导数同向的情况，则编码为“1”,否则编码为“0”；
步骤4、根据步骤3的编码规则，在3*3区域内分别计算出0°、45°和90°作为主方向的二进制码，将其转化为十进制数，将该十进制数作为待编码像素的编码值，遍历所有像素，得到人脸的在该主方向上的特征图；分别对三幅不同主方向的特征图进行直方图特征提取，然后级联得到最终的局部纹理特征，作为人脸图像的识别特征。
CN202011485882.7A 2020-12-16 2020-12-16 基于梯度脸局部高阶主方向模式的人脸特征提取方法 Active CN112464901B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011485882.7A CN112464901B (zh) 2020-12-16 2020-12-16 基于梯度脸局部高阶主方向模式的人脸特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011485882.7A CN112464901B (zh) 2020-12-16 2020-12-16 基于梯度脸局部高阶主方向模式的人脸特征提取方法

Publications (2)

Publication Number Publication Date
CN112464901A CN112464901A (zh) 2021-03-09
CN112464901B true CN112464901B (zh) 2024-02-02

Family

ID=74802994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011485882.7A Active CN112464901B (zh) 2020-12-16 2020-12-16 基于梯度脸局部高阶主方向模式的人脸特征提取方法

Country Status (1)

Country Link
CN (1) CN112464901B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116091524B (zh) * 2023-04-07 2023-06-13 杭州电子科技大学 一种针对复杂背景中目标的检测与分割方法
CN117373100B (zh) * 2023-12-08 2024-02-23 成都乐超人科技有限公司 基于差分量化局部二值模式的人脸识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971168A (zh) * 2017-03-31 2017-07-21 南京邮电大学 基于人脸结构特征的多方向多层次双交叉鲁棒性识别方法
CN107273855A (zh) * 2017-06-17 2017-10-20 南京理工大学 基于高阶导数线性局部算子的光照不变人脸识别方法
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971168A (zh) * 2017-03-31 2017-07-21 南京邮电大学 基于人脸结构特征的多方向多层次双交叉鲁棒性识别方法
CN107273855A (zh) * 2017-06-17 2017-10-20 南京理工大学 基于高阶导数线性局部算子的光照不变人脸识别方法
CN109299653A (zh) * 2018-08-06 2019-02-01 重庆邮电大学 一种基于改进完备局部三值模式的人脸表情特征提取方法

Also Published As

Publication number Publication date
CN112464901A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN111652899B (zh) 一种时空部件图的视频目标分割方法
CN112464901B (zh) 基于梯度脸局部高阶主方向模式的人脸特征提取方法
CN110163815A (zh) 基于多阶段变分自编码器的低照度还原方法
CN114022790B (zh) 遥感图像中云层检测及图像压缩方法、装置和存储介质
CN111507465B (zh) 一种可配置的卷积神经网络处理器电路
CN112884758A (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
CN110264483B (zh) 一种基于深度学习的语义图像分割方法
CN111179144A (zh) 一种多进制秘密信息多次嵌入的高效信息隐藏方法
CN118172290B (zh) 一种基于多级自适应CNN与混合Transformer的唐卡图像修复方法、系统及存储介质
CN112837238A (zh) 图像处理方法及装置
CN105741221B (zh) Cad工程图可逆水印方法、水印嵌入方法和水印提取方法
CN109003247B (zh) 彩色图像混合噪声的去除方法
CN116823627A (zh) 一种基于图像复杂度评价的超大尺寸图像快速去噪方法
CN110047029A (zh) 一种结合多层差扩展具有对比度增强的可逆信息隐藏方法及装置
CN106408029B (zh) 一种基于结构差分直方图的图像纹理分类方法
CN117221455A (zh) 基于lpeo自适应直方图修改的可逆信息隐藏方法
CN112435186B (zh) 一种基于双规则矩阵方向场的指纹图像增强方法
Weng et al. NU $^{2} $ P-based Reversible Data Hiding in the Multi-histogram Modification Framework
Rodríguez-Díaz et al. Refined fixed double pass binary object classification for document image compression
CN114418821A (zh) 基于图像频域的盲水印处理方法
CN111461259A (zh) 基于红黑形态小波池化网络的图像分类方法及系统
CN115510461B (zh) 一种基于双层格雷码的量子图像隐写方法
Luyen et al. An efficient reversible data hiding based on improved pixel value ordering method
Kumar Reversible key frame selection data hiding in videos using search tree labelling scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant