CN112069877B - 一种基于边缘信息和注意力机制的人脸信息识别方法 - Google Patents

一种基于边缘信息和注意力机制的人脸信息识别方法 Download PDF

Info

Publication number
CN112069877B
CN112069877B CN202010704678.3A CN202010704678A CN112069877B CN 112069877 B CN112069877 B CN 112069877B CN 202010704678 A CN202010704678 A CN 202010704678A CN 112069877 B CN112069877 B CN 112069877B
Authority
CN
China
Prior art keywords
features
low
level
level features
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010704678.3A
Other languages
English (en)
Other versions
CN112069877A (zh
Inventor
胡玮
特古斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202010704678.3A priority Critical patent/CN112069877B/zh
Publication of CN112069877A publication Critical patent/CN112069877A/zh
Application granted granted Critical
Publication of CN112069877B publication Critical patent/CN112069877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘信息和注意力机制的人脸信息识别方法。本方法为：1)对输入的人脸图像进行特征提取得到该人脸图像的低层特征图；2)从该低层特征图中提取高层次特征和低层次特征；并对该低层特征图进行处理得到边缘二值图像；3)根据边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵；4)将该投影矩阵、高层次特征、低层次特征输入图卷积模块进行推理，获得图结构的节点特征并将其输入反投影模块，得到优化后的高层特征、低层特征；5)将优化后的高层特征和低层特征送到解码器进行上采样到相同尺度并拼接在一起输入卷积网络进行更新处理得到该人脸图像的人脸信息。本发明有更低的计算时间和空间复杂度。

Description

一种基于边缘信息和注意力机制的人脸信息识别方法
技术领域
本发明涉及人脸解析领域，其理论基础涉及神经网络和计算机视觉领域。
背景技术
人脸解析即将人脸中的不同部位赋予不同的标签，进行像素级的语义分割。其会为每个语义成分(如面部皮肤，眼睛，嘴巴和鼻子)分配一个像素级标签，是语义分割中的一项特殊任务。它已应用于各种场景中，例如面部理解，编辑，合成和动画。
现有基于区域的方法来分别对面部五官进行建模，并取得了很好的效果。但是，这些方法基于每个区域内的单独信息，无法利用区域之间的相关性来捕获远程依赖关系。
实际上，面部成分彼此之间具有丰富的相关性。例如，当人们微笑时，眼睛，嘴巴和眉毛通常会变得更弯曲。面部成分之间的相关性是面部表示中的关键线索，在面部解析中应予以考虑。
发明内容
为了解决上述问题，本发明提出了一种用于人脸解析的注意力机制模块和神经网络框架。本发明建议学习面部图像上的不同五官之间的图结构G，该图结构G表示区域之间的关系并实现对非局部区域的推理以捕获远距离依赖性。为了联系面部图像像素和图结构顶点，本发明投影了一个像素集合(“区域”)，其中的像素具有相似的特征。区域中的逐像素特征将聚合到相应顶点的特征中。
具体来说，对于给定的一张人脸图像，本发明首先通过已有的ResNet主干网络对高级和低级特征进行编码后，建立一个投影矩阵将具有相似特征的像素集合映射到图结构中的每个顶点。每个顶点的特征被视为像素特征的加权聚合，其中通过为五官边缘像素的特征分配较大的权重。接下来，本发明通过图卷积学习和推理顶点之间的关系，以进一步提取全局的语义信息。最终，将学习到的特征投影回逐像素的特征图，并根据卷积模块来产生成最后的人脸信息。总体来说，本发明提出通过在对不同像素区域建模到的图结构，来利用区域之间的关系进行人脸解析，其中将投影具有相似特征的像素集合到每个顶点，并推理出这些关系以捕获远距离依存关系。
本发明的技术方案为：
一种基于边缘信息和注意力机制的人脸信息识别方法，其步骤包括：
1)对输入的人脸图像进行特征提取得到该人脸图像的低层特征图；
2)使用多层次池化模块从该低层特征图中提取高层次特征和低层次特征；使用边缘提取模块对该低层特征图进行处理得到边缘二值图像；
3)根据该边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；其中图结构G＝{V,E,W}；V为图结构G上顶点的集合，|V|＝N为图结构G的顶点个数；E为图结构G中边的集合；W为带权邻接矩阵，其中的元素wi,j是图结构G中连接顶点i与顶点j的边的权重；
4)将该投影矩阵、高层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的高层特征；将该投影矩阵、低层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的低层特征；
5)将优化后的高层特征和低层特征馈送到解码器进行上采样到相同尺度并拼接在一起输入卷积网络；
6)卷积网络对输入特征数据进行更新处理得到该人脸图像的人脸信息。
进一步的，利用ResNet骨干网络对输入的人脸图像进行特征提取得到所述低层特征图。
进一步的，利用图拉普拉斯矩阵L＝D-W计算得到带权邻接矩阵W，其中D为对角矩阵，
Figure BDA0002594235970000021
一种基于边缘信息和注意力机制的人脸信息识别系统，其特征在于，包括特征提取模块、边缘感知图推理模块和解码器模块；其中，
特征提取模块，用于输入的人脸图像进行特征提取得到该人脸图像的低层特征图；然后从该低层特征图中提取高层次特征和低层次特征，以及对该低层特征图进行处理得到边缘二值图像；
边缘感知图推理模块，用于根据该边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；其中图结构G＝{V,E,W}；V为图结构G上顶点的集合，|V|＝N为图结构G的顶点个数；E为图结构G中边的集合；W为带权邻接矩阵，其中的元素wi,j是图结构G中连接顶点i与顶点j的边的权重；然后将该投影矩阵、高层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的高层特征；以及将该投影矩阵、低层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的低层特征；
解码器模块，用于对优化后的高层特征和低层特征进行上采样到相同尺度并拼接在一起输入卷积网络进行特征数据更新处理得到该人脸图像的人脸信息。
与现有技术相比，本发明的积极效果为：
在人脸五官的边缘处有更好的分割结果；有更低的计算时间和空间复杂度。
附图说明
图1为本发明的方法流程图。
图2为边缘感知图推理模块处理流程图。
具体实施方式
下面结合附图和实施例对本发明提供的一种声源定向框架进行介绍。
在介绍方法的主要步骤之前，本发明首先介绍一下谱图理论，谱图理论将是本发明中的方法的核心。
(1)图和图拉普拉斯矩阵：
本发明定义一个无向图，G＝{V,E,W}。V为图G上顶点的集合，|V|＝N为图G的顶点个数；E为图G中边的集合；W为带权邻接矩阵。其中W是一个N×N的实对称矩阵，wi,j是连接图G中顶点i与顶点j的边的权重，通常使用非负值作为权重。
图拉普拉斯矩阵通常被定义为L＝D-W，其中D为对角矩阵，
Figure BDA0002594235970000031
在介绍完基本的谱图理论之后，开始讨论本发明中的方法。本发明的模型结构如下：
特征提取部分：
(1)利用ResNet骨干网络对输入的人脸图像进行特征提取得到低层特征图；
(2)使用多层次池化模块提取高层次特征和低层次特征；
(3)使用边缘提取模块对低层特征图处理得到边缘二值图像。
边缘感知图推理模块，其数据处理流程如图2所示：
(1)根据边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；
(2)将投影矩阵和高层次特征、低层次特征输入图卷积模块进行推理(参考《图卷积神经网络综述》计算机学报2020.5)，获得图结构G的节点特征；
(3)将图结构G的节点特征输入反投影模块，得到优化后的高层特征和低层特征。
解码器模块：
(1)将优化后的高层特征和低层特征馈送到解码器；
(2)解码器将两个特征利用上采样到相同尺度并拼接在一起；
(3)利用卷积网络进行特征更新输出最终解析结果，即人脸图像的人脸信息。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种基于边缘信息和注意力机制的人脸信息识别方法，其步骤包括：
1)对输入的人脸图像进行特征提取得到该人脸图像的低层特征图；
2)使用多层次池化模块从该低层特征图中提取高层次特征和低层次特征；使用边缘提取模块对该低层特征图进行处理得到边缘二值图像；
3)根据该边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；其中图结构G＝{V，E，W}；V为图结构G上顶点的集合，|V|＝N为图结构G的顶点个数；E为图结构G中边的集合；W为带权邻接矩阵，其中的元素wi，j是图结构G中连接顶点i与顶点j的边的权重；
4)将该投影矩阵、高层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的高层特征；将该投影矩阵、低层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的低层特征；
5)将优化后的高层特征和低层特征馈送到解码器进行上采样到相同尺度并拼接在一起输入卷积网络；
6)卷积网络对输入特征数据进行更新处理得到该人脸图像的人脸信息。
2.如权利要求1所述的方法，其特征在于，利用ResNet骨干网络对输入的人脸图像进行特征提取得到所述低层特征图。
3.如权利要求1所述的方法，其特征在于，利用图拉普拉斯矩阵L＝D-W计算得到带权邻接矩阵W，其中D为对角矩阵，
Figure FDA0002594235960000011
4.一种基于边缘信息和注意力机制的人脸信息识别系统，其特征在于，包括特征提取模块、边缘感知图推理模块和解码器模块；其中，
特征提取模块，用于输入的人脸图像进行特征提取得到该人脸图像的低层特征图；然后从该低层特征图中提取高层次特征和低层次特征，以及对该低层特征图进行处理得到边缘二值图像；
边缘感知图推理模块，用于根据该边缘二值图像对高层次特征和低层次特征分别进行滤波、池化采样，得到投影矩阵，将该人脸图像中具有相似特征的像素集合映射到图结构G中的每个顶点；其中图结构G＝{V，E，W}；V为图结构G上顶点的集合，|V|＝N为图结构G的顶点个数；E为图结构G中边的集合；W为带权邻接矩阵，其中的元素wi，j是图结构G中连接顶点i与顶点j的边的权重；然后将该投影矩阵、高层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的高层特征；以及将该投影矩阵、低层次特征输入图卷积模块进行推理，获得图结构G的节点特征并将其输入反投影模块，得到优化后的低层特征；
解码器模块，用于对优化后的高层特征和低层特征进行上采样到相同尺度并拼接在一起输入卷积网络进行特征数据更新处理得到该人脸图像的人脸信息。
5.如权利要求4所述的系统，其特征在于，所述特征提取模块利用ResNet骨干网络对输入的人脸图像进行特征提取得到所述低层特征图。
6.如权利要求4所述的系统，其特征在于，所述边缘感知图推理模块利用图拉普拉斯矩阵L＝D-W计算得到带权邻接矩阵W，其中D为对角矩阵，
Figure FDA0002594235960000021
CN202010704678.3A 2020-07-21 2020-07-21 一种基于边缘信息和注意力机制的人脸信息识别方法 Active CN112069877B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010704678.3A CN112069877B (zh) 2020-07-21 2020-07-21 一种基于边缘信息和注意力机制的人脸信息识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010704678.3A CN112069877B (zh) 2020-07-21 2020-07-21 一种基于边缘信息和注意力机制的人脸信息识别方法

Publications (2)

Publication Number Publication Date
CN112069877A CN112069877A (zh) 2020-12-11
CN112069877B true CN112069877B (zh) 2022-05-03

Family

ID=73656204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010704678.3A Active CN112069877B (zh) 2020-07-21 2020-07-21 一种基于边缘信息和注意力机制的人脸信息识别方法

Country Status (1)

Country Link
CN (1) CN112069877B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869325A (zh) * 2021-08-27 2021-12-31 北京旷视科技有限公司 图像处理方法、装置、设备及介质
WO2023043001A1 (ko) * 2021-09-14 2023-03-23 광주과학기술원 저해상도 이미지의 얼굴 인식 성능 향상을 위한 어텐션 맵 전달 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138329A1 (en) * 2018-01-09 2019-07-18 Farm4Trade S.R.L. Method and system, based on the use of deep learning techniques, for the univocal biometric identification of an animal
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110796617A (zh) * 2019-10-24 2020-02-14 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统
CN110991433A (zh) * 2020-03-04 2020-04-10 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、设备及存储介质
CN111191715A (zh) * 2019-12-27 2020-05-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11853903B2 (en) * 2017-09-28 2023-12-26 Siemens Aktiengesellschaft SGCNN: structural graph convolutional neural network

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019138329A1 (en) * 2018-01-09 2019-07-18 Farm4Trade S.R.L. Method and system, based on the use of deep learning techniques, for the univocal biometric identification of an animal
CN110728219A (zh) * 2019-09-29 2020-01-24 天津大学 基于多列多尺度图卷积神经网络的3d人脸生成方法
CN110796617A (zh) * 2019-10-24 2020-02-14 北京小米智能科技有限公司 面部图像的增强方法及装置、电子设备
CN110796110A (zh) * 2019-11-05 2020-02-14 西安电子科技大学 一种基于图卷积网络的人体行为识别方法及系统
CN111191715A (zh) * 2019-12-27 2020-05-22 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110991433A (zh) * 2020-03-04 2020-04-10 支付宝(杭州)信息技术有限公司 人脸识别方法、装置、设备及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GLOBAL STRUCTURE GRAPH GUIDED FINE-GRAINED VEHICLE RECOGNITION;Chuanming Wang等;《ICASSP 2020 - 2020 IEEE 声学、语音和信号处理国际会议 (ICASSP)》;20200514;第1913-1917页 *
Graph-Based Global Reasoning Networks;Yunpeng Chen等;《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》;20200109;第433-442页 *
Stacked Cross Refinement Network for Edge-Aware Salient Object Detection;Zhe Wu等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;第7263-7272页 *

Also Published As

Publication number Publication date
CN112069877A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
CN112766160B (zh) 基于多级属性编码器和注意力机制的人脸替换方法
CN110717977B (zh) 游戏角色脸部处理的方法、装置、计算机设备及存储介质
CN111079532B (zh) 一种基于文本自编码器的视频内容描述方法
CN111401216B (zh) 图像处理、模型训练方法、装置、计算机设备和存储介质
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
WO2024051445A9 (zh) 图像生成方法以及相关设备
CN114723760B (zh) 人像分割模型的训练方法、装置及人像分割方法、装置
CN112069877B (zh) 一种基于边缘信息和注意力机制的人脸信息识别方法
WO2024131565A1 (zh) 服装图像提取方法及其装置、设备、介质、产品
CN114187624A (zh) 图像生成方法、装置、电子设备及存储介质
CN113392791A (zh) 一种皮肤预测处理方法、装置、设备及存储介质
CN113781324A (zh) 一种老照片修复方法
CN116129013A (zh) 一种生成虚拟人动画视频的方法、装置及存储介质
CN114529785B (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN117336527A (zh) 视频编辑的方法和装置
CN115577768A (zh) 半监督模型训练方法和装置
CN115359492A (zh) 文本图像匹配模型训练方法、图片标注方法、装置、设备
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
WO2024099026A1 (zh) 图像处理方法、装置、设备、存储介质及程序产品
CN116664603B (zh) 图像处理方法、装置、电子设备及存储介质
CN115631285B (zh) 基于统一驱动的人脸渲染方法、装置、设备及存储介质
CN113393545A (zh) 一种图像动漫化处理方法、装置、智能设备和存储介质
CN117274446A (zh) 一种场景视频处理方法、装置、设备及存储介质
CN114862716A (zh) 人脸图像的图像增强方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant