CN112417991B - 基于沙漏胶囊网络的双注意力人脸对齐方法 - Google Patents

基于沙漏胶囊网络的双注意力人脸对齐方法 Download PDF

Info

Publication number
CN112417991B
CN112417991B CN202011202209.8A CN202011202209A CN112417991B CN 112417991 B CN112417991 B CN 112417991B CN 202011202209 A CN202011202209 A CN 202011202209A CN 112417991 B CN112417991 B CN 112417991B
Authority
CN
China
Prior art keywords
capsule
capsules
attention
network
hourglass
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011202209.8A
Other languages
English (en)
Other versions
CN112417991A (zh
Inventor
李晶
马金燕
刘天鹏
常军
姚博文
洪燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011202209.8A priority Critical patent/CN112417991B/zh
Publication of CN112417991A publication Critical patent/CN112417991A/zh
Application granted granted Critical
Publication of CN112417991B publication Critical patent/CN112417991B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于沙漏胶囊网络的双注意力人脸对齐方法。本发明提出的沙漏胶囊网络确保网络在提取人脸图片中多尺度特征的同时更好的捕获人脸特征点间的空间位置关系，对人脸特征点的空间位置关系进行建模，增强算法在部分遮挡情况下的鲁棒性；本发明还设计了两个新颖的注意力机制，即胶囊注意力机制和空间注意力机制，使网络更加关注有助于人脸特征点定位的特征，同时抑制其他不相关特征，增强了网络的表达能力。在部分遮挡、表情夸张、光照变化等极端的环境下，本发明方法依旧能够保持较高的精度。

Description

基于沙漏胶囊网络的双注意力人脸对齐方法
技术领域
本发明属于计算机视觉技术领域，具体涉及数字图像的人脸对齐技术领域，特别是涉及一种基于沙漏胶囊网络的双注意力人脸对齐方法。
背景技术
人脸对齐，也被称之为人脸特征点检测，旨在定位人脸上(例如眼角、鼻尖以及嘴角等)预先定义好的特征点，是很多人脸分析任务的关键步骤，例如人脸识别、面部追踪、面部表情识别以及头部姿态估计等。几十年来，研究学者为解决人脸对齐问题付出了大量的努力，尽管该问题已经在限制性甚至非限制性环境下取得了一定的突破，然而，由于人脸外观和形状的变化，例如姿势，表情，尤其是部分遮挡的存在，使得人脸对齐任务仍然具有很大的挑战。
部分遮挡使得人脸外观信息包含大量的噪声，局部特征间的空间位置关系也因为部分遮挡的存在而变得模糊，导致人脸遮挡部分及可见部分的特征点定位失准。由于人脸的任意部分可以被任意目标遮挡，因此在部分遮挡的情况下，人脸对齐算法通常会发生严重的退化。近几年，基于卷积神经网络的算法已经成为解决部分遮挡情况下人脸对齐问题的主流方法，尽管这类方法已经取得了不同程度的成功，然而，由于传统卷积神经网络本身的标量和加权特性及最大池化的存在，使得网络丢弃了数据中的位置和方向等信息，无法很好的捕捉特征间的空间位置关系，导致那些在约束环境下表现良好的人脸对齐算法在部分遮挡发生时鲁棒性将会大幅降低。
发明内容
为了解决上述技术问题，本发明提出了一种基于沙漏胶囊网络的双注意力人脸对齐方法。
本发明提出了沙漏胶囊网络和自适应局部约束动态路由算法，确保网络在提取人脸图片中的多尺度特征的同时捕获人脸特征点间的空间位置关系，增加算法在部分遮挡情况下的鲁棒性；为了模仿人类的视觉注意力机制，本发明提出了双注意力机制，即胶囊注意力机制和空间注意力机制，使网络更加关注有助于人脸特征点定位的特征，增强网络的表达能力。
本发明的技术方案为一种基于沙漏胶囊网络的双注意力人脸对齐方法，包括如下步骤：
步骤1，对于给定的人脸图片，首先通过卷积操作获得一组基础的特征图，然后利用沙漏胶囊网络以及自适应局部约束动态路由算法对特征图进行多尺度特征的提取，同时捕获特征间的空间位置关系，最终得到人脸边界热力图；
步骤2，对于步骤1中得到的基础特征图，利用胶囊注意力模块有选择性的加强有助于人脸特征点定位的特征；
步骤3，对于步骤1中得到的基础特征图，利用空间注意力模块捕获人脸图像中具有区域间的长期、多级依赖关系的特征；
步骤4，将步骤2与步骤3提取的特征进行对应元素相加，得到融合之后的特征；
步骤5，将步骤1中的人脸边界热力图与步骤4中的特征进行通道连接，得到最终的人脸关键点坐标。
进一步的，步骤1中的沙漏胶囊网络的具体结构如下，
沙漏胶囊网络的上半部分，包括依次连接的1个基于自适应局部约束动态路由算法的卷积，其中路由次数为1，1个基于自适应局部约束动态路由算法的卷积，其中路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积，其中路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积其中路由次数为3，3个残差单元；
沙漏胶囊网络的下半部分，包括依次连接的1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接。
进一步的，步骤1中将基础特征图划分为若干个胶囊，通过在胶囊之间执行自适应局部约束动态路由算法以获取图片中人脸特征点间的空间位置关系，自适应局部约束动态路由算法的具体描述如下，
在沙漏胶囊网络的l层，存在一组胶囊
Figure BDA0002755767170000031
其中n代表胶囊的个数，对于自适应核内的任意一个“子胶囊”
Figure BDA0002755767170000032
存在一组“父胶囊”
Figure BDA0002755767170000033
自适应局部约束动态路由算法旨在找到合适的耦合系数，以便“子胶囊”可以激活正确的“父胶囊”，从而实现低层胶囊与高层胶囊之间的信息传递；为了实现这一目的，首先将自适应核内的“子胶囊”
Figure BDA0002755767170000034
与转换矩阵
Figure BDA0002755767170000035
相乘得到l层的预测向量
Figure BDA0002755767170000036
其中，预测向量
Figure BDA0002755767170000037
的维度为
Figure BDA00027557671700000321
大小与自适应核大小保持一致，为kh×kw；
Figure BDA0002755767170000038
的大小为
Figure BDA00027557671700000322
Figure BDA00027557671700000323
代表l+1层的“父胶囊”个数；最后将l层胶囊的预测向量
Figure BDA00027557671700000324
乘以耦合系数
Figure BDA00027557671700000325
得到l+1层自适应核内“父胶囊”的输入
Figure BDA00027557671700000311
Figure BDA00027557671700000312
其中，耦合系数
Figure BDA00027557671700000313
的更新过程如公式(2)所示：
Figure BDA00027557671700000314
k代表l层胶囊的个数，
Figure BDA00027557671700000315
是预测向量
Figure BDA00027557671700000326
与“父胶囊”
Figure BDA00027557671700000327
路由的先验概率，其计算方式如公式(3)所示；初始状态下，先验概率
Figure BDA00027557671700000318
的值为0，意味着此时l+1层胶囊是l层胶囊的加权求和；
Figure BDA00027557671700000319
其中，
Figure BDA00027557671700000320
代表l+1层“父胶囊”的最终输出，通过如下非线性激活函数计算得到；
Figure BDA0002755767170000041
进一步的，步骤2中胶囊注意力模块的具体处理过程为，
对于基础特征图
Figure BDA0002755767170000042
首先对其进行矩阵变换得到
Figure BDA00027557671700000410
即将原始特征图划分成A个维度为D，大小为W×H的胶囊，记为胶囊1，每个胶囊代表图片中不同的实体或者实体的一部分，为了计算胶囊间的相互依赖关系，首先对胶囊
Figure BDA0002755767170000043
执行自适应局部约束动态路由算法得到新的胶囊
Figure BDA0002755767170000044
记为胶囊2；
Figure BDA0002755767170000045
其中，R代表自适应局部约束动态路由算法，上述操作将胶囊的每个维度的特征图压缩为一个实数；将两个新产生的胶囊进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵γij，也称为注意力图；
Figure BDA0002755767170000046
其中，yj表示第j个胶囊，N表示胶囊的个数，γj,i表示在识别第j个胶囊时，关注第i个胶囊的程度；接下来将注意力图γij与原始胶囊
Figure BDA0002755767170000047
相乘以获取最终的自注意力图τ∈RA ×D×W×H；
Figure BDA0002755767170000048
最后，将注意力层的输出乘以一个比例系数然后将其与原始胶囊相加，以保留原始特征图中的其他有效信息，因此，最终的输出定义为：
Figure BDA0002755767170000049
其中，θ为比例系数。
进一步的，步骤3中空间注意力模块的具体处理过程如下，
对于基础特征图
Figure BDA0002755767170000051
首先将特征图进行矩阵变换得到
Figure BDA0002755767170000052
其中代表C特征图的通道数，N＝H×W，H,W分别代表特征图的宽和高；然后将特征图
Figure BDA0002755767170000053
通过两个特征空间f,g分别产生两个新的特征图
Figure BDA0002755767170000054
其中
Figure BDA0002755767170000055
Wf，Wg代表卷积操作；将两个新产生的特征图进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵ξij；
接下来，将原始特征图
Figure BDA0002755767170000056
通过另一个特征空间
Figure BDA0002755767170000057
得到另一个新的特征图
Figure BDA0002755767170000058
Wh代表卷积操作，将关系矩阵ξij与H相乘以获取最终的注意力图σ∈RCXN；
最后，将得到的注意力图σ与原始特征z进行对应元素相加操作以保留原始特征图中的其他有效信息。
本发明与现有技术相比，具有以下优点：本发明的人脸对齐算法在姿态变化、部分遮挡、背景模糊等极端环境下，依旧能保持较高的精度，显示了本发明对夸张姿态和严重遮挡的人脸关键点检测的鲁棒性。
附图说明
图1是本发明实施例整体框架图。
图2是本发明实施例沙漏胶囊网络结构图。
图3是本发明实施例基于自适应局部约束动态路由算法的卷积操作。
图4是本发明消融实验可视化结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明做进一步详细说明应当理解，此处描述的具体实施例仅用以解释本发明，并不用于限定本发明。
基于沙漏胶囊网络的双注意力人脸对齐方法，其主要思想是：沙漏胶囊网络确保网路在提取人脸图片中多尺度特征的同时更好的捕获人脸特征点间的空间位置关系，对人脸特征点的空间位置关系进行建模，增强算法在部分遮挡情况下的鲁棒性；双注意力机制通过融合胶囊注意力机制以及空间注意力机制提取的特征，使网络更加关注有助于人脸特征点定位的特征，同时抑制其他不相关特征，增强了网络的表达能力。
如图1所示，本发明放的整体流程为；
步骤1，对于给定的人脸图片，首先通过简单的卷积操作得到一组基础的特征图，然后利用沙漏胶囊网络以及自适应局部约束动态路由算法对人脸图片进行多尺度特征的提取，同时捕获特征间的空间位置关系，最终得到人脸边界热力图；
步骤2，对于步骤1中得到的基础特征图，利用胶囊注意力模块有选择性的加强有助于人脸特征点定位的特征；
步骤3，对于步骤1中得到的基础特征图，利用空间注意力模块捕获人脸图像中具有区域间的长期、多级依赖关系的特征；
步骤4，将步骤2与步骤3提取的特征进行对应元素相加(Element-wise SumProduct)得到融合之后的特征；
步骤5，将步骤1中的人脸边界热力图与步骤4中的特征进行通道连接(Concatenation)，得到最终的人脸关键点坐标。
如图1所示，步骤1中的沙漏胶囊网络具体网络结构如下，
沙漏胶囊网络的上半部分，包括依次连接的1个基于自适应局部约束动态路由算法的卷积，路由次数为1，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积，路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积，路由次数为3，3个残差单元；
沙漏胶囊网络的下半部分，包括依次连接的1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接(SkipConnection)，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接。
由于传统卷积神经网络只关注某些特定特征是否存在而忽略了这些特征间的空间位置关系，因此为了捕获人脸特征点的空间位置关系以增强人脸图片与人脸特征点之间非线性映射关系，我们将步骤1中通过卷积得到的特征图划分为若干个胶囊，通过在胶囊之间执行自适应局部约束动态路由算法以获取图片中人脸特征点间的空间位置关系。
如图2所示，步骤1中的自适应局部约束动态路由算法如下，
在沙漏胶囊网络的l层，存在一组胶囊
Figure BDA0002755767170000071
其中n代表胶囊的个数。对于自适应核内的任意一个“子胶囊”
Figure BDA0002755767170000072
存在一组“父胶囊”
Figure BDA0002755767170000073
自适应局部约束动态路由算法旨在找到合适的耦合系数，以便“子胶囊”可以激活正确的“父胶囊”，从而实现低层胶囊与高层胶囊之间的信息传递。为了实现这一目的，首先将自适应核内的“子胶囊”
Figure BDA0002755767170000074
与转换矩阵
Figure BDA00027557671700000723
相乘得到l层的预测向量
Figure BDA0002755767170000076
其中，预测向量
Figure BDA0002755767170000077
的维度为
Figure BDA00027557671700000720
大小与自适应核大小保持一致，为kh×kw。
Figure BDA0002755767170000078
的大小为
Figure BDA00027557671700000721
Figure BDA00027557671700000722
代表l+1层的“父胶囊”个数。值得注意的是，转换矩阵
Figure BDA0002755767170000079
的值与自适应核无关，它是通过损失函数反向传播得到。最后将l层胶囊的预测向量
Figure BDA00027557671700000710
乘以耦合系数
Figure BDA00027557671700000711
得到l+1层自适应核内“父胶囊”的输入
Figure BDA00027557671700000712
Figure BDA00027557671700000713
其中，耦合系数
Figure BDA00027557671700000714
的更新过程如公式(2)所示：
Figure BDA00027557671700000715
k代表l层胶囊的个数，
Figure BDA00027557671700000716
是预测向量
Figure BDA00027557671700000717
与“父胶囊”
Figure BDA00027557671700000724
路由的先验概率，其计算方式如公式(3)所示。初始状态下，先验概率
Figure BDA00027557671700000719
的值为0，意味着此时l+1层胶囊是l层胶囊的加权求和。
Figure BDA0002755767170000081
其中，
Figure BDA0002755767170000082
代表l+1层“父胶囊”的最终输出，通过如下非线性激活函数计算得到。
Figure BDA0002755767170000083
基于自适应局部约束动态路由算法的反卷积过程与上述描述类似，不同之处在于自适应局部约束卷积过程中子胶囊的局部空间核较小，父胶囊的局部空间核较大；而反卷积过程则恰好与之相反。
进一步的，步骤2中的胶囊注意力模块具体描述如下，
对于步骤1中的基础特征图
Figure BDA0002755767170000084
首先对其进行矩阵变换得到
Figure BDA0002755767170000085
即将原始特征图划分成A个维度为D，大小为W×H的胶囊，记为胶囊1，每个胶囊代表图片中不同的实体或者实体的一部分，为了计算胶囊间的相互依赖关系，我们首先对胶囊
Figure BDA0002755767170000086
执行自适应局部约束动态路由算法得到新的胶囊
Figure BDA0002755767170000087
记为胶囊2；
Figure BDA0002755767170000088
其中，R代表自适应局部约束动态路由算法，上述操作将胶囊的每个维度的特征图压缩为一个实数，这个实数在一定程度上表示视觉实体的某个实例化参数。为了对长期依赖关系进行建模并计算注意力，我们将两个新产生的胶囊(即胶囊1和胶囊2)进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵γij，也称为注意力图。
Figure BDA0002755767170000089
其中，yj表示第j个胶囊，N表示胶囊的个数，γj,i表示在识别第j个胶囊时，关注第i个胶囊的程度，也就是说，两个胶囊的特征表达越相似，它们之间的相关性就越大。接下来将注意力图γij与原始胶囊
Figure BDA00027557671700000810
相乘以获取最终的自注意力图τ∈RA×D×W×H。
Figure BDA0002755767170000091
最后，我们将注意力层的输出乘以一个比例系数然后将其与原始胶囊相加，以保留原始特征图中的其他有效信息。因此，最终的输出定义为：
Figure BDA0002755767170000092
其中，θ为比例系数，θ的初始值为0，表示网络(胶囊注意力模块实质上也是神经网络)一开始依赖局部关系，接着我们将逐渐增加注意力机制的权重，通过显式地建模胶囊之间的相互依赖关系，学习每个胶囊的重要程度，使得网络可以有选择性的加强有助于人脸特征点定位的胶囊，同时抑制其他不相关的胶囊。
进一步的，步骤3中的空间注意力模块具体描述如下，
对于步骤1中卷积层提取的特征图
Figure BDA0002755767170000093
我们首先将特征图进行矩阵变换得到
Figure BDA0002755767170000094
其中C代表特征图的通道数，N＝H×W，H,W分别代表特征图的宽和高。然后将reshape后的特征图
Figure BDA0002755767170000099
通过两个特征空间f,g分别产生两个新的特征图
Figure BDA0002755767170000095
其中
Figure BDA0002755767170000096
Wf，Wg代表卷积操作。与胶囊注意力机制类似，为了对长期依赖关系进行建模并计算注意力，我们将两个新产生的特征图进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵ξij。
接下来，我们在关系矩阵ξij和原始特征之间进行矩阵乘法获取特征间的长期依赖关系，对那些有效的特征进行增强，同时抑制那些不相关的特征。将原始特征图通过另一个特征空间
Figure BDA0002755767170000097
得到另一个新的特征图
Figure BDA0002755767170000098
Wh代表卷积操作，将关系矩阵ξij与H相乘以获取最终的注意力图σ∈RCXN。
最后，我们将上一步骤得到的注意力图σ与原始特征z进行了对应元素相加操作以保留原始特征图中的其他有效信息。空间注意力机制使得网络捕获特征间的长期依赖关系，而不仅仅是它们之间的局部依赖关系。通过这种依赖关系，网络可以有选择性对特征进行聚合，从而关注更加有效的图片区域。
为了说明本发明的技术效果，下面提供在COFW-29数据集下本文算法与其他先进算法的指标比较(见表1)以及消融实验的可视化结果图(见图4)。如表1所示，本发明能够将10％NME的失败率从3.73％降低到1.08％，这意味着在93张人脸图片中，仅有1张人脸图片的NME大于10％，显示了本发明对夸张姿态和严重遮挡的人脸的鲁棒性。如图4所示，白色点代表真实结果，灰色点代表预测结果。从a到e分别代表沙漏网络，沙漏胶囊网络，沙漏胶囊网络加空间注意力，沙漏胶囊网络加胶囊注意力，沙漏胶囊网络加双注意力的预测结果，可视化结果证明了本发明提出算法的有效性。
表1本算法与其他先进算法归一化平均误差(NME)与失败率(FR)比较
Figure BDA0002755767170000101
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (4)

1.一种基于沙漏胶囊网络的双注意力人脸对齐方法，其特征在于，包括如下步骤：
步骤1，对于给定的人脸图片，首先通过卷积操作获得一组基础的特征图，然后利用沙漏胶囊网络以及自适应局部约束动态路由算法对特征图进行多尺度特征的提取，同时捕获特征间的空间位置关系，最终得到人脸边界热力图；
步骤2，对于步骤1中得到的基础特征图，利用胶囊注意力模块有选择性的加强有助于人脸特征点定位的特征；
步骤2中胶囊注意力模块的具体处理过程为，
对于基础特征图x,
Figure FDA0003533979820000011
首先对其进行矩阵变换得到
Figure FDA0003533979820000012
即将原始特征图划分成A个维度为D，大小为W×H的胶囊，记为胶囊1，每个胶囊代表图片中不同的实体或者实体的一部分，为了计算胶囊间的相互依赖关系，首先对胶囊
Figure FDA0003533979820000013
执行自适应局部约束动态路由算法得到新的胶囊y,
Figure FDA0003533979820000014
记为胶囊2；
Figure FDA0003533979820000015
其中，R代表自适应局部约束动态路由算法，上述操作将胶囊的每个维度的特征图压缩为一个实数；将两个新产生的胶囊进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵γij，也称为注意力图；
Figure FDA0003533979820000016
其中，yj表示第j个胶囊，N表示胶囊的个数，γj,i表示在识别第j个胶囊时，关注第i个胶囊的程度；接下来将注意力图γij与原始胶囊
Figure FDA0003533979820000017
相乘以获取最终的自注意力图τ∈RA×D×W×H；
Figure FDA0003533979820000018
最后，将注意力层的输出乘以一个比例系数然后将其与原始胶囊相加，以保留原始特征图中的其他有效信息，因此，最终的输出定义为：
Figure FDA0003533979820000021
其中，θ为比例系数；
步骤3，对于步骤1中得到的基础特征图，利用空间注意力模块捕获人脸图像中具有区域间的长期、多级依赖关系的特征；
步骤4，将步骤2与步骤3提取的特征进行对应元素相加，得到融合之后的特征；
步骤5，将步骤1中的人脸边界热力图与步骤4中的特征进行通道连接，得到最终的人脸关键点坐标。
2.如权利要求1所述的一种基于沙漏胶囊网络的双注意力人脸对齐方法，其特征在于：步骤1中的沙漏胶囊网络的具体结构如下，
沙漏胶囊网络的上半部分，包括依次连接的1个基于自适应局部约束动态路由算法的卷积，其中路由次数为1，1个基于自适应局部约束动态路由算法的卷积，其中路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积，其中路由次数为3，1个残差单元，2个基于自适应局部约束动态路由算法的卷积其中路由次数为3，3个残差单元；
沙漏胶囊网络的下半部分，包括依次连接的1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，1个基于自适应局部约束动态路由算法的反卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接，1个残差单元，1个基于自适应局部约束动态路由算法的卷积，路由次数为3，与网络上半部分相同大小的胶囊进行1次跳跃连接。
3.如权利要求2所述的一种基于沙漏胶囊网络的双注意力人脸对齐方法，其特征在于：步骤1中将基础特征图划分为若干个胶囊，通过在胶囊之间执行自适应局部约束动态路由算法以获取图片中人脸特征点间的空间位置关系，自适应局部约束动态路由算法的具体描述如下，
在沙漏胶囊网络的l层，存在一组胶囊
Figure FDA0003533979820000022
其中n代表胶囊的个数，对于自适应核内的任意一个“子胶囊”
Figure FDA0003533979820000031
存在一组“父胶囊”
Figure FDA0003533979820000032
自适应局部约束动态路由算法旨在找到合适的耦合系数，以便“子胶囊”可以激活正确的“父胶囊”，从而实现低层胶囊与高层胶囊之间的信息传递；为了实现这一目的，首先将自适应核内的“子胶囊”
Figure FDA0003533979820000033
与转换矩阵
Figure FDA0003533979820000034
相乘得到l层的预测向量
Figure FDA0003533979820000035
其中，预测向量
Figure FDA0003533979820000036
的维度为
Figure FDA00035339798200000323
大小与自适应核大小保持一致，为kh×kw；
Figure FDA0003533979820000037
的大小为
Figure FDA00035339798200000321
Figure FDA00035339798200000322
代表l+1层的“父胶囊”个数；最后将l层胶囊的预测向量
Figure FDA0003533979820000038
乘以耦合系数
Figure FDA0003533979820000039
得到l+1层自适应核内“父胶囊”的输入
Figure FDA00035339798200000310
Figure FDA00035339798200000311
其中，耦合系数
Figure FDA00035339798200000312
的更新过程如公式(2)所示：
Figure FDA00035339798200000313
k代表l层胶囊的个数，
Figure FDA00035339798200000314
是预测向量
Figure FDA00035339798200000315
与“父胶囊”
Figure FDA00035339798200000316
路由的先验概率，其计算方式如公式(3)所示；初始状态下，先验概率
Figure FDA00035339798200000317
的值为0，意味着此时l+1层胶囊是l层胶囊的加权求和；
Figure FDA00035339798200000318
其中，
Figure FDA00035339798200000319
代表l+1层“父胶囊”的最终输出，通过如下非线性激活函数计算得到；
Figure FDA00035339798200000320
4.如权利要求1所述的一种基于沙漏胶囊网络的双注意力人脸对齐方法，其特征在于：步骤3中空间注意力模块的具体处理过程如下，
对于基础特征图z,
Figure FDA0003533979820000041
首先将特征图进行矩阵变换得到
Figure FDA0003533979820000042
其中代表C特征图的通道数，N＝H×W，H,W分别代表特征图的宽和高；然后将特征图
Figure FDA0003533979820000043
通过两个特征空间f,g分别产生两个新的特征图F,
Figure FDA0003533979820000044
其中
Figure FDA0003533979820000045
Wf，Wg代表卷积操作；将两个新产生的特征图进行矩阵相乘操作，然后对其进行softmax计算得到特征的关系矩阵ξij；
接下来，将原始特征图
Figure FDA0003533979820000046
通过另一个特征空间h,
Figure FDA0003533979820000047
得到另一个新的特征图H,
Figure FDA0003533979820000048
Wh代表卷积操作，将关系矩阵ξij与H相乘以获取最终的注意力图σ∈RCXN；
最后，将得到的注意力图σ与原始特征z进行对应元素相加操作以保留原始特征图中的其他有效信息。
CN202011202209.8A 2020-11-02 2020-11-02 基于沙漏胶囊网络的双注意力人脸对齐方法 Active CN112417991B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011202209.8A CN112417991B (zh) 2020-11-02 2020-11-02 基于沙漏胶囊网络的双注意力人脸对齐方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011202209.8A CN112417991B (zh) 2020-11-02 2020-11-02 基于沙漏胶囊网络的双注意力人脸对齐方法

Publications (2)

Publication Number Publication Date
CN112417991A CN112417991A (zh) 2021-02-26
CN112417991B true CN112417991B (zh) 2022-04-29

Family

ID=74827255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011202209.8A Active CN112417991B (zh) 2020-11-02 2020-11-02 基于沙漏胶囊网络的双注意力人脸对齐方法

Country Status (1)

Country Link
CN (1) CN112417991B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298037B (zh) * 2021-06-18 2022-06-03 重庆交通大学 一种基于胶囊网络的车辆重识别方法
CN113486863A (zh) * 2021-08-20 2021-10-08 西南大学 一种表情识别方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN110197125A (zh) * 2019-05-05 2019-09-03 上海资汇信息科技有限公司 无约束条件下的人脸识别方法
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110458001A (zh) * 2019-06-28 2019-11-15 南昌大学 一种基于注意力机制的卷积神经网络视线估计方法及系统
CN110490158A (zh) * 2019-08-23 2019-11-22 安徽大学 一种基于多级模型的鲁棒人脸对齐方法
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN111860216A (zh) * 2020-06-30 2020-10-30 西安工程大学 一种结合注意力机制和部分亲和域场的人体姿态估计方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446672A (zh) * 2018-04-20 2018-08-24 武汉大学 一种基于由粗到细脸部形状估计的人脸对齐方法
CN109670397A (zh) * 2018-11-07 2019-04-23 北京达佳互联信息技术有限公司 人体骨骼关键点的检测方法、装置、电子设备及存储介质
CN109657595A (zh) * 2018-12-12 2019-04-19 中山大学 基于堆叠沙漏网络的关键特征区域匹配人脸识别方法
CN110197125A (zh) * 2019-05-05 2019-09-03 上海资汇信息科技有限公司 无约束条件下的人脸识别方法
CN110287846A (zh) * 2019-06-19 2019-09-27 南京云智控产业技术研究院有限公司 一种基于注意力机制的人脸关键点检测方法
CN110458001A (zh) * 2019-06-28 2019-11-15 南昌大学 一种基于注意力机制的卷积神经网络视线估计方法及系统
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110490158A (zh) * 2019-08-23 2019-11-22 安徽大学 一种基于多级模型的鲁棒人脸对齐方法
CN111860216A (zh) * 2020-06-30 2020-10-30 西安工程大学 一种结合注意力机制和部分亲和域场的人体姿态估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Foxnet: A Multi-Face Alignment Method;Yuxiang Wu 等;《2019 IEEE International Conference on Image Processing (ICIP)》;20190826;第1322-1326页 *
基于局部形状组合模型的人脸对齐;万俊 等;《计算机学报》;20180930;第41卷(第09期);第2162-2174页 *

Also Published As

Publication number Publication date
CN112417991A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN110660037B (zh) 图像间脸部交换的方法、装置、系统和计算机程序产品
JP6504590B2 (ja) 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体
Zhang et al. Hierarchical feature fusion with mixed convolution attention for single image dehazing
US11232286B2 (en) Method and apparatus for generating face rotation image
Gao et al. MSCFNet: A lightweight network with multi-scale context fusion for real-time semantic segmentation
CN111950649B (zh) 基于注意力机制与胶囊网络的低照度图像分类方法
CN112434655B (zh) 一种基于自适应置信度图卷积网络的步态识别方法
WO2022104281A1 (en) A multi-resolution attention network for video action recognition
CN111914997B (zh) 训练神经网络的方法、图像处理方法及装置
CN112417991B (zh) 基于沙漏胶囊网络的双注意力人脸对齐方法
CN111401207B (zh) 基于mars深度特征提取与增强的人体动作识别方法
WO2022252487A1 (zh) 位姿获取方法及装置、电子设备、存储介质和程序
CN116030498A (zh) 面向虚拟服装走秀的三维人体姿态估计方法
CN110969089A (zh) 噪声环境下的轻量级人脸识别系统及识别方法
CN115147456A (zh) 一种基于时序自适应卷积与注意力机制的目标跟踪方法
CN114581502A (zh) 基于单目图像的三维人体模型联合重建方法、电子设备及存储介质
US20220215617A1 (en) Viewpoint image processing method and related device
Chaurasiya et al. Deep dilated CNN based image denoising
CN115588237A (zh) 一种基于单目rgb图像的三维手部姿态估计方法
CN116563355A (zh) 一种基于时空交互注意力机制的目标跟踪方法
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN114882493A (zh) 一种基于图像序列的三维手部姿态估计与识别方法
CN117058235A (zh) 跨多种室内场景的视觉定位方法
CN116453025A (zh) 一种缺帧环境下融合时空信息的排球比赛群体行为识别方法
CN116580275A (zh) 一种基于多模态层次关系建模的rgb-t目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant