CN111881779A - 一种给予自适应的人脸特征分离提取方法 - Google Patents

一种给予自适应的人脸特征分离提取方法 Download PDF

Info

Publication number
CN111881779A
CN111881779A CN202010653190.2A CN202010653190A CN111881779A CN 111881779 A CN111881779 A CN 111881779A CN 202010653190 A CN202010653190 A CN 202010653190A CN 111881779 A CN111881779 A CN 111881779A
Authority
CN
China
Prior art keywords
features
samples
super
gauge
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010653190.2A
Other languages
English (en)
Inventor
肖红彬
孙靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Servicestrong Technology Co ltd
Original Assignee
Beijing Servicestrong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Servicestrong Technology Co ltd filed Critical Beijing Servicestrong Technology Co ltd
Priority to CN202010653190.2A priority Critical patent/CN111881779A/zh
Publication of CN111881779A publication Critical patent/CN111881779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种给予自适应的人脸特征分离提取方法，包括Super‑Cross entropy算法；所述Super‑Cross entropy算法由Hardminging和添加隔距为基础融入到框架内。本发明的有益效果是：在train的过程中逐渐的增加hard Sample的权重，与此同时把关注点放在不正确classification的Sample上，给于这些Sample难易不同程度的权重值，来指导可分Features的学习。解决人脸Features提取的损失函数的高效性和实用性，可以降低Hard Sample的Uncertainty,又汲取其他Sample的Partibility,从而得到更好的Features。

Description

一种给予自适应的人脸特征分离提取方法
技术领域
本发明涉及一种人脸特征分离提取方法，具体为一种给予自适应的人脸特征分离提取方法，属于人脸识别技术领域。
背景技术
人脸识别是CV领域的一项重要任务。目前人脸识别技术特别是在超大型的数据集上的表现，还有很多需要去优化完善。现阶段人脸识别技术的核心在于特征高维度的有效分离。为了解决这个问题我们先从以下这两个角度谈起：
1,基于挖掘策略Hard Sample挖掘即Hard Negative/Positive Mining,关注Sample可提供的信息。
2,基于隔距损失函数来强化Features在真实候选框上的mapping之间的间隔。
但这两个方法在train整个过程中过于重视hard Sample,从而使整个network无法Convergence0如果对所有的Sample都进行统一尺度的隔距值，这样会使Sample本身的不同情况特征难以区分，所以不能以一个固定阈值为准，需要根据每个不同Sample指定不同的自适应策略。
现阶段的人脸识别都是以深度学习为基础进行搭建，训练深层网络模型，使用Cross entropy交叉熵损失和Metric learning计量学损失但这样的方式常常给我们带来庞大的计算开销。为了降低这个问题带来的影响，设计了Stochastic采样的方针，所以Metric learning的performance对于这它影响很大。所以，开始重新搭建以Cross entropy为基础的loss。若类内的聚合性和类间的分离性即松耦合高内聚达到最大，那么features就是很有使用的价值了。但普通的Cross entropy loss在深度学习的深网络架构进行features学习缺少有效提取特性也就是说分离有意义的features的效果很不理想。为此也有人提出了基于Mining loss来解决Hard Mining,通过Stochastic先验知识得到HardSample的占比，再去掉Simple Sample0也可以设计类似Soft Mining,只关注在一个hardSample上进行train。也可以基于model的complexity来选择Hard Sample,train—个Integrated model,为不同的difficulty Level的Sample分别train—个model。也可以设计基于隔距的loss,例如为每个classification学习一个簇中心，来增强同一个classification的内聚性，通过缩放系数来控制loss,对分好的Sample产生大的gradient权重来降低类间的联系。也可以对真实候选框和其他的classification,在两者之间增加一个隔距来增加classification之间的Discriminate。但这样常常不是很稳定，而且参数很难优化。
发明内容
本发明的目的就在于为了解决上述问题而提供一种给予自适应的人脸特征分离提取方法。
本发明通过以下技术方案来实现上述目的：一种给予自适应的人脸特征分离提取方法，包括Super-Cross entropy算法；所述Super-Cross entropy算法由Hardminging和添加隔距为基础融入到框架内，所述Super-Cross entropy算法包括以下步骤：
Input：卷积层Sample特征x对应的标签y；
其中，在卷积层的初始化参数为Θ；
最后全签接层参数为W；
学习率为λ；
自适应学习参数为t；
迭代次数为a。
while不收敛：根据对Hard Sample的定义，使用Super-Cross entropy迭送代计算每个卷积特征x和权重w的反向传播更新梯度，并更新参数Θ和W；其中，
Figure BDA0002575748330000031
Figure BDA0002575748330000032
Figure BDA0002575748330000033
End
Output：参数Θ和W。
作为本发明再进一步的方案：所述Super-Cross entropy算法在训练起始关注Simple Sample,在train的过程中逐渐的增加hard Sample的权重，与此同时把关注点放在不正确classification的Sample上，给于这些Sample难易不同程度的权重值，来指导可分Features的学习。
作为本发明再进一步的方案：所述Super-Cross entropy算法的Cross entropyloss是在FC层之后，Wk和最后一层出来的Feature进行Normalization,然后使用一个松弛因子S进缩放。
即给定一个Feature X,真实候选框是Y,公式如下：
Figure BDA0002575748330000041
其中，
Figure BDA0002575748330000042
是余弦相似度，是wk和X之间的角度，这样得到的Feature没有需要进行的识别所需要的Discriminate。而Hard Mining的核心在train的全过程中包含的实际意义的Sample data set,从而得到更加Discriminate的Features公式如下：
Figure BDA0002575748330000043
其中：
Figure BDA0002575748330000044
以上是对真实classification进行的predict的probability。
作为本发明再进一步的方案：所述隔距增加Feature的Discriminate定义如下：
Figure BDA0002575748330000045
其中，
Figure BDA0002575748330000046
是隔距Function，m是大于1的整数。
作为本发明再进一步的方案：所述Hardminging的loss和隔距的loss结合在一起构成Super-Cross entropy算法的Naive：
Figure BDA0002575748330000047
并定义了Binari-Interpolation-Mask来预测在当前状态下的对于指定的classifier，是否是需要的Features，Binari-Interpolation-Mask定义如下：
Figure BDA0002575748330000051
并添加了结合spatial和channel-wise信息的网络的block,其核心就是attention机制引入到Sample Features,进行identity的SampleFeatures恒等映射，与此同时引入了一个自适应参量可以使Features趋向于稀疏化，定义如下：
Figure BDA0002575748330000052
其中,
Figure BDA0002575748330000053
是自适应学习的hyper parameter和attention映射的parameter,而
Figure BDA0002575748330000054
定义为：
Figure BDA0002575748330000055
当t＝l的时候，损失就是原始的Cross entropy loss,而当t＝0的时候，就是需要的hard Sample。
作为本发明再进一步的方案：所述Super-Cross entropy算法将hard mining和隔距融合到统一的loss中，并对隔距的Decision boundary进行了自适应学习的调整，添加了Features的分解提取从而保留特征值最大的几项，对loss的进一步公式为：
Figure BDA0002575748330000061
其中X是隔距，基于隔距的Decision boundary重新计算得到：
Figure BDA0002575748330000062
不仅从真实的候选框Features中得到了隔距，还从非真实的候选框的classification中得到Features的隔距，从hard mining中得到Semantic上增加了Minging的尺度。
本发明的有益效果是：该给予自适应的人脸特征分离提取方法设计合理，在train的过程中逐渐的增加hard Sample的权重，与此同时把关注点放在不正确classification的Sample上，给于这些Sample难易不同程度的权重值，来指导可分Features的学习。解决人脸Features提取的损失函数的高效性和实用性，可以降低Hard Sample的Uncertainty,又汲取其他Sample的Partibility,从而得到更好的Features。
附图说明
图1为本发明代码算法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，一种给予自适应的人脸特征分离提取方法，包括Super-Crossentropy算法；所述Super-Cross entropy算法由Hardminging和添加隔距为基础融入到框架内，所述Super-Cross entropy算法包括以下步骤：
Input：卷积层Sample特征x对应的标签y；
其中，在卷积层的初始化参数为Θ；
最后全签接层参数为W；
学习率为λ；
自适应学习参数为t；
迭代次数为a。
while不收敛：根据对Hard Sample的定义，使用Super-Cross entropy迭送代计算每个卷积特征x和权重w的反向传播更新梯度，并更新参数Θ和W；其中，
Figure BDA0002575748330000071
Figure BDA0002575748330000072
Figure BDA0002575748330000073
End
Output：参数Θ和W。
进一步的，在本发明实施例中，所述Super-Cross entropy算法在训练起始关注Simple Sample,在train的过程中逐渐的增加hard Sample的权重，与此同时把关注点放在不正确classification的Sample上，给于这些Sample难易不同程度的权重值，来指导可分Features的学习，解决人脸Features提取的损失函数的高效性和实用性，可以降低HardSample的Uncertainty,又汲取其他Sample的Partibility,从而得到更好的Features。
进一步的，在本发明实施例中，所述Super-Cross entropy算法的Cross entropyloss是在FC层之后，Wk和最后一层出来的Feature进行Normalization,然后使用一个松弛因子S进缩放。
即给定一个Feature X,真实候选框是Y,公式如下：
Figure BDA0002575748330000081
其中，
Figure BDA0002575748330000082
是余弦相似度，是wk和X之间的角度，这样得到的Feature没有需要进行的识别所需要的Discriminate。而Hard Mining的核心在train的全过程中包含的实际意义的Sample data set,从而得到更加Discriminate的Features公式如下：
Figure BDA0002575748330000083
其中：
Figure BDA0002575748330000084
以上是对真实classification进行的predict的probability。
进一步的，在本发明实施例中，所述隔距增加Feature的Discriminate定义如下：
Figure BDA0002575748330000091
其中，
Figure BDA0002575748330000092
是隔距Function，m是大于1的整数。
进一步的，在本发明实施例中，所述Hardminging的loss和隔距的loss结合在一起构成Super-Cross entropy算法的Naive：
Figure BDA0002575748330000093
并定义了Binari-Interpolation-Mask来预测在当前状态下的对于指定的classifier，是否是需要的Features，Binari-Interpolation-Mask定义如下：
Figure BDA0002575748330000094
并添加了结合spatial和channel-wise信息的网络的block,其核心就是attention机制引入到Sample Features,进行identity的SampleFeatures恒等映射，与此同时引入了一个自适应参量可以使Features趋向于稀疏化，定义如下：
Figure BDA0002575748330000095
其中,
Figure BDA0002575748330000096
是自适应学习的hyper parameter和attention映射的parameter,而
Figure BDA0002575748330000101
定义为：
Figure BDA0002575748330000102
当t＝l的时候，损失就是原始的Cross entropy loss,而当t＝0的时候，就是需要的hard Sample。
进一步的，在本发明实施例中，所述Super-Cross entropy算法将hardmining和隔距融合到统一的loss中，并对隔距的Decision boundary进行了自适应学习的调整，添加了Features的分解提取从而保留特征值最大的几项，对loss的进一步公式为：
Figure BDA0002575748330000103
其中X是隔距，基于隔距的Decision boundary重新计算得到：
Figure BDA0002575748330000104
不仅从真实的候选框Features中得到了隔距，还从非真实的候选框的classification中得到Features的隔距，从hard mining中得到Semantic上增加了Minging的尺度。
工作原理：在使用该给予自适应的人脸特征分离提取方法时，。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种给予自适应的人脸特征分离提取方法，包括Super-Cross entropy算法；其特征在于：所述Super-Cross entropy算法由Hardminging和添加隔距为基础融入到框架内，所述Super-Cross entropy算法包括以下步骤：
Input：卷积层Sample特征x对应的标签y；
其中，在卷积层的初始化参数为Θ；
最后全签接层参数为W；
学习率为λ；
自适应学习参数为t；
迭代次数为a；
while不收敛：根据对Hard Sample的定义，使用Super-Cross entropy迭送代计算每个卷积特征x和权重w的反向传播更新梯度，并更新参数Θ和W；其中，
Figure FDA0002575748320000011
Figure FDA0002575748320000012
Figure FDA0002575748320000013
End
Output：参数Θ和W。
2.根据权利要求1所述的一种给予自适应的人脸特征分离提取方法，其特征在于：所述Super-Cross entropy算法在训练起始关注Simple Sample,在train的过程中逐渐的增加hard Sample的权重，与此同时把关注点放在不正确classification的Sample上，给于这些Sample难易不同程度的权重值，来指导可分Features的学习，解决人脸Features提取的损失函数的高效性和实用性，可以降低Hard Sample的Uncertainty,又汲取其他Sample的Partibility,从而得到更好的Features。
3.根据权利要求1所述的一种给予自适应的人脸特征分离提取方法，其特征在于：所述Super-Cross entropy算法的Cross entropy loss是在FC层之后，Wk和最后一层出来的Feature进行Normalization,然后使用一个松弛因子S进缩放。
即给定一个Feature X,真实候选框是Y,公式如下：
Figure FDA0002575748320000021
其中，
Figure FDA0002575748320000022
是余弦相似度，是wk和X之间的角度，这样得到的Feature没有需要进行的识别所需要的Discriminate。而Hard Mining的核心在train的全过程中包含的实际意义的Sampledata set,从而得到更加Discriminate的Features公式如下：
Figure FDA0002575748320000023
其中：
Figure FDA0002575748320000024
以上是对真实classification进行的predict的probability。
4.根据权利要求1所述的一种给予自适应的人脸特征分离提取方法，其特征在于：所述隔距增加Feature的Discriminate定义如下：
Figure FDA0002575748320000031
其中，
Figure FDA0002575748320000032
是隔距Function，m是大于1的整数。
5.根据权利要求1所述的一种给予自适应的人脸特征分离提取方法，其特征在于：所述Hardminging的loss和隔距的loss结合在一起构成Super-Cross entropy算法的Naive：
Figure FDA0002575748320000033
并定义了Binari-Interpolation-Mask来预测在当前状态下的对于指定的classifier，是否是需要的Features，Binari-Interpolation-Mask定义如下：
def binari_interpolation_mask
Figure FDA0002575748320000034
If np.subtract
Figure FDA0002575748320000035
return-1
else:
return 1
并添加了结合spatial和channel-wise信息的网络的block,其核心就是attention机制引入到Sample Features,进行identity的Sample Features恒等映射，与此同时引入了一个自适应参量可以使Features趋向于稀疏化，定义如下：
Figure FDA0002575748320000036
其中,t,
Figure FDA0002575748320000041
x,jk,ik,nk是自适应学习的hyper parameter和attention映射的parameter,而
Figure FDA0002575748320000042
定义为：
Figure FDA0002575748320000043
当t＝l的时候，损失就是原始的Cross entropy loss,而当t＝0的时候，就是需要的hard Sample。
6.根据权利要求1所述的一种给予自适应的人脸特征分离提取方法，其特征在于：所述Super-Cross entropy算法将hard mining和隔距融合到统一的loss中，并对隔距的Decision boundary进行了自适应学习的调整，添加了Features的分解提取从而保留特征值最大的几项，对loss的进一步公式为：
Figure FDA0002575748320000044
其中X是隔距，基于隔距的Decision boundary重新计算得到：
def binari_interpolation_mask
Figure FDA0002575748320000045
If up.Subtract
Figure FDA0002575748320000046
return-1
else:
return 1
不仅从真实的候选框Features中得到了隔距，还从非真实的候选框的classification中得到Features的隔距，从hard mining中得到Semantic上增加了Minging的尺度。
CN202010653190.2A 2020-07-08 2020-07-08 一种给予自适应的人脸特征分离提取方法 Pending CN111881779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010653190.2A CN111881779A (zh) 2020-07-08 2020-07-08 一种给予自适应的人脸特征分离提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010653190.2A CN111881779A (zh) 2020-07-08 2020-07-08 一种给予自适应的人脸特征分离提取方法

Publications (1)

Publication Number Publication Date
CN111881779A true CN111881779A (zh) 2020-11-03

Family

ID=73150876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010653190.2A Pending CN111881779A (zh) 2020-07-08 2020-07-08 一种给予自适应的人脸特征分离提取方法

Country Status (1)

Country Link
CN (1) CN111881779A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633186A (zh) * 2020-12-26 2021-04-09 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人
CN112633186B (zh) * 2020-12-26 2024-05-28 上海有个机器人有限公司 室内环境下可行驶路面的分割方法、装置、介质和机器人

Similar Documents

Publication Publication Date Title
CN111738301B (zh) 一种基于双通道学习的长尾分布图像数据识别方法
CN109063565B (zh) 一种低分辨率人脸识别方法及装置
CN110134946B (zh) 一种针对复杂数据的机器阅读理解方法
CN111444340A (zh) 文本分类和推荐方法、装置、设备及存储介质
CN107506822B (zh) 一种基于空间融合池化的深度神经网络方法
CN110598005A (zh) 一种面向公共安全事件的多源异构数据知识图谱构建方法
CN110619121B (zh) 基于改进深度残差网络和注意力机制的实体关系抽取方法
CN103778227A (zh) 从检索图像中筛选有用图像的方法
CN107679031B (zh) 基于堆叠降噪自编码机的广告博文识别方法
CN109783799B (zh) 一种基于语义依存图的关系提取方法
CN114037945A (zh) 一种基于多粒度特征交互的跨模态检索方法
CN112767922B (zh) 一种对比预测编码自监督结构联合训练的语音识别方法
CN116956929B (zh) 针对桥梁管养文本数据的多特征融合命名实体识别方法、装置
CN113096169A (zh) 一种非刚性多模医学图像的配准模型建立方法及其应用
CN113837290A (zh) 一种基于注意力生成器网络的无监督非成对图像翻译方法
CN114942998B (zh) 融合多源数据的知识图谱邻域结构稀疏的实体对齐方法
CN112182156A (zh) 基于文本处理的方面级可解释深度网络评分预测推荐方法
CN111881779A (zh) 一种给予自适应的人脸特征分离提取方法
CN112348001B (zh) 表情识别模型的训练方法、识别方法、装置、设备及介质
CN113486174A (zh) 模型训练、阅读理解方法、装置、电子设备及存储介质
CN112528077A (zh) 基于视频嵌入的视频人脸检索方法及系统
CN116776173A (zh) 一种基于卷积神经网络的电力量测数据脱敏方法
LU503098B1 (en) A method and system for fused subspace clustering based on graph autoencoder
CN114822509A (zh) 语音识别方法、装置、计算机设备及存储介质
CN110347824A (zh) 一种基于词汇相似性的lda主题模型最优主题数确定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination