CN113158929B - 基于距离和方向的深度鉴别度量学习亲属关系验证系统 - Google Patents

基于距离和方向的深度鉴别度量学习亲属关系验证系统 Download PDF

Info

Publication number
CN113158929B
CN113158929B CN202110459706.4A CN202110459706A CN113158929B CN 113158929 B CN113158929 B CN 113158929B CN 202110459706 A CN202110459706 A CN 202110459706A CN 113158929 B CN113158929 B CN 113158929B
Authority
CN
China
Prior art keywords
relationship
features
distance
ith
verification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110459706.4A
Other languages
English (en)
Other versions
CN113158929A (zh
Inventor
陈小潘
李昌龙
朱小柯
王毓斐
张冀统
叶鹏飞
郑亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110459706.4A priority Critical patent/CN113158929B/zh
Publication of CN113158929A publication Critical patent/CN113158929A/zh
Application granted granted Critical
Publication of CN113158929B publication Critical patent/CN113158929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，包括特征提取模块，特征融合模块，亲属关系验证分类器及损失约束模块；所述特征提取模块用于提取亲属关系验证中图像的特征；损失约束模块通过基于距离和方向两个层面的损失函数对提取的图像特征进行约束；所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。本发明设计的网络不需要对数据进行特殊处理，降低了使用成本；本发明基于距离和方向两个层面，设计了多个损失函数对网络进行约束，获得一个泛化能力强的网络模型，提高了亲属关系验证的准确率。

Description

基于距离和方向的深度鉴别度量学习亲属关系验证系统
技术领域
本发明属于计算机视觉、深度学习技术领域，尤其涉及一种基于距离和方向的深度鉴别度量学习亲属关系验证框架。
背景技术
Fang等(R.Fang,K.D.Tang,N.Snavely,et al.Towards computational modelsof kinship verification；proceedings of the 2010IEEE International Conferenceon Image Processing,Hong Kong,China,F 26-29Sept,2010[C].IEEE.)首次提出了基于人脸图像进行亲属关系验证的问题，其方案提取人脸特征并基于SVM来进行亲属关系验证。亲属关系验证的求解方法大体上可分为传统方法(Jiwen Lu,Xiuzhuang Zhou,Yap PenTan,et al.Neighborhood Repulsed Metric Learning for Kinship Verification[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2014,36(2):331-345.)和基于深度学习(L.Zhang,Q.Duan,D.Zhang,et al.AdvKin:AdversarialConvolutional Network for Kinship Verification[J].IEEE Transactions onCybernetics,2020:1-14.)的方法。近年来，深度学习成为研究热点，特别是卷积神经网络在计算机视觉领域取得巨大成功。在计算机视觉任务竞赛中，基于卷积神经网络的算法取得了巨大的成功。因此，有许多学者借助卷积神经网络来研究亲属关系验证问题并取得令人鼓舞的结果。然而已有的深度学习算法仍存在一些局限性，例如大多数亲属关系数据集规模较小且亲属类别较多，不利于使用深度学习的方法的应用。研究人员通过对数据进行预处理(提取人脸关键部位)或者借助外部数据集等来实现数据增强的目的，这些措施虽然在一定程度上提高了准确率，但这无疑增加了问题求解的成本。
众所周知，基于深度神经网络的研究需要大量的数据来进行网络模型的训练，而相较于其它深度学习使用的数据集来说，亲属关系数据集规模相对较小，进而影响深度学习相关算法的应用。在亲属关系验证领域，已有网络结构简单的方案难以达到较高的准确率，准确率高的网络往往复杂。总之，现有的方案无法很好地兼顾简单性和准确率。如何在较小规模的亲属关系数据集上使用深度学习的方法并取得优异的结果，这正是本发明要解决的关键问题。
发明内容
本发明针对基于深度学习的方法无法在较小规模的亲属关系数据集上使用并取得优异结果的问题，提出一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，该框架结构简单，复杂度低，成本低，准确率高。本发明设计的框架不需要对数据进行特殊处理，降低了复杂度成本；对于准确率低的问题，本发明设计了多个损失函数对网络的优化目标进行约束，获得一个泛化能力强的验证模型，提高了亲属关系验证的准确率。
为了实现上述目的，本发明采用以下技术方案：
一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，包括特征提取模块，特征融合模块、亲属关系验证分类器及损失约束模块；
所述特征提取模块用于提取亲属关系验证中图像特征；
所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；
所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；
所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。
进一步地，所述特征提取模块包括三个残差块和两个最大池化层；每个所述残差块包括第一卷积层，第一最大池化层，第二卷积层，上采样层，第二最大池化层以及归一化层；所述上采样层后使用Sigmoid激活函数，所述归一化层后使用ReLU激活函数；所述残差块之间设有一个第三最大池化层。
进一步地，所述特征提取模块提取到人脸图像特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，优化特征提取模块，使其可以提取到更具鉴别力的特征。
进一步地，所述损失约束模块具体通过如下约束函数对提取的图像特征进行约束：
IDLoss函数：
Figure GDA0003802364050000021
其中，n代表样本大小；fi代表第i个人的人脸图像特征；zi代表第i个人的人脸图像的标签，表示第i个人属于哪个家庭；J代表所分块数，即将提取的特征分成J块；fi,j代表第i个人脸图像的第j块特征；
ADLoss函数：
Figure GDA0003802364050000031
其中，|| ||2表示两个样本之间的距离，n指样本大小；xi，
Figure GDA00038023640500000310
分别代表第i个人的特征、与i个人有亲属关系的正样本的特征和与i个人不具有亲属关系的负样本的特征；α是一个超参数，对负样本和第i个人的距离与正样本和第i个人的距离的间隔进行约束；
余弦相似损失函数：
Figure GDA0003802364050000032
Figure GDA0003802364050000033
其中，
Figure GDA0003802364050000034
和
Figure GDA0003802364050000035
分别表示第i个父/母和第i个孩子的特征；d表示
Figure GDA0003802364050000036
的维度；
Figure GDA0003802364050000037
和
Figure GDA0003802364050000038
分别表示第i个父/母的人脸图像特征的k维度和第i个孩子人脸图像特征的k维度；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0。
进一步地，所述特征融合模块按照如下方式对亲属关系验证中提取的图像特征进行融合：
对特征提取模块提取的一对图片的特征f1和f2按照如下方式分别进行计算：(f1)2-(f2)2，(f1-f2)2，f1+f2，f1*f2；并依次将计算结果进行拼接，得到融合后的特征。
进一步地，所述亲属关系验证分类器按照如下方式根据融合后的图像特征判断图像中人物是否存在亲属关系：
Figure GDA0003802364050000039
其中，Lc(·)表示判别函数；
Figure GDA0003802364050000041
表示融合后的图像特征；n指样本大小；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0；ln
Figure GDA0003802364050000042
表示第i对父/母与孩子融合后的特征属于标签yi的概率。
与现有技术相比，本发明具有的有益效果：
(1)设计了一个新的损失函数ADLoss，该损失函数从相对距离和绝对距离两个方面对正样本对间的特征距离和负样本对间的特征距离进行约束，使得正样本的距离拉近，而负样本的距离拉远，有利于提高网络模型的准确率；
(2)提出了一个基于距离和方向的深度鉴别度量学习亲属关系验证框架，在该框架下，使用了IDLoss、ADLoss以及余弦相似损失函数对网络提取的特征进行约束，以提取到具有鉴别力的特征，进而提高亲属关系验证的准确率；
(3)设计了一个动态构造负样本对的方案，充分利用已有数据，以便训练出一个更具鉴别力的网络；
借助于以上关键创新使得本发明设计的验证框架能够在小规模的数据集上获得较高的准确率，又能降低网络训练的成本。
附图说明
图1为本发明实施例一种基于距离和方向的深度鉴别度量学习亲属关系验证框架架构图；
图2为特征提取模块所使用残差块结构示意图；
图3为本发明实施例余弦相似损失函数引入原因示例图；
图4为亲属关系验证分类器结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，一种基于距离和方向的深度鉴别度量学习亲属关系验证框架，包括特征提取模块，特征融合模块，亲属关系验证分类器及损失约束模块；
所述特征提取模块用于提取亲属关系验证中图像特征；
所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；
所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；
所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系。
进一步地，所述特征提取模块包括三个残差块和两个最大池化层；如图2所示，每个残差块包括第一卷积层，第一最大池化层，第二卷积层，上采样层，第二最大池化层以及归一化层；所述上采样层后使用Sigmoid激活函数，所述归一化层后使用ReLU激活函数。特别地，第一个残差块和第二个残差块以及第二个残差块和第三个残差块之间各有一个第三最大池化层。
进一步地，所述特征提取模块提取到人脸图像特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，优化特征提取模块，使其可以提取到更具鉴别力的特征。
进一步地，所述损失约束模块具体通过如下约束函数对提取的图像特征进行约束：
IDLoss函数：
Figure GDA0003802364050000051
其中，n代表样本大小；fi代表第i个人的人脸图像特征；zi代表第i个人的人脸图像的标签，表示第i个人属于哪个家庭；J代表所分块数，即将提取的特征分成J块；fi,j代表第i个人脸图像的第j块特征。
ADLoss函数：
Figure GDA0003802364050000052
其中，|| ||2表示两个样本之间的距离，n指样本大小；xi，
Figure GDA0003802364050000053
分别代表第i个人的特征、与i个人有亲属关系的正样本的特征和与i个人不具有亲属关系的负样本的特征；α是一个超参数，对负样本和第i个人的距离与正样本和第i个人的距离的间隔进行约束。
余弦相似损失函数：
Figure GDA0003802364050000054
Figure GDA0003802364050000055
其中，
Figure GDA0003802364050000061
和
Figure GDA0003802364050000062
分别表示第i个父/母和第i个孩子的特征；d表示
Figure GDA0003802364050000063
的维度；
Figure GDA0003802364050000064
和
Figure GDA0003802364050000065
分别表示第i个父/母的人脸图像特征的k维度和第i个孩子人脸图像特征的k维度；yi表示第i对图像的亲属关系标签，如果第i对图像有亲属关系，则yi＝1，否则yi＝0。
具体地，IDLoss损失函数的作用是，将提取到的某一个人的人脸特征向其所属ID拟合，我们将具有亲属关系的人认定为具有相同的ID，这样一来，具有亲属关系的特征在空间上将聚集在一起，没有亲属关系的特征在空间上将分离，这对KinLoss函数的判定具有重要意义。
具体地，ADLoss函数的作用是，既保证了正样本间的距离小于负样本间的距离，便于KinLoss函数做出正确的判定，又使得负样本间的距离一定程度上缩小，有利于提高网络模型的鲁棒性。
值得说明的是，特征间在距离上较远，但其夹角可能很小，夹角小就意味着两者在方向上具有一定的相似性。如图3所示，A和B两个特征在空间距离上较A和A′之间的距离近，但是两者夹角较A和A′之间的夹角大，仅从距离角度去衡量相似性存在一定的缺陷，基于方向的损失函数与基于距离的损失函数之间存在互补性，弥补该缺陷。因此引入基于方向的损失函数余弦相似损失函数。
进一步地，所述特征融合模块按照如下方式对亲属关系验证中提取的图像特征进行融合：
对特征提取模块提取的一对图片的特征f1和f2按照如下方式分别进行计算：(f1)2-(f2)2，(f1-f2)2，f1+f2，f1*f2；并依次将计算结果进行拼接，得到融合后的特征。
进一步地，所述亲属关系验证分类器按照如下方式根据融合后的图像特征判断图像中人物是否存在亲属关系：
Figure GDA0003802364050000066
其中，Lc(·)表示判别函数；
Figure GDA0003802364050000067
表示融合后的图像特征；n指样本大小；yi表示第i对图像的亲属关系标签，如果第i对图像有亲属关系，则yi＝1，否则yi＝0；ln
Figure GDA0003802364050000071
表示第i对父/母与孩子融合后的特征属于标签yi的概率。
具体地，如图4所示，所述亲属关系验证分类器由第一全连接层、ReLU激活函数、Dropout层和第二全连接层组成。
在上述验证框架的基础上，具体地，验证框架内数据处理流程如下：网络接收一幅3通道，宽高为64×64的彩色人脸图像，记为image1。数据首先进入第一个残差块，经该残差块的第一卷积层作用后得到特征x1，x1再依次经残差块内的第一最大池层、第二卷积层、上采样层及Sigmoid函数后获得特征x2。令xf＝x1*x2+x1，xf经最大池化层处理后输入到第二个残差块，然后再依次经过最大池化层和第三个残差块，其处理流程与数据在第一个残差块中相同。将从第三个残差块中输出的数据作为image1的特征。基于同样的操作，可以得到另一幅人脸图像image2的特征。获取这两个特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，不断优化特征提取模块，使其可以提取到更具鉴别力的特征。
为验证本发明效果，进行如下实验：
将本发明构建的网络框架和现有其他方案在KinFaceW-I、KinFaceW-II和CornellKinFace三个数据集上进行实验，亲属关系验证准确率如表1所示，最后一列是本发明构建的网络框架，其中，F-S表示Father-Son，即父子关系；F-D表示Father-Daughter，即父女关系；M-S表示Mother-Son，即母子关系；M-D表示Mother-Daughter，即母女关系。表1中，IML(Yan H,Lu J,Deng W,et al.Discriminative multimetric learning for kinshipverification[J].IEEE Transactions on Information forensics and security,2014,9(7):1169-1178.)、MNRML(Lu J,Zhou X,Tan Y P,et al.Neighborhood Repulsed MetricLearning for Kinship Verification[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,2014,36(2):331-345.)、DMML(Yan H,Lu J,Deng W,etal.Discriminative multimetric learning for kinship verification[J].IEEETransactions on Information forensics and security,2014,9(7):1169-1178.)、CNNP(Zhang K,Huang Y,Song C,et al.Kinship Verification with Deep ConvolutionalNeural Networks[C]//Kinship Verification with Deep Convolutional NeuralNetworks.British Machine Vision Conference(BMVC).148.141-148.112.)、DKV(WangM,Zechao L,Xiangbo S,et al.Deep kinship verification[C]//Deep kinshipverification.2015IEEE 17th International Workshop on Multimedia SignalProcessing(MMSP),19-21Oct.2015.1-6.)、MPDFL(Yan H,Lu J,Zhou X.Prototype-baseddiscriminative feature learning for kinship verification[J].IEEE transactionson cybernetics,2015,45(11):2535-2545.)、AdvKin(Zhang L,Duan Q,Zhang D,etal.AdvKin:Adversarial Convolutional Network for Kinship Verification[J].IEEETrans Cybern,2020,PP:1-14.)、WGEML(Liang J,Hu Q,Dang C,et al.Weighted GraphEmbedding-Based Metric Learning for Kinship Verification[J].IEEE Transactionson Image Processing,2019,28(3):1149-1162.)、WLDA(Sharma A,Kumar A,Daume H,etal.Generalized Multiview Analysis:A discriminative latent space[C]//Generalized Multiview Analysis:A discriminative latent space.2012IEEEConference on Computer Vision and Pattern Recognition,16-21June 2012.2160-2167.)、SMCNN(Li L,Feng X,Wu X,et al.Kinship Verification from Faces viaSimilarity Metric Based Convolutional Neural Network[C]//Campilho A,KarrayF.Kinship Verification from Faces via Similarity Metric Based ConvolutionalNeural Network.Image Analysis and Recognition,Cham.Springer InternationalPublishing:539-548.)、GA(Dehghan A,Ortiz E G,Villegas R,et al.Who Do I LookLike？Determining Parent-Offspring Resemblance via Gated Autoencoders:Proceedings of the 2014IEEE Conference on Computer Vision and PatternRecognition,2680240:IEEE Computer Society,2014:1757-1764.)均为现有方法。另外，表1中部分数值加粗表示该行最大值，带下划线的数值表示该行的第二最大值，以便于观察本发明与已有方法相比的提升。
表1不同方法亲属关系验证准确率
Figure GDA0003802364050000081
Figure GDA0003802364050000091
由表1可知，本发明在KinFaceW-I、KinFaceW-II和Cornell KinFace三个数据集上的平均准确率分别是83.9％，92.2％以及81.7％，验证准确率不仅远好于传统的非深度学习的方法，而且相较于深度方法AdvKin，本发明也有具有明显的优势。
综上，本发明设计了一个新的损失函数ADLoss，该损失函数从相对距离和绝对距离对正样本对间的特征距离和负样本对间的特征距离进行约束，在拉近正样本之间的距离的同时，也在一定程度上缩小负样本之间的距离有利于提高网络模型的准确率和鲁棒性；本发明提出了一个面向亲属关系验证的基于距离和方向的多损失联合约束的深度卷积神经网络框架，在该框架下，使用了IDLoss、ADLoss以及余弦相似损失函数对网络提取的特征进行约束，以提取到具有鉴别力的特征，进而提高亲属关系验证的准确率；同时，设计了一个构造负样本对的方案，以达到充分利用数据集信息的目的；借助于以上关键创新使得本发明设计的网络装置能够在小规模的数据集上获得较高的准确率，又能降低网络训练的成本。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于距离和方向的深度鉴别度量学习亲属关系验证系统，其特征在于，包括特征提取模块，特征融合模块、亲属关系验证分类器及损失约束模块；
所述特征提取模块用于提取亲属关系验证中图像特征；
所述损失约束模块用于通过基于距离和方向的多个损失函数对提取的图像特征进行约束；
所述特征融合模块用于对亲属关系验证中提取的图像特征进行融合；
所述亲属关系验证分类器用于根据融合后的图像特征判断图像中人物是否存在亲属关系；
所述损失约束模块具体通过如下约束函数对提取的图像特征进行约束：
IDLoss函数：
Figure FDA0003802364040000011
其中，n代表样本大小；fi代表第i个人的人脸图像特征；zi代表第i个人的人脸图像的标签，表示第i个人属于哪个家庭；J代表所分块数，即将提取的特征分成J块；fi,j代表第i个人脸图像的第j块特征；
ADLoss函数：
Figure FDA0003802364040000012
其中，|| ||2表示两个样本之间的距离，n指样本大小；xi，
Figure FDA0003802364040000013
分别代表第i个人的特征、与i个人有亲属关系的正样本的特征和与i个人不具有亲属关系的负样本的特征；α是一个超参数，对负样本和第i个人的距离与正样本和第i个人的距离的间隔进行约束；
余弦相似损失函数：
Figure FDA0003802364040000014
Figure FDA0003802364040000015
其中，
Figure FDA0003802364040000016
和
Figure FDA0003802364040000017
分别表示第i个父/母和第i个孩子的特征；d表示
Figure FDA0003802364040000018
Figure FDA0003802364040000019
的维度；
Figure FDA00038023640400000110
和
Figure FDA00038023640400000111
分别表示第i个父/母的人脸图像特征的k维度和第i个孩子人脸图像特征的k维度；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0。
2.根据权利要求1所述的基于距离和方向的深度鉴别度量学习亲属关系验证系统，其特征在于，所述特征提取模块包括三个残差块和两个最大池化层；每个所述残差块包括第一卷积层，第一最大池化层，第二卷积层，上采样层，第二最大池化层以及归一化层；所述上采样层后使用Sigmoid激活函数，所述归一化层后使用ReLU激活函数；所述残差块之间设有一个第三最大池化层。
3.根据权利要求1或2所述的基于距离和方向的深度鉴别度量学习亲属关系验证系统，其特征在于，所述特征提取模块提取到人脸图像特征后，一方面在特征融合模块将特征融合后送入亲属关系验证分类器，从而判断两张图像上的人是否具有亲属关系；另一方面，将提取到的特征送入损失约束模块，优化特征提取模块，使其可以提取到更具鉴别力的特征。
4.根据权利要求1所述的基于距离和方向的深度鉴别度量学习亲属关系验证系统，其特征在于，所述特征融合模块按照如下方式对亲属关系验证中提取的图像特征进行融合：
对特征提取模块提取的一对图片的特征f1和f2按照如下方式分别进行计算：(f1)2-(f2)2，(f1-f2)2，f1+f2，f1*f2；并依次将计算结果进行拼接，得到融合后的特征。
5.根据权利要求1所述的基于距离和方向的深度鉴别度量学习亲属关系验证系统，其特征在于，所述亲属关系验证分类器按照如下方式根据融合后的图像特征判断图像中人物是否存在亲属关系：
Figure FDA0003802364040000021
其中，Lc(·)表示判别函数；
Figure FDA0003802364040000022
表示融合后的图像特征；n指样本大小；yi表示第i对样本的标签，当yi＝1，表示该对样本之间有亲属关系，反之yi＝0；
Figure FDA0003802364040000023
表示第i对父/母与孩子融合后的特征属于标签yi的概率。
CN202110459706.4A 2021-04-27 2021-04-27 基于距离和方向的深度鉴别度量学习亲属关系验证系统 Active CN113158929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110459706.4A CN113158929B (zh) 2021-04-27 2021-04-27 基于距离和方向的深度鉴别度量学习亲属关系验证系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110459706.4A CN113158929B (zh) 2021-04-27 2021-04-27 基于距离和方向的深度鉴别度量学习亲属关系验证系统

Publications (2)

Publication Number Publication Date
CN113158929A CN113158929A (zh) 2021-07-23
CN113158929B true CN113158929B (zh) 2022-09-30

Family

ID=76871388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110459706.4A Active CN113158929B (zh) 2021-04-27 2021-04-27 基于距离和方向的深度鉴别度量学习亲属关系验证系统

Country Status (1)

Country Link
CN (1) CN113158929B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887538B (zh) * 2021-11-30 2022-03-25 北京的卢深视科技有限公司 模型训练、人脸识别方法、电子设备及存储介质
CN114463829B (zh) * 2022-04-14 2022-08-12 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质
CN114463830B (zh) * 2022-04-14 2022-08-26 合肥的卢深视科技有限公司 亲缘关系判定方法、装置、电子设备及存储介质
CN115205941A (zh) * 2022-07-13 2022-10-18 山西大学 基于广义多视图图嵌入的亲属关系验证方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN111563187A (zh) * 2020-05-15 2020-08-21 中国工商银行股份有限公司 关系确定方法、装置、系统和电子设备
CN111783896A (zh) * 2020-07-08 2020-10-16 汪金玲 一种基于核方法的图像识别方法及系统
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9449024B2 (en) * 2010-11-19 2016-09-20 Microsoft Technology Licensing, Llc File kinship for multimedia data tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN111563187A (zh) * 2020-05-15 2020-08-21 中国工商银行股份有限公司 关系确定方法、装置、系统和电子设备
CN111783896A (zh) * 2020-07-08 2020-10-16 汪金玲 一种基于核方法的图像识别方法及系统
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Visual Transformation Aided Contrastive Learning for Video-Based Kinship Verification;Hamdi Dibeklioglu;《2017 IEEE International Conference on Computer Vision (ICCV)》;20171225;全文 *
基于局部特征融合的邻域排斥度量学习亲属关系认证算法;胡正平 等;《模式识别与人工智能》;20170630;第30卷(第6期);全文 *
基于深度卷积神经网络End-to-End 模型的亲属关系认证算法;胡正平 等;《模式识别与人工智能》;20180630;第31卷(第6期);全文 *

Also Published As

Publication number Publication date
CN113158929A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
CN113158929B (zh) 基于距离和方向的深度鉴别度量学习亲属关系验证系统
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN107194341B (zh) Maxout多卷积神经网络融合人脸识别方法和系统
CN110348330B (zh) 基于vae-acgan的人脸姿态虚拟视图生成方法
CN110222668B (zh) 基于生成对抗网络的多姿态面部表情识别方法
CN110543846B (zh) 一种基于生成对抗网络的多姿态人脸图像正面化方法
CN111680614B (zh) 一种基于视频监控中的异常行为检测方法
CN107038422B (zh) 基于空间几何约束深度学习的疲劳状态识别方法
CN110610129A (zh) 一种基于自注意力机制的深度学习人脸识别系统及方法
CN111444881A (zh) 伪造人脸视频检测方法和装置
CN111582044A (zh) 基于卷积神经网络和注意力模型的人脸识别方法
CN112232184B (zh) 一种基于深度学习和空间转换网络的多角度人脸识别方法
CN110826462A (zh) 一种非局部双流卷积神经网络模型的人体行为识别方法
Yuan et al. MFFFLD: A multimodal-feature-fusion-based fingerprint liveness detection
CN111126240A (zh) 一种三通道特征融合人脸识别方法
CN109325472B (zh) 一种基于深度信息的人脸活体检测方法
WO2013075295A1 (zh) 低分辨率视频的服装识别方法及系统
CN115171148A (zh) 一种基于特定模态特征补偿的跨模态行人重识别方法
CN114241564A (zh) 一种基于类间差异强化网络的人脸表情识别方法
CN110188646B (zh) 基于梯度方向直方图与局部二值模式融合的人耳识别方法
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN114299279A (zh) 基于脸部检测和识别的无标记群体恒河猴运动量估计方法
CN117636436A (zh) 基于注意力机制的多人实时面部表情识别方法和系统
CN113159002A (zh) 一种基于自注意力权重辅助模块的人脸表情识别方法
CN116311026A (zh) 基于多层级信息融合Transformer的教室场景身份识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant