CN113496219B - 基于人脸图像分析的血缘关系自动识别方法和装置 - Google Patents

基于人脸图像分析的血缘关系自动识别方法和装置 Download PDF

Info

Publication number
CN113496219B
CN113496219B CN202111040747.6A CN202111040747A CN113496219B CN 113496219 B CN113496219 B CN 113496219B CN 202111040747 A CN202111040747 A CN 202111040747A CN 113496219 B CN113496219 B CN 113496219B
Authority
CN
China
Prior art keywords
vector
shared
feature
feature vector
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111040747.6A
Other languages
English (en)
Other versions
CN113496219A (zh
Inventor
徐敏
廉浩
张曦淼
刘卉
邱德慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Normal University
Original Assignee
Capital Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Normal University filed Critical Capital Normal University
Priority to CN202111040747.6A priority Critical patent/CN113496219B/zh
Publication of CN113496219A publication Critical patent/CN113496219A/zh
Application granted granted Critical
Publication of CN113496219B publication Critical patent/CN113496219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提出了一种基于人脸图像分析的血缘关系自动识别方法和装置，涉及生物特征识别技术领域，其中，该方法包括：获取待测试人脸图像对，并对待测试人脸图像对进行尺寸修剪，得到处理后的图像对；加载训练好的模型，将处理后的图像对输入训练好的模型中，输出共享特征向量和独有特征向量；计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；将预测结果存入数据库，并展示在系统交互界面。采用上述方案的本申请提出的人脸血缘关系识别模型，能够更好的提取人脸内蕴遗传特征，提高了人脸血缘关系识别的鲁棒性和判别力，有效提升了模型识别准确率。

Description

基于人脸图像分析的血缘关系自动识别方法和装置
技术领域
本申请涉及生物特征识别技术领域，尤其涉及一种基于人脸图像分析的血缘关系自动识别方法和装置。
背景技术
心理学家研究发现：通过人脸照片，人类视觉具有血缘关系识别的能力。受此启发，计算机视觉领域开始关注使用计算方法来验证血缘关系。人脸血缘关系识别在社会生产生活中具有广泛的应用前景，包括：失散儿童和老人的寻找、家庭相册组建、宗谱研究、社交媒体分析以及图像标注等。据报道，中国每年会产生数量不小的失踪儿童和走失老人，虽然公安部实施了失踪快速查找和DNA采血比对机制等举措，但由于人工核实信息的低效、DNA鉴定经济成本高和实施的不便捷，使得失踪儿童和走失老人能够成功回归家庭的只是少数，这种情况下往往需要一种自动的识别方法和系统，辅助人们实现高效、准确的血缘关系筛选和识别。此外，在社交媒体分析与挖掘领域，人脸血缘关系识别也有着潜在的应用前景。例如，在各种社交场合会产生大量的合影照片，借助血缘关系识别技术可以自动识别合影中具有血缘关系的人，进而衍生出图像标注、图像分类、智能家庭相册和宗谱研究等各种应用。
目前受控条件下的人脸识别问题上已经取得了令人满意的识别率，然而现实生活中的人脸照片往往是在无约束条件下获得的。受到光照、表情、姿态、背景等各种因素所影响，无约束环境下的人脸识别成为一个挑战性的研究课题。相对于人脸识别，人脸血缘关系识别将面临更大的困难和挑战。因为，人脸识别所需进行图像分析的是相同个体的照片，而人脸血缘关系识别需要分析比较的照片属于两个不同的个体，其存在较大的年龄差距（父母-子女关系、祖父母-祖孙女关系）和性别差异（父女关系、母子关系、兄妹关系、姐弟关系、祖父祖孙女关系、祖母祖孙关系）。
2010年，美国康奈尔大学Fang等在ICIP会议首次提出人脸血缘关系识别，创新性地首次使用计算方法和人脸分析技术处理血缘识别这一挑战性问题。此后，这一问题在计算机视觉和模式识别领域逐渐被更多的研究者所关注。2014年，Lu等人提出了邻域排斥度量学习法(NRML)，旨在通过学习一个度量，在度量空间将具有血缘关系的样本对拉近，同时推远不具有血缘关系的样本对；2017年，Yong等人提出了KinNet，该深度卷积神经网络集成了数据增强和数据挖掘技术；2018年，Dahan等人提出了一种新颖的局部特征卷积层来对输入的图像对进行特征融合，并以VGG-Face为主干网络训练了一个具备该卷积层的模型，取得了2018年RFIW挑战的最优成绩；2019年，Laiadi等人使用极限学习机(ELM)方法融合VGG-Face提取的特征和MSIDA方法提取的两个张量特征(BSIF和LPQ)，从而得到了一个低维度的判别子空间；2020年，RFIW挑战赛的最佳论文团队Yu等人通过孪生卷积神经网络对输入的图像对分别进行特征提取，随后对人脸特征进行抽象编码融合再进行分类，提升整个网络的非线性能力。
可以看出，当前国内外对人脸血缘关系识别的研究取得了一定的进展，然而在训练数据、模式表征、识别模型等层面都存在现实困难和技术瓶颈，导致当前的识别模型在判别力和鲁棒性方面还存在不足和缺陷。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请的第一个目的在于提出一种基于人脸图像分析的血缘关系自动识别方法，解决了现有技术在训练数据、模式表征、识别模型等层面都存在现实困难和技术瓶颈导致当前识别模型在判别力和鲁棒性方面还存在不足和缺陷的问题，从特征提取和识别模型两个层面对模型进行设计和优化，使模型更好地学习到人脸内蕴遗传特征表示，提高了人脸血缘关系识别的鲁棒性和判别力，有效提升了模型识别准确率，并且提出基于家庭标签分类的方法，在一定程度上克服了样本分布不均衡的问题。
本申请的第二个目的在于提出一种基于人脸图像分析的血缘关系自动识别装置。
本申请的第三个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种基于人脸图像分析的血缘关系自动识别方法，包括：获取待测试人脸图像对，并对待测试人脸图像对进行尺寸修剪，得到处理后的图像对；加载训练好的模型，将处理后的图像对输入训练好的模型中，输出共享特征向量和独有特征向量；计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；将预测结果存入数据库，并展示在系统交互界面。
可选地，在本申请的一个实施例中，模型的生成包括以下步骤：
获取训练集图像；
使用特征提取网络对训练集图像中的图像对进行特征提取，获得人脸特征向量对；
使用映射矩阵对提取到的人脸特征向量对进行映射，之后对映射结果进行激活操作，得到共享特征向量和独有特征向量，其中，共享特征向量为人脸特征向量对的公共信息，独有特征向量为人脸特征向量对中每一个向量的特有信息；
将共享特征向量和独有特征向量进行拼接，得到深度特征表示；
使用SGD算法不断更新特征提取网络的参数，使用联合优化目标函数优化特征提取网络，确定超参数的数值，完成训练，之后保存训练好的模型。
可选地，在本申请的一个实施例中，使用特征提取网络对训练集图像中的图像对进行特征提取，表示为：
Figure DEST_PATH_IMAGE001
其中，
Figure 725932DEST_PATH_IMAGE002
表示人脸特征向量对，
Figure DEST_PATH_IMAGE003
为输入的图像对，
Figure 86375DEST_PATH_IMAGE004
表示特征提取网络的参数，
Figure DEST_PATH_IMAGE005
中R表示实数域，P表示维度，表示提取的X特征是P维向量。
可选地，在本申请的一个实施例中，将共享特征向量和独有特征向量进行拼接，表示为：
Figure 97057DEST_PATH_IMAGE006
其中，
Figure DEST_PATH_IMAGE007
表示深度特征表示，
Figure 2696DEST_PATH_IMAGE008
表示共享特征向量，
Figure DEST_PATH_IMAGE009
表示独有特征向量，
Figure 98828DEST_PATH_IMAGE010
表示共享特征向量，
Figure DEST_PATH_IMAGE011
表示独有特征向量。
可选地，在本申请的一个实施例中，联合优化函数由softmax损失函数和对比损失函数结合生成，使用联合优化目标函数优化特征提取网络，包括以下步骤：
将由共享特征和独有特征拼接得到的深度特征分别送入相应的连接层，使用softmax损失函数优化模型，进行家庭标签的成员分类；
对共享特征向量施加对比损失函数，使不具有血缘关系的共享特征向量的距离达到最大化。
可选地，在本申请的一个实施例中，联合优化目标函数表示为：
Figure 490058DEST_PATH_IMAGE012
其中，
Figure DEST_PATH_IMAGE013
、
Figure 292929DEST_PATH_IMAGE014
为超参数，
Figure DEST_PATH_IMAGE015
为softmax函数，
Figure 431786DEST_PATH_IMAGE016
为对比损失函数，
softmax损失函数表示为：
Figure DEST_PATH_IMAGE017
其中，
Figure 202165DEST_PATH_IMAGE018
代表全连接层参数，c代表家庭标签，
Figure DEST_PATH_IMAGE019
表示进行初步特征提取的孪生卷积神经网络的参数，
Figure 451881DEST_PATH_IMAGE020
表示映射矩阵的参数，
Figure DEST_PATH_IMAGE021
为拉格朗日乘子，
Figure 374838DEST_PATH_IMAGE022
表示Frobenius范数，
对比损失函数表示为：
Figure DEST_PATH_IMAGE023
其中，k表示最小批上的所有成员的数目，
Figure 684596DEST_PATH_IMAGE024
代表向量的内积，
Figure DEST_PATH_IMAGE025
表示当前样本对的向量内积取e指数，
Figure 443736DEST_PATH_IMAGE026
表示将同一批次中所有与
Figure DEST_PATH_IMAGE027
没有血缘关系的样本
Figure 434826DEST_PATH_IMAGE028
的向量内积取e指数的加和。
可选地，在本申请的一个实施例中，最佳阈值的生成，包括以下步骤：
获取验证集图像；
将验证集图像输入至训练好的模型中，输出共享特征向量和独有特征向量；
计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；
使用验证集的预测结果绘制接受者操作特征曲线，特征曲线上的每一个点对应一个阈值，最佳阈值为特征曲线上取得最大值处的阈值。
可选地，在本申请的一个实施例中，特征曲线的横坐标为假阳性率，纵坐标为真阳性率，表示为：
Figure DEST_PATH_IMAGE029
Figure 274606DEST_PATH_IMAGE030
其中，TPR表示真阳性率，FPR表示假阳性率，TP是真阳性，FN是假阴性，FP是假阳性，TN是真阴性，TPR 是在实际为阳性的样本中，被模型预测为阳性的比例，FPR 是在实际为阴性的样本中，被模型预测为阳性的样本，最优阈值对应TPR-FPR取得最大值处的阈值。
为达上述目的，本申请第二方面实施例提出了一种基于人脸图像分析的血缘关系自动识别装置，包括：系统交互模块、数据预处理模块、血缘关系识别模块、数据保存模块，其中，
系统交互模块，用于接收用户输入的数据并传递给数据预处理模块；
数据预处理模块，用于对输入图像进行预处理；
血缘关系识别模块，用于导入训练好的模型，输入预处理好的图像对，经过模型处理，提取共享特征子空间中的人脸特征向量，计算人脸特征向量的余弦相似度，与最佳阈值进行比较，得出血缘关系验证结果；
数据保存模块，用于保存预测结果、人脸特征，将预测结果、人脸特征存入数据库中；
系统交互模块，还用于接收验证结果并进行展示。
为了实现上述目的，本申请第三方面实施例提出了一种非临时性计算机可读存储介质，当存储介质中的指令由处理器被执行时，能够执行基于人脸图像分析的血缘关系自动识别方法。
本申请实施例的基于人脸图像分析的血缘关系自动识别方法、基于人脸图像分析的血缘关系自动识别装置和非临时性计算机可读存储介质，解决了现有技术在训练数据、模式表征、识别模型等层面都存在现实困难和技术瓶颈导致当前识别模型在判别力和鲁棒性方面还存在不足和缺陷的问题，从特征提取和识别模型两个层面对模型进行设计和优化，使模型更好地学习到人脸内蕴遗传特征表示，提高了人脸血缘关系识别的鲁棒性和判别力，有效提升了模型识别准确率，并且提出基于家庭标签分类的方法，在一定程度上克服了样本分布不均衡的问题。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例一所提供的一种基于人脸图像分析的血缘关系自动识别方法的流程图；
图2为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的另一个流程图；
图3为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的模型训练示意图；
图4为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的模型测试示意图；
图5为本申请实施例二所提供的一种基于人脸图像分析的血缘关系自动识别装置的结构示意图；
图6为本申请实施例二的基于人脸图像分析的血缘关系自动识别装置的另一个结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的基于人脸图像分析的血缘关系自动识别方法和装置。
图1为本申请实施例一所提供的一种基于人脸图像分析的血缘关系自动识别方法的流程图。
如图1所示，该基于人脸图像分析的血缘关系自动识别方法，包括以下步骤：
步骤101，获取待测试人脸图像对，并对待测试人脸图像对进行尺寸修剪，得到处理后的图像对；
步骤102，加载训练好的模型，将处理后的图像对输入训练好的模型中，输出共享特征向量和独有特征向量；
步骤103，计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；
步骤104，将预测结果存入数据库，并展示在系统交互界面。
本申请实施例的基于人脸图像分析的血缘关系自动识别方法，通过获取待测试人脸图像对，并对待测试人脸图像对进行尺寸修剪，得到处理后的图像对；加载训练好的模型，将处理后的图像对输入训练好的模型中，输出共享特征向量和独有特征向量；计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；将预测结果存入数据库，并展示在系统交互界面。由此，能够解决现有技术在训练数据、模式表征、识别模型等层面都存在现实困难和技术瓶颈导致当前识别模型在判别力和鲁棒性方面还存在不足和缺陷的问题，从特征提取和识别模型两个层面对模型进行设计和优化，使模型更好地学习到人脸内蕴遗传特征表示，提高了人脸血缘关系识别的鲁棒性和判别力，有效提升了模型识别准确率，并且提出基于家庭标签分类的方法，在一定程度上克服了样本分布不均衡的问题。
进一步地，在本申请实施例中，模型的生成包括以下步骤：
获取训练集图像；
使用特征提取网络对训练集图像中的图像对进行特征提取，获得人脸特征向量对；
使用映射矩阵对提取到的人脸特征向量对进行映射，之后对映射结果进行激活操作，得到共享特征向量和独有特征向量，其中，共享特征向量为人脸特征向量对的公共信息，独有特征向量为人脸特征向量对中每一个向量的特有信息；
将共享特征向量和独有特征向量进行拼接，得到深度特征表示；
使用SGD算法不断更新特征提取网络的参数，使用联合优化目标函数优化特征提取网络，确定超参数的数值，完成训练，之后保存训练好的模型。
输入训练集图像；通过特征提取网络提取人脸特征向量
Figure 755266DEST_PATH_IMAGE031
；引入的三个映射矩阵对
Figure 234657DEST_PATH_IMAGE032
进行映射，并对得到的
Figure 91755DEST_PATH_IMAGE033
进行maxout操作，得到共享特征向量
Figure 786041DEST_PATH_IMAGE034
和独有特征向量
Figure 375286DEST_PATH_IMAGE035
。使用SGD算法不断更新整个网络的参数，使用softmax损失优化整个网络，对深度特征表示
Figure 420602DEST_PATH_IMAGE036
进行基于家庭标签分类，对共享特征
Figure 815811DEST_PATH_IMAGE037
施加对比损失；保存模型。
进一步地，在本申请实施例中，使用VGG-Face预训练的ResNet50作为骨干网络，用于初步提取人脸特征向量，输入的图像对为
Figure 364604DEST_PATH_IMAGE038
。使用特征提取网络对训练集图像中的图像对进行特征提取，表示为：
Figure 249384DEST_PATH_IMAGE039
其中，
Figure 516417DEST_PATH_IMAGE040
表示人脸特征向量对，
Figure 715317DEST_PATH_IMAGE041
为输入的图像对，
Figure 945048DEST_PATH_IMAGE042
表示特征提取网络的参数，
Figure 203991DEST_PATH_IMAGE043
中R表示实数域，P表示维度，表示提取的X特征是P维向量。
将骨干网络提取的人脸特征向量
Figure 958320DEST_PATH_IMAGE044
、
Figure 695332DEST_PATH_IMAGE045
，输入三个映射矩阵
Figure 405668DEST_PATH_IMAGE046
，完成两个样本的共享特征和各自独有特征的提取。其中W用来提取两个特征的公共信息，
Figure 835513DEST_PATH_IMAGE047
和
Figure 811559DEST_PATH_IMAGE048
则分别用来提取两个样本的特有信息。
Figure 289945DEST_PATH_IMAGE049
、
Figure 933416DEST_PATH_IMAGE050
，经过maxout操作得到特征向量
Figure 268582DEST_PATH_IMAGE051
。
Figure 997504DEST_PATH_IMAGE052
，经过maxout操作得到特征向量
Figure 764734DEST_PATH_IMAGE053
。
进一步地，在本申请实施例中，将共享特征向量和独有特征向量进行拼接，表示为：
Figure 262711DEST_PATH_IMAGE054
其中，
Figure 768779DEST_PATH_IMAGE055
表示深度特征表示，
Figure 781734DEST_PATH_IMAGE056
表示共享特征向量，
Figure 664239DEST_PATH_IMAGE057
表示独有特征向量，
Figure 16723DEST_PATH_IMAGE058
表示共享特征向量，
Figure 959272DEST_PATH_IMAGE059
表示独有特征向量。
为了防止过拟合，令
Figure 725102DEST_PATH_IMAGE060
线性无关，即满足：
Figure 145719DEST_PATH_IMAGE061
最后，将人脸特征向量
Figure 618289DEST_PATH_IMAGE062
分别送入相应的全连接层，进行家庭标签的成员分类。
进一步地，在本申请实施例中，联合优化函数由softmax损失函数和对比损失函数结合生成，使用联合优化目标函数优化特征提取网络，包括以下步骤：
将由共享特征和独有特征拼接得到的深度特征分别送入相应的连接层，使用softmax损失函数优化模型，进行家庭标签的成员分类；
对共享特征向量施加对比损失函数，使不具有血缘关系的共享特征向量的距离达到最大化。
进一步地，在本申请实施例中，联合优化目标函数表示为：
Figure 466159DEST_PATH_IMAGE063
其中，
Figure 329073DEST_PATH_IMAGE064
、
Figure 553381DEST_PATH_IMAGE065
为超参数，
Figure 880457DEST_PATH_IMAGE066
为softmax函数，
Figure 961546DEST_PATH_IMAGE067
为对比损失函数，
softmax损失函数表示为：
Figure 374072DEST_PATH_IMAGE068
其中，
Figure 136492DEST_PATH_IMAGE069
代表全连接层参数，c代表家庭标签，
Figure 318075DEST_PATH_IMAGE070
表示进行初步特征提取的孪生卷积神经网络的参数，
Figure 605617DEST_PATH_IMAGE071
表示映射矩阵的参数，
Figure 505440DEST_PATH_IMAGE072
为拉格朗日乘子，
Figure 71551DEST_PATH_IMAGE022
表示Frobenius范数，
softmax损失函数也可以表示为：
Figure 904378DEST_PATH_IMAGE073
函数
Figure 530531DEST_PATH_IMAGE074
表示当前花括号内表达式值为真时函数值为1，反之函数值为0，
Figure 917650DEST_PATH_IMAGE075
表示第i个成员属于第j个家庭的概率。
对比损失函数表示为：
Figure 21872DEST_PATH_IMAGE076
其中，k表示最小批上的所有成员的数目，
Figure 505943DEST_PATH_IMAGE077
代表向量的内积，
Figure 302998DEST_PATH_IMAGE078
表示当前样本对的向量内积取e指数，
Figure 911834DEST_PATH_IMAGE079
表示将同一批次中所有与
Figure 773742DEST_PATH_IMAGE080
没有血缘关系的样本
Figure 784423DEST_PATH_IMAGE081
的向量内积取e指数的加和。
进一步地，在本申请实施例中，最佳阈值的生成，包括以下步骤：
获取验证集图像；
将验证集图像输入至训练好的模型中，输出共享特征向量和独有特征向量；
计算共享特征向量的余弦相似度，之后将余弦相似度与最佳阈值进行比较，获得预测结果；
使用验证集的预测结果绘制接受者操作特征曲线，特征曲线上的每一个点对应一个阈值，最佳阈值为特征曲线上取得最大值处的阈值。
输入验证集图像，提取共享特征向量并计算余弦相似度，计算TPR和FPR并绘制ROC曲线，最后找到最佳阈值。
进一步地，在本申请实施例中，为训练集中的所有家庭编号，并为训练集中的成员打上对应的家庭标签，然后将训练集样本输入到网络进行分类。经过多次实验调优后，确定超参数的数值，并保存训练好的模型。使用验证集的预测结果绘制接受者操作特征曲线（ROC曲线），该曲线上的每一个点对应一个阈值，特征曲线的横坐标为假阳性率，纵坐标为真阳性率，表示为：
Figure 752379DEST_PATH_IMAGE082
Figure 848511DEST_PATH_IMAGE083
其中，TPR表示真阳性率，FPR表示假阳性率，TP是真阳性，FN是假阴性，FP是假阳性，TN是真阴性，TPR 是在实际为阳性的样本中，被模型预测为阳性的比例，FPR 是在实际为阴性的样本中，被模型预测为阳性的样本，最优阈值对应TPR-FPR取得最大值处的阈值。
本申请提出一种基于特征子空间分解的方法，即在特征提取网络后引入三个映射矩阵
Figure 91274DEST_PATH_IMAGE084
，将两个特征向量
Figure 222041DEST_PATH_IMAGE085
,
Figure 360898DEST_PATH_IMAGE086
分解到三个特征子空间中，其中映射矩阵W生成的特征子空间包含这两张人脸特征向量中的共享特征向量，而另外两个映射矩阵
Figure 272222DEST_PATH_IMAGE087
,
Figure 521938DEST_PATH_IMAGE088
生成的特征子空间则分别包含其人脸特征向量中的独有特征向量。通过子空间分解的方法，提取两个样本中蕴含更多遗传特征的共享特征向量，能够有效提升模型准确率，同时引入对比损失约束，使得不具有血缘关系的负样本对在子空间中距离尽可能远，进一步优化共享特征的提取，并且本申请还提出基于家庭标签分类的方法，对比基于成员标签分类，可以在一定程度上克服样本分布不均衡的问题。基于以上技术方案，本申请提出的人脸血缘关系识别模型，能够更好的提取人脸内蕴遗传特征，显著提升模型识别准确率。
图2为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的另一个流程图。
如图2所示，该基于人脸图像分析的血缘关系自动识别方法，包括：输入待测图像对；数据预处理，将待测人脸图像对修剪尺寸为224
Figure 507211DEST_PATH_IMAGE089
224像素；加载模型文件，将图像对投入模型中，取得共享特征子空间的人脸特征向量；计算样本对的余弦相似度；与最佳阈值进行判断，获得预测结果；保存数据至数据库，将预测结果显示在系统交互界面。模型训练和寻找最佳阈值，包括：输入训练集图像；通过特征提取网络提取人脸特征向量；映射矩阵对特征向量进行映射；使用SGD算法不断更新整个网络的参数，共享特征使用对比损失优化，共享特征与独有特征融合，使用softmax损失优化，进行基于家庭的标签分类；保存模型；通过验证集结果绘制ROC曲线，找到最佳阈值。
图3为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的模型训练示意图。
如图3所示，该基于人脸图像分析的血缘关系自动识别方法训练模型，首先使用由VGGFace数据集预训练的ResNet50作为特征提取网络，样本对经过参数共享的特征提取网络获得特征向量
Figure 816970DEST_PATH_IMAGE090
。将
Figure 684432DEST_PATH_IMAGE091
和
Figure 737839DEST_PATH_IMAGE092
送入三个映射矩阵
Figure 577619DEST_PATH_IMAGE093
，提取样本对的共享特征和独有特征。接着，由样本的共享特征和独有特征拼接得到人脸高层特征，将其送入全连接层，使用softmax损失函数进行家庭成员分类；同时，将样本对的共享特征施加对比损失函数。最后，通过对softmax损失函数和对比损失函数的联合优化，对网络模型进行训练。
图4为本申请实施例的基于人脸图像分析的血缘关系自动识别方法的模型测试示意图。
如图4所示，该基于人脸图像分析的血缘关系自动识别方法测试模型，首先对待测试样本对进行数据预处理、送入前文所述训练好的网络模型，随后使用三个映射矩阵
Figure 995962DEST_PATH_IMAGE094
，对模型输出的人脸特征向量进行映射，得到待测样本对在共享特征子空间中的特征向量，即样本对的共享特征。最后，计算待测样本对共享特征向量的余弦相似度，将其与最佳阈值进行比较，获得血缘关系识别结果。
图5为本申请实施例二所提供的一种基于人脸图像分析的血缘关系自动识别装置的结构示意图。
如图5所示，该基于人脸图像分析的血缘关系自动识别装置，包括：系统交互模块10、数据预处理模块20、血缘关系识别模块30、数据保存模块40，其中，
系统交互模块10，用于接收用户输入的数据并传递给数据预处理模块；
数据预处理模块20，用于对输入图像进行预处理；
血缘关系识别模块30，用于导入训练好的模型，输入预处理好的图像对，经过模型处理，提取共享特征子空间中的人脸特征向量，计算人脸特征向量的余弦相似度，与最佳阈值进行比较，得出血缘关系验证结果；
数据保存模块40，用于保存预测结果、人脸特征，将预测结果、人脸特征存入数据库中；
系统交互模块10，还用于接收验证结果并进行展示。
图6为本申请实施例二的基于人脸图像分析的血缘关系自动识别装置的另一个结构示意图。
如图6所示，该基于人脸图像分析的血缘关系自动识别装置，包括：系统交互模块，主要负责接收用户输入的数据并传递给数据预处理模块，接收验证结果并进行展示；数据预处理模块，对输入图像进行预处理；血缘关系识别模块，导入训练好的模型，输入预处理好的图像对，经过模型处理，提取共享特征子空间中的人脸特征向量，计算其余弦相似度，与最佳阈值进行比较，得出血缘关系验证结果；数据保存模块，用于保存验证结果，并保存人脸特征，将格式化数据（人脸特征1地址，人脸特征2地址，预测结果）存入数据库中，便于后续研究。
本申请实施例的基于人脸图像分析的血缘关系自动识别装置，包括：系统交互模块、数据预处理模块、血缘关系识别模块、数据保存模块，其中，系统交互模块，用于接收用户输入的数据并传递给数据预处理模块；数据预处理模块，用于对输入图像进行预处理；血缘关系识别模块，用于导入训练好的模型，输入预处理好的图像对，经过模型处理，提取共享特征子空间中的人脸特征向量，计算人脸特征向量的余弦相似度，与最佳阈值进行比较，得出血缘关系验证结果；数据保存模块，用于保存预测结果、人脸特征，将预测结果、人脸特征存入数据库中；系统交互模块，还用于接收验证结果并进行展示。由此，能够解决现有技术在训练数据、模式表征、识别模型等层面都存在现实困难和技术瓶颈导致当前识别模型在判别力和鲁棒性方面还存在不足和缺陷的问题，从特征提取和识别模型两个层面对模型进行设计和优化，使模型更好地学习到人脸内蕴遗传特征表示，提高了人脸血缘关系识别的鲁棒性和判别力，有效提升了模型识别准确率，并且提出基于家庭标签分类的方法，在一定程度上克服了样本分布不均衡的问题。
为了实现上述实施例，本申请还提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例的基于人脸图像分析的血缘关系自动识别方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种基于人脸图像分析的血缘关系自动识别方法，其特征在于，包括以下步骤：
获取待测试人脸图像对，并对所述待测试人脸图像对进行尺寸修剪，得到处理后的图像对；
加载训练好的模型，将所述处理后的图像对输入所述训练好的模型中，输出共享特征向量和独有特征向量；
计算所述共享特征向量的余弦相似度，之后将所述余弦相似度与最佳阈值进行比较，获得预测结果；
将所述预测结果存入数据库，并展示在系统交互界面，
其中，所述模型的生成包括以下步骤：
获取训练集图像；
使用特征提取网络对所述训练集图像中的图像对进行特征提取，获得人脸特征向量对
Figure 139327DEST_PATH_IMAGE001
、
Figure 126875DEST_PATH_IMAGE002
；
将提取的所述人脸特征向量对
Figure 351183DEST_PATH_IMAGE003
、
Figure 474997DEST_PATH_IMAGE004
输入三个正交映射矩阵
Figure 759348DEST_PATH_IMAGE005
、
Figure 234191DEST_PATH_IMAGE006
、
Figure 262190DEST_PATH_IMAGE007
，完成两个样本的共享特征和各自独有特征的提取，得到共享特征向量
Figure 506090DEST_PATH_IMAGE008
、
Figure 695763DEST_PATH_IMAGE009
和独有特征向量
Figure 657902DEST_PATH_IMAGE010
、
Figure 224013DEST_PATH_IMAGE011
，其中，矩阵
Figure 587998DEST_PATH_IMAGE012
用来提取人脸特征向量对的公共信息，矩阵
Figure 948572DEST_PATH_IMAGE013
、
Figure 398008DEST_PATH_IMAGE014
分别用来提取人脸特征向量对的特有信息；
之后将所述共享特征向量
Figure 767810DEST_PATH_IMAGE015
、
Figure 720722DEST_PATH_IMAGE016
和所述独有特征向量
Figure 517777DEST_PATH_IMAGE017
、
Figure 126613DEST_PATH_IMAGE018
分别经过maxout操作得到最终共享特征向量
Figure 362422DEST_PATH_IMAGE019
、
Figure 373103DEST_PATH_IMAGE020
和最终独有特征向量
Figure 403376DEST_PATH_IMAGE021
、
Figure 499508DEST_PATH_IMAGE022
；
将所述最终共享特征向量和所述最终独有特征向量进行拼接，得到深度特征表示，其中，所述拼接为向量串接；
使用SGD算法不断更新所述特征提取网络的参数，使用联合优化目标函数优化所述特征提取网络，确定超参数的数值，完成训练，之后保存训练好的模型。
2.如权利要求1所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述使用特征提取网络对所述训练集图像中的图像对进行特征提取，表示为：
Figure 273429DEST_PATH_IMAGE023
其中，
Figure 138617DEST_PATH_IMAGE024
表示人脸特征向量对，
Figure 339791DEST_PATH_IMAGE025
，
Figure 923219DEST_PATH_IMAGE026
，
Figure 241111DEST_PATH_IMAGE027
为输入的图像对，
Figure 226385DEST_PATH_IMAGE028
表示特征提取网络的参数，
Figure 598460DEST_PATH_IMAGE029
中R表示实数域，P表示维度，表示提取的X特征是P维向量。
3.如权利要求1所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述将所述最终共享特征向量和所述最终独有特征向量进行拼接，表示为：
Figure 669185DEST_PATH_IMAGE030
其中，
Figure 784908DEST_PATH_IMAGE031
表示所述深度特征表示，
Figure 624688DEST_PATH_IMAGE032
，
Figure 167665DEST_PATH_IMAGE033
表示共享特征表示，
Figure 460106DEST_PATH_IMAGE034
表示独有特征表示，
Figure 379520DEST_PATH_IMAGE035
表示最终共享特征向量，
Figure 73807DEST_PATH_IMAGE036
表示最终独有特征向量。
4.如权利要求1所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述联合优化目标函数由softmax损失函数和对比损失函数结合生成，所述使用联合优化目标函数优化所述特征提取网络，包括以下步骤：
将由共享特征和独有特征拼接得到的深度特征表示分别送入相应的连接层，使用softmax损失函数优化模型，进行家庭标签的成员分类；
对所述共享特征向量施加对比损失函数，使不具有血缘关系的共享特征向量的距离达到最大化。
5.如权利要求4所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述联合优化目标函数表示为：
Figure 787685DEST_PATH_IMAGE037
其中，
Figure 833001DEST_PATH_IMAGE038
、
Figure 290528DEST_PATH_IMAGE039
为超参数，
Figure 839321DEST_PATH_IMAGE040
为softmax函数，
Figure 989679DEST_PATH_IMAGE041
为对比损失函数，
所述softmax损失函数表示为：
Figure 256712DEST_PATH_IMAGE042
其中，
Figure 517930DEST_PATH_IMAGE043
代表全连接层参数，c代表家庭标签，
Figure 921229DEST_PATH_IMAGE044
表示进行初步特征提取的孪生卷积神经网络的参数，
Figure 242489DEST_PATH_IMAGE045
表示映射矩阵的参数，
Figure 996818DEST_PATH_IMAGE046
为拉格朗日乘子，
Figure 796147DEST_PATH_IMAGE047
表示Frobenius范数，
所述对比损失函数表示为：
Figure 319532DEST_PATH_IMAGE048
其中，k表示最小批上的所有成员的数目，
Figure 811694DEST_PATH_IMAGE049
代表向量的内积，
Figure 787740DEST_PATH_IMAGE050
表示当前样本对的向量内积取e指数，
Figure 390759DEST_PATH_IMAGE051
表示将同一批次中所有与
Figure 34230DEST_PATH_IMAGE052
没有血缘关系的样本
Figure 369397DEST_PATH_IMAGE053
的向量内积取e指数的加和，
Figure 160635DEST_PATH_IMAGE054
。
6.如权利要求1所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述最佳阈值的生成，包括以下步骤：
获取验证集图像；
将所述验证集图像输入至所述训练好的模型中，输出共享特征向量和独有特征向量；
计算所述共享特征向量的余弦相似度，之后将所述余弦相似度与最佳阈值进行比较，获得预测结果；
使用验证集的预测结果绘制接受者操作特征曲线，所述特征曲线上的每一个点对应一个阈值，最佳阈值为所述特征曲线上取得最大值处的阈值。
7.如权利要求6所述的基于人脸图像分析的血缘关系自动识别方法，其特征在于，所述特征曲线的横坐标为假阳性率，纵坐标为真阳性率，表示为：
Figure 239450DEST_PATH_IMAGE055
Figure 799744DEST_PATH_IMAGE056
其中，TPR表示所述真阳性率，FPR表示所述假阳性率，TP是真阳性，FN是假阴性，FP是假阳性，TN是真阴性，TPR 是在实际为阳性的样本中，被模型预测为阳性的比例，FPR 是在实际为阴性的样本中，被模型预测为阳性的样本，最优阈值对应TPR-FPR取得最大值处的阈值。
8.一种基于人脸图像分析的血缘关系自动识别装置，其特征在于，包括系统交互模块、数据预处理模块、血缘关系识别模块、数据保存模块，其中，
所述系统交互模块，用于接收用户输入的数据并传递给数据预处理模块；
所述数据预处理模块，用于对输入图像进行预处理；
所述血缘关系识别模块，用于导入训练好的模型，输入预处理好的图像对，经过模型处理，提取共享特征子空间中的人脸特征向量，计算所述人脸特征向量的余弦相似度，与最佳阈值进行比较，得出血缘关系验证结果；
所述数据保存模块，用于保存预测结果、人脸特征，将所述预测结果、人脸特征存入数据库中；
所述系统交互模块，还用于接收验证结果并进行展示，
其中，所述模型的生成包括以下步骤：
获取训练集图像；
使用特征提取网络对所述训练集图像中的图像对进行特征提取，获得人脸特征向量对
Figure 305812DEST_PATH_IMAGE057
、
Figure 584346DEST_PATH_IMAGE058
；
将提取的所述人脸特征向量对
Figure 466852DEST_PATH_IMAGE057
、
Figure 899231DEST_PATH_IMAGE059
输入三个正交映射矩阵
Figure 841779DEST_PATH_IMAGE060
、
Figure 342030DEST_PATH_IMAGE061
、
Figure 762647DEST_PATH_IMAGE014
，完成两个样本的共享特征和各自独有特征的提取，得到共享特征向量
Figure 297534DEST_PATH_IMAGE062
、
Figure 145404DEST_PATH_IMAGE063
和独有特征向量
Figure 132952DEST_PATH_IMAGE064
、
Figure 357260DEST_PATH_IMAGE065
，其中，矩阵
Figure 746653DEST_PATH_IMAGE012
用来提取人脸特征向量对的公共信息，矩阵
Figure 31004DEST_PATH_IMAGE061
、
Figure 505847DEST_PATH_IMAGE014
分别用来提取人类特征向量对的特有信息；
之后将所述共享特征向量
Figure 268267DEST_PATH_IMAGE062
、
Figure 512166DEST_PATH_IMAGE063
和独有特征向量
Figure 967419DEST_PATH_IMAGE066
、
Figure 929558DEST_PATH_IMAGE018
分别经过maxout操作得到最终共享特征向量
Figure 495669DEST_PATH_IMAGE067
、
Figure 594075DEST_PATH_IMAGE068
和最终独有特征向量
Figure 220228DEST_PATH_IMAGE069
、
Figure 669664DEST_PATH_IMAGE070
；
将所述最终共享特征向量和所述最终独有特征向量进行拼接，得到深度特征表示，其中，所述拼接为向量串接；
使用SGD算法不断更新所述特征提取网络的参数，使用联合优化目标函数优化所述特征提取网络，确定超参数的数值，完成训练，之后保存训练好的模型。
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的基于人脸图像分析的血缘关系自动识别方法。
CN202111040747.6A 2021-09-06 2021-09-06 基于人脸图像分析的血缘关系自动识别方法和装置 Active CN113496219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040747.6A CN113496219B (zh) 2021-09-06 2021-09-06 基于人脸图像分析的血缘关系自动识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040747.6A CN113496219B (zh) 2021-09-06 2021-09-06 基于人脸图像分析的血缘关系自动识别方法和装置

Publications (2)

Publication Number Publication Date
CN113496219A CN113496219A (zh) 2021-10-12
CN113496219B true CN113496219B (zh) 2022-01-28

Family

ID=77997128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040747.6A Active CN113496219B (zh) 2021-09-06 2021-09-06 基于人脸图像分析的血缘关系自动识别方法和装置

Country Status (1)

Country Link
CN (1) CN113496219B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488463B (zh) * 2015-11-25 2019-01-29 康佳集团股份有限公司 基于人脸生物特征的直系亲属关系识别方法及系统
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN109145869A (zh) * 2018-09-11 2019-01-04 河南科技大学 基于二叉树的动物运动行为类别建模及判别方法、装置
CN112070181B (zh) * 2020-11-16 2021-02-19 深圳市华汉伟业科技有限公司 一种基于图像流的协同检测方法及装置、存储介质

Also Published As

Publication number Publication date
CN113496219A (zh) 2021-10-12

Similar Documents

Publication Publication Date Title
CN104778474B (zh) 一种用于目标检测的分类器构建方法及目标检测方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN109829467A (zh) 图像标注方法、电子装置及非暂态电脑可读取储存媒体
CN109564618A (zh) 用于显著面部区域检测的学习模型
JP2006252559A (ja) 画像において対象物の位置を特定する方法および対象物の画像を相異なる画像カテゴリに分類する方法
CN113887661B (zh) 一种基于表示学习重构残差分析的图像集分类方法及系统
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN109214247B (zh) 基于视频的人脸标识方法和装置
CN110580499A (zh) 基于众包重复标签的深度学习目标检测方法及系统
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
Salama et al. Enhancing Medical Image Quality using Neutrosophic Fuzzy Domain and Multi-Level Enhancement Transforms: A Comparative Study for Leukemia Detection and Classification
CN112861881A (zh) 一种基于改进MobileNet模型的蜂窝肺识别方法
KR102230559B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
CN112307453A (zh) 基于人脸识别的人员管理方法及系统
CN113496219B (zh) 基于人脸图像分析的血缘关系自动识别方法和装置
CN116805522A (zh) 诊断报告输出方法、装置、终端及存储介质
CN111753618A (zh) 图像识别方法、装置、计算机设备及计算机可读存储介质
CN113947780B (zh) 一种基于改进卷积神经网络的梅花鹿面部识别方法
KR102342495B1 (ko) 데이터 프로그래밍에 기반한 레이블링 모델 생성 방법 및 장치
Jain et al. Multi-label classification for images with labels for image annotation
CN104778479B (zh) 一种基于稀疏编码提取子的图像分类方法及系统
CN113408356A (zh) 基于深度学习的行人重识别方法、装置、设备及存储介质
CN112651996A (zh) 目标检测跟踪方法、装置、电子设备和存储介质
Nourbakhsh et al. Facial Images Quality Assessment based on ISO/ICAO Standard Compliance Estimation by HMAX Model
CN110555338A (zh) 对象识别方法和装置、神经网络生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant