CN112070153A - 基于深度学习的亲属关系验证方法和系统 - Google Patents

基于深度学习的亲属关系验证方法和系统 Download PDF

Info

Publication number
CN112070153A
CN112070153A CN202010928536.5A CN202010928536A CN112070153A CN 112070153 A CN112070153 A CN 112070153A CN 202010928536 A CN202010928536 A CN 202010928536A CN 112070153 A CN112070153 A CN 112070153A
Authority
CN
China
Prior art keywords
image data
feature vector
target
verified
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010928536.5A
Other languages
English (en)
Inventor
陈海波
罗志鹏
张治广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Technology Beijing Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202010928536.5A priority Critical patent/CN112070153A/zh
Publication of CN112070153A publication Critical patent/CN112070153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于深度学习的亲属关系验证方法和系统，其中，所述方法包括，获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据，采用多个特征提取网络对第一图像数据和第二图像数据进行特征提取，并且每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量，并根据该特征向量分别得到待验证目标的融合特征向量和比对目标的融合特征向量，以及根据待验证目标的融合特征向量和比对目标的融合特征向量判断待验证目标与比对目标之间是否存在亲属关系。本发明能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。

Description

基于深度学习的亲属关系验证方法和系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于深度学习的亲属关系验证方法和一种基于深度学习的亲属关系验证系统。
背景技术
目前，判断亲属关系的主要方式还是通过鉴定双方的DNA序列来判断双方是否有亲属关系，但是，由于时间和空间的关系，我们并不能随时随地的做DNA检测，而由于遗传的原因，大多数人的相貌与自己的血亲有相似之处，因此，通过照片来进行亲属关系验证可行性就变得很高，并在实际生活中起到了重要的作用。
然而，通常使用的通过照片进行亲属关系验证的策略准确率较低，并且需要大量的图像数据来判断双方是否具有亲属关系。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于深度学习的亲属关系验证方法，能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。
本发明的第二个目的在于提出一种基于深度学习的亲属关系验证系统。
为达到上述目的，本发明第一方面实施例提出了一种基于深度学习的亲属关系验证方法，包括以下步骤：获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；采用多个特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，其中，每个所述特征提取网络分别从所述第一图像数据和所述第二图像数据得到一个特征向量；根据每个所述特征提取网络从所述第一图像数据中提取的特征向量得到所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；根据每个所述特征提取网络从所述第二图像数据中提取的特征向量得到所述比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
根据本发明实施例提出的基于深度学习的亲属关系验证方法，通过获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据，并采用多个特征提取网络对获取的第一图像数据和第二图像数据进行特征提取，并且每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量，并根据该特征向量分别得到待验证目标的融合特征向量和比对目标的融合特征向量，以及根据待验证目标的融合特征向量和比对目标的融合特征向量判断待验证目标与比对目标之间是否存在亲属关系，由此，能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。
另外，根据本发明上述实施例提出的基于深度学习的亲属关系验证方法还可以具有如下附加的技术特征：
根据本发明的一个实施例，所述的基于深度学习的亲属关系验证方法，包括以下步骤：获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；采用第一特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，以得到所述待验证目标的第一特征向量和所述比对目标的第一特征向量；采用第二特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，以得到所述待验证目标的第二特征向量和所述比对目标的第二特征向量；根据所述待验证目标的第一、第二特征向量得到所述所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；根据所述比对目标的第一、第二特征向量得到所述所比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
根据本发明的一个实施例，所述特征提取网络的训练，包括以下步骤：获取预训练模型和训练数据集；对所述训练数据集进行数据增强以扩展所述训练数据集；调整扩展后的所述训练数据集的正负样本比例；拆分调整后的所述训练数据集；根据拆分后的所述训练数据集对所述预训练模型进行优化训练。
根据本发明的一个实施例，所述第一特征提取网络为FaceNet，所述第二特征提取网络为VggFace，其中，所述FaceNet的训练，包括以下步骤：获取FaceNet预训练模型和MS-Celeb-1M数据集；对所述MS-Celeb-1M数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展所述MS-Celeb-1M数据集；调整扩展后的所述MS-Celeb-1M数据集的正负样本比例为1:2；将调整后的所述MS-Celeb-1M数据集拆分为k部分；采用k折交叉验证对所述FaceNet预训练模型进行优化训练，
所述VggFace的训练，包括以下步骤：获取VggFace预训练模型和vggface2数据集；对所述vggface2数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展所述vggface2数据集；调整扩展后的所述vggface2数据集的正负样本比例为1:2；将调整后的所述vggface2数据集拆分为k部分；采用k折交叉验证对所述VggFace预训练模型进行优化训练。
根据本发明的一个实施例，所述VggFace的架构采用ResNet50。
根据本发明的一个实施例，设定所述第一特征提取网络从所述第一图像数据、所述第二图像数据得到的第一特征向量分别为x1、x2，并设定所述第二特征提取网络从所述第一图像数据、所述第二图像数据得到的第二特征向量分别为x3、x4，所述第一融合特征向量、所述第二融合特征向量的计算公式如下所示：(x1+x2)^2，(x1-x2)^2，(x1*x2)，(x1+x2)，(x3+x4)^2，(x3–x4)^2，(x3*x4)，(x3+x4)。
根据本发明的一个实施例，根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系，包括以下步骤：计算所述第一融合特征向量与所述第二融合特征向量之间的距离度量；根据所述距离度量判断所述待验证目标与所述比对目标之间的相似度；若所述待验证目标与所述比对目标之间的相似度的达到设定阈值，则判断所述待验证目标与所述比对目标之间存在亲属关系。
根据本发明的一个实施例，通过两层全连接层对所述第一融合特征向量和所述第二融合特征向量进行处理，以判断所述待验证目标与所述比对目标之间是否存在亲属关系。
根据本发明的一个实施例，所述全连接层加入了dropout，并删除了bias。
为达到上述目的，本发明第二方面实施例提出了一种基于深度学习的亲属关系验证系统，包括：获取模块，所述获取模块用于获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；提取模块，所述提取模块用于采用多个特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，其中，每个所述特征提取网络分别从所述第一图像数据和所述第二图像数据得到一个特征向量；第一融合模块，所述第一融合模块用于根据每个所述特征提取网络从所述第一图像数据中提取的特征向量得到所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；第二融合模块，所述第二融合模块用于根据每个所述特征提取网络从所述第二图像数据中提取的特征向量得到所述比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；判断模块，所述判断模块用于根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
根据本发明实施例提出的基于深度学习的亲属关系验证系统，通过设置获取模块、提取模块、第一融合模块、第二融合模块和判断模块，其中，提取模块用于采用多个特征提取网络对获取模块获取的第一图像数据和第二图像数据进行特征提取，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据，并且每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量，并通过第一融合模块、第二融合模块根据该特征向量分别得到待验证目标的融合特征向量和比对目标的融合特征向量，以及通过判断模块根据待验证目标的融合特征向量和比对目标的融合特征向量判断待验证目标与比对目标之间是否存在亲属关系，由此，能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。
附图说明
图1为本发明实施例的基于深度学习的亲属关系验证方法的流程图；
图2为本发明一个实施例的基于深度学习的亲属关系验证方法的流程图；
图3为本发明一个实施例的隔代直系亲属样本的示意图；
图4(a)为本发明一个实施例的ResNet50的结构示意图；
图4(b)为本发明一个实施例的Conv Block的结构示意图；
图4(c)为本发明一个实施例的Identity Block的结构示意图；
图5为本发明一个具体实施例的基于深度学习的亲属关系验证方法的流程图；
图6为本发明实施例的基于深度学习的亲属关系验证系统的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例的基于深度学习的亲属关系验证方法的流程图。
如图1所示，本发明实施例的基于深度学习的亲属关系验证方法，包括以下步骤：S1，获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据；S2，采用多个特征提取网络对第一图像数据和第二图像数据进行特征提取，其中，每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量；S3，根据每个特征提取网络从第一图像数据中提取的特征向量得到待验证目标的融合特征向量，其中，设定待验证目标的融合特征向量为第一融合特征向量；S4，根据每个特征提取网络从第二图像数据中提取的特征向量得到比对目标的融合特征向量，其中，设定比对目标的融合特征向量为第二融合特征向量；S5，根据第一融合特征向量和第二融合特征向量判断待验证目标与比对目标之间是否存在亲属关系。
在本发明的一个实施例中，可采用两个特征提取网络对第一图像数据和第二图像数据进行特征提取，进一步，如图2所示，基于深度学习的亲属关系验证方法，可包括以下步骤：S10，获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据；S20，采用第一特征提取网络对第一图像数据和第二图像数据进行特征提取，以得到待验证目标的第一特征向量和比对目标的第一特征向量；S30，采用第二特征提取网络对第一图像数据和第二图像数据进行特征提取，以得到待验证目标的第二特征向量和比对目标的第二特征向量；S40，根据待验证目标的第一、第二特征向量得到待验证目标的融合特征向量，其中，设定待验证目标的融合特征向量为第一融合特征向量；S50，根据比对目标的第一、第二特征向量得到所比对目标的融合特征向量，其中，设定比对目标的融合特征向量为第二融合特征向量；S60，根据第一融合特征向量和第二融合特征向量判断待验证目标与比对目标之间是否存在亲属关系。
其中，特征提取网络可通过下列步骤进行训练：获取预训练模型和训练数据集；对训练数据集进行数据增强以扩展训练数据集；调整扩展后的训练数据集的正负样本比例；拆分调整后的训练数据集；根据拆分后的训练数据集对预训练模型进行优化训练。
其中，特征提取网络的损失函数可为交叉熵损失函数，计算公式为：
Figure BDA0002669343980000071
其中，q为真实概率分布，p为预测概率分布，N为分类结果类别数量。
具体地，可采用小批量梯度下降对特征提取网络进行训练，例如可设置batch_size，即批次训练选取的样本数为32，并设置训练m个epoch，即对整个训练数据集训练m次得到最终的预测概率分布，例如P＝0.7685。
在本发明的一个实施例中，第一特征提取网络可为FaceNet，可具体通过下列步骤进行训练：获取FaceNet预训练模型和MS-Celeb-1M数据集；对MS-Celeb-1M数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展MS-Celeb-1M数据集；调整扩展后的MS-Celeb-1M数据集的正负样本比例为1:2；将调整后的MS-Celeb-1M数据集拆分为k部分；采用k折交叉验证对FaceNet预训练模型进行优化训练。
在本发明的一个实施例中，第二特征提取网络可为VggFace，可具体通过下列步骤进行训练：获取VggFace预训练模型和vggface2数据集；对vggface2数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展vggface2数据集；调整扩展后的vggface2数据集的正负样本比例为1:2；将调整后的vggface2数据集拆分为k部分；采用k折交叉验证对VggFace预训练模型进行优化训练。
其中，需要说明的是，在对FaceNet预训练模型和VggFace预训练模型进行训练时，可在训练数据集中加入隔代直系亲属样本，例如图3所示的Child样本、Sibling样本、Grandchild样本、Parent样本、Spouse样本、Grandparent样本、Great Grandchild样本、Great Grandparent样本。此外，可以理解的是，在对FaceNet预训练模型和VggFace预训练模型进行训练时，k的取值可影响FaceNet预训练模型和VggFace预训练模型的bias，即偏置和variance，即方差，并且，当k的取值越大时，bias，即偏置越小，variance，即方差越大，当k的取值越小时，bias，即偏置越大，variance，即方差越小，因此，在本发明实施例中设定k＝7，以平衡bias，即偏置和variance，即方差。
进一步，还需要说明的是，在对FaceNet预训练模型和VggFace预训练模型进行训练时，需要对输入FaceNet预训练模型和VggFace预训练模型的训练数据集进行处理，即对输入FaceNet预训练模型和VggFace预训练模型的图片大小进行调整，具体地，可将输入FaceNet预训练模型的图片大小调整为160*160，并可将输入VggFace预训练模型的图片大小调整为224*224，由此，能够提高训练的效率和效果。此外，同样地，获取的待验证目标和比对目标的图像数据，即第一图像数据和第二图像数据在输入FaceNet和VggFace时，可需要进行图片大小的调整，即可将输入FaceNet的图片大小调整为160*160，输入VggFace的图片大小调整为224*224。
在本发明的一个实施例中，VggFace的架构可采用ResNet50。ResNet50可通过残差结构解决了网络因为深度的增加导致的梯度消失和梯度爆炸的问题，并且ResNet50使用全局池化操作，由此，能够保证VggFace的尺寸较小。
具体地，如图4(a)所示，ResNet50可包括Conv Block和Identity Block。更具体地，如图4(b)所示，Conv Block可包括两条分支，第一条分支具有三层卷积，并且每层卷积后进行批标准化，即BatchNorm；第二条分支具有一层卷积，可通过该层卷积进行维度调整，以保证卷积后的维度与第一条分支的输出相同，并且该层卷积后也可进行批标准化，即BatchNorm，最后两条分支对应位置进行相加。
更具体地，如图4(c)所示，Identity Block可包括两条分支，第一条分支具有三层卷积，并且每层卷积后进行批标准化，即BatchNorm；第二条分支不进行运算，直接与第一条分支的输出进行对应位置的相加，以保证第一条分支的输出维度与输入维度相同。
在本发明的一个实施例中，可设定第一特征提取网络，即FaceNet从第一图像数据、第二图像数据得到的第一特征向量分别为x1、x2，并可设定第二特征提取网络，即VggFace从第一图像数据、第二图像数据得到的第二特征向量分别为x3、x4，进一步可将第一特征提取网络，即FaceNet从第一图像数据得到的第一特征向量x1，与第二特征提取网络，即VggFace从第一图像数据得到的第二特征向量x3进行叠加得到第一融合特征向量，并且可将第一特征提取网络，即FaceNet从第二图像数据得到的第一特征向量x2，与第二特征提取网络，即VggFace从第二图像数据得到的第二特征向量x4进行叠加得到第二融合特征向量。
具体地，第一融合特征向量、第二融合特征向量的计算公式，即叠加公式可为：(x1+x2)^2，(x1-x2)^2，(x1*x2)，(x1+x2)，(x3+x4)^2，(x3–x4)^2，(x3*x4)，(x3+x4)。其中，需要说明的是，之所以采用对称性的叠加方式计算第一、第二融合特征向量，是因为(x2–x1)与(x1–x2)不相等，(x1^2–x2^2)和(x2^2–x1^2)不相等。
进一步，可将第一融合特征向量和第二融合特征向量输入两层全连接层，以对第一融合特征向量和第二融合特征向量进行处理来判断待验证目标与比对目标之间是否存在亲属关系。其中，两层连接层可均加入dropout，并设置dropout的比率为0.1，此外，两层连接层还可均删除bias。
具体地，可计算第一融合特征向量与第二融合特征向量之间的距离度量，并可根据距离度量判断待验证目标与比对目标之间的相似度，若待验证目标与比对目标之间的相似度的达到设定阈值，则判断待验证目标与比对目标之间存在亲属关系。其中，距离度量可具体为欧式距离，可根据欧式距离判断待验证目标与比对目标之间的相似度，并且需要理解的是，判断待验证目标与比对目标之间的相似度的方式并不是唯一的，例如，在本发明的另一个实施例中，可通过计算第一融合特征向量与第二融合特征向量之间的角度，并根据角度来判断待验证目标与比对目标之间的相似度。
下面将结合图5，对采用两个特征提取网络，即FaceNet和VggFace实现亲属关系验证的过程进行整体阐述。
如图5所示，具体包括以下步骤：
S100，获取第一图像数据和第二图像数据；
S200，将第一图像数据和第二图像数据输入FaceNet，以及VggFace；
S300，FaceNet输出从第一图像数据、第二图像数据得到的特征向量x1、x2，VggFace输出从第一图像数据、第二图像数据得到的特征向量x3、x4；
S400，特征向量x1、x2、x3、x4通过叠加公式进行叠加；
S500，叠加后的特征向量输入第一层全连接层；
S600，叠加后的特征向量输入第二层全连接层；
S700，输出检测结果。
根据本发明实施例提出的基于深度学习的亲属关系验证方法，通过获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据，并采用多个特征提取网络对获取的第一图像数据和第二图像数据进行特征提取，并且每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量，并根据该特征向量分别得到待验证目标的融合特征向量和比对目标的融合特征向量，以及根据待验证目标的融合特征向量和比对目标的融合特征向量判断待验证目标与比对目标之间是否存在亲属关系，由此，能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。
对应上述实施例提出的一种基于深度学习的亲属关系验证方法，本发明第二方面实施例提出了一种基于深度学习的亲属关系验证系统。
如图6所示，本发明实施例的基于深度学习的亲属关系验证系统，包括获取模块10、提取模块20、第一融合模块30、第二融合模块40和判断模块50。其中，获取模块10用于获取第一图像数据和第二图像数据，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据；提取模块20用于采用多个特征提取网络对第一图像数据和第二图像数据进行特征提取，其中，每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量；第一融合模块30用于根据每个特征提取网络从第一图像数据中提取的特征向量得到待验证目标的融合特征向量，其中，设定待验证目标的融合特征向量为第一融合特征向量；第二融合模块40用于根据每个特征提取网络从第二图像数据中提取的特征向量得到比对目标的融合特征向量，其中，设定比对目标的融合特征向量为第二融合特征向量；判断模块50用于根据第一融合特征向量和第二融合特征向量判断待验证目标与比对目标之间是否存在亲属关系。
本发明实施例提出的基于深度学习的亲属关系验证系统，可实现上述实施例提出的基于深度学习的亲属关系验证方法，其具体实施方式可参照上述实施例。
根据本发明实施例提出的基于深度学习的亲属关系验证系统，通过设置获取模块、提取模块、第一融合模块、第二融合模块和判断模块，其中，提取模块用于采用多个特征提取网络对获取模块获取的第一图像数据和第二图像数据进行特征提取，其中，第一图像数据为待验证目标的图像数据，第二图像数据为比对目标的图像数据，并且每个特征提取网络分别从第一图像数据和第二图像数据得到一个特征向量，并通过第一融合模块、第二融合模块根据该特征向量分别得到待验证目标的融合特征向量和比对目标的融合特征向量，以及通过判断模块根据待验证目标的融合特征向量和比对目标的融合特征向量判断待验证目标与比对目标之间是否存在亲属关系，由此，能够具有较高的检测精度，并且能够在图像数据较少的情况下对目标之间是否存在亲属关系进行较为准确的判断。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于深度学习的亲属关系验证方法，其特征在于，包括以下步骤：
获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；
采用多个特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，其中，每个所述特征提取网络分别从所述第一图像数据和所述第二图像数据得到一个特征向量；
根据每个所述特征提取网络从所述第一图像数据中提取的特征向量得到所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；
根据每个所述特征提取网络从所述第二图像数据中提取的特征向量得到所述比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；
根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
2.根据权利要求1所述的基于深度学习的亲属关系验证方法，其特征在于，包括以下步骤：
获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；
采用第一特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，以得到所述待验证目标的第一特征向量和所述比对目标的第一特征向量；
采用第二特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，以得到所述待验证目标的第二特征向量和所述比对目标的第二特征向量；
根据所述待验证目标的第一、第二特征向量得到所述所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；
根据所述比对目标的第一、第二特征向量得到所述所比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；
根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
3.根据权利要求2所述的基于深度学习的亲属关系验证方法，其特征在于，所述特征提取网络的训练，包括以下步骤：
获取预训练模型和训练数据集；
对所述训练数据集进行数据增强以扩展所述训练数据集；
调整扩展后的所述训练数据集的正负样本比例；
拆分调整后的所述训练数据集；
根据拆分后的所述训练数据集对所述预训练模型进行优化训练。
4.根据权利要求2所述的基于深度学习的亲属关系验证方法，其特征在于，所述第一特征提取网络为FaceNet，所述第二特征提取网络为VggFace，其中，
所述FaceNet的训练，包括以下步骤：
获取FaceNet预训练模型和MS-Celeb-1M数据集；
对所述MS-Celeb-1M数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展所述MS-Celeb-1M数据集；
调整扩展后的所述MS-Celeb-1M数据集的正负样本比例为1:2；
将调整后的所述MS-Celeb-1M数据集拆分为k部分，
采用k折交叉验证对所述FaceNet预训练模型进行优化训练；
所述VggFace的训练，包括以下步骤：
获取VggFace预训练模型和vggface2数据集；
对所述vggface2数据集进行随机模糊、随机改变对比度和亮度、随即翻转以扩展所述vggface2数据集；
调整扩展后的所述vggface2数据集的正负样本比例为1:2；
将调整后的所述vggface2数据集拆分为k部分；
采用k折交叉验证对所述VggFace预训练模型进行优化训练。
5.根据权利要求4所述的基于深度学习的亲属关系验证方法，其特征在于，所述VggFace的架构采用ResNet50。
6.根据权利要求5所述的基于深度学习的亲属关系验证方法，其特征在于，设定所述第一特征提取网络从所述第一图像数据、所述第二图像数据得到的第一特征向量分别为x1、x2，并设定所述第二特征提取网络从所述第一图像数据、所述第二图像数据得到的第二特征向量分别为x3、x4，所述第一融合特征向量、所述第二融合特征向量的计算公式如下所示：
(x1+x2)^2，(x1-x2)^2，(x1*x2)，(x1+x2)，(x3+x4)^2，(x3–x4)^2，(x3*x4)，(x3+x4)。
7.根据权利要求6所述的基于深度学习的亲属关系验证方法，其特征在于，根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系，包括以下步骤：
计算所述第一融合特征向量与所述第二融合特征向量之间的距离度量；
根据所述距离度量判断所述待验证目标与所述比对目标之间的相似度；
若所述待验证目标与所述比对目标之间的相似度的达到设定阈值，则判断所述待验证目标与所述比对目标之间存在亲属关系。
8.根据权利要求7所述的基于深度学习的亲属关系验证方法，其特征在于，通过两层全连接层对所述第一融合特征向量和所述第二融合特征向量进行处理，以判断所述待验证目标与所述比对目标之间是否存在亲属关系。
9.根据权利要求8所述的基于深度学习的亲属关系验证方法，其特征在于，其中，所述全连接层加入了dropout，并删除了bias。
10.一种基于深度学习的亲属关系验证系统，其特征在于，包括：
获取模块，所述获取模块用于获取第一图像数据和第二图像数据，其中，所述第一图像数据为待验证目标的图像数据，所述第二图像数据为比对目标的图像数据；
提取模块，所述提取模块用于采用多个特征提取网络对所述第一图像数据和所述第二图像数据进行特征提取，其中，每个所述特征提取网络分别从所述第一图像数据和所述第二图像数据得到一个特征向量；
第一融合模块，所述第一融合模块用于根据每个所述特征提取网络从所述第一图像数据中提取的特征向量得到所述待验证目标的融合特征向量，其中，设定所述待验证目标的融合特征向量为第一融合特征向量；
第二融合模块，所述第二融合模块用于根据每个所述特征提取网络从所述第二图像数据中提取的特征向量得到所述比对目标的融合特征向量，其中，设定所述比对目标的融合特征向量为第二融合特征向量；
判断模块，所述判断模块用于根据所述第一融合特征向量和所述第二融合特征向量判断所述待验证目标与所述比对目标之间是否存在亲属关系。
CN202010928536.5A 2020-09-07 2020-09-07 基于深度学习的亲属关系验证方法和系统 Pending CN112070153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010928536.5A CN112070153A (zh) 2020-09-07 2020-09-07 基于深度学习的亲属关系验证方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010928536.5A CN112070153A (zh) 2020-09-07 2020-09-07 基于深度学习的亲属关系验证方法和系统

Publications (1)

Publication Number Publication Date
CN112070153A true CN112070153A (zh) 2020-12-11

Family

ID=73663766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010928536.5A Pending CN112070153A (zh) 2020-09-07 2020-09-07 基于深度学习的亲属关系验证方法和系统

Country Status (1)

Country Link
CN (1) CN112070153A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733724A (zh) * 2021-01-12 2021-04-30 清华大学 基于判别样本元挖掘器的亲属关系验证方法和装置
CN113158929A (zh) * 2021-04-27 2021-07-23 河南大学 基于距离和方向的深度鉴别度量学习亲属关系验证框架
CN113869366A (zh) * 2021-08-27 2021-12-31 深延科技(北京)有限公司 模型训练方法、亲属关系分类方法、检索方法及相关装置
CN114463829A (zh) * 2022-04-14 2022-05-10 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740536A (zh) * 2018-06-12 2019-05-10 北京理工大学 一种基于特征融合神经网络的亲属识别方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740536A (zh) * 2018-06-12 2019-05-10 北京理工大学 一种基于特征融合神经网络的亲属识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHIPENG LUO等: "Challenge report: Recognizing Families In the Wild Data Challenge", 《HTTPS://ARXIV.ORG/FTP/ARXIV/PAPERS/2006/2006.00154.PDF》, pages 1 - 5 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112733724A (zh) * 2021-01-12 2021-04-30 清华大学 基于判别样本元挖掘器的亲属关系验证方法和装置
CN112733724B (zh) * 2021-01-12 2022-07-26 清华大学 基于判别样本元挖掘器的亲属关系验证方法和装置
CN113158929A (zh) * 2021-04-27 2021-07-23 河南大学 基于距离和方向的深度鉴别度量学习亲属关系验证框架
CN113158929B (zh) * 2021-04-27 2022-09-30 河南大学 基于距离和方向的深度鉴别度量学习亲属关系验证系统
CN113869366A (zh) * 2021-08-27 2021-12-31 深延科技(北京)有限公司 模型训练方法、亲属关系分类方法、检索方法及相关装置
CN113869366B (zh) * 2021-08-27 2024-05-28 深延科技(北京)有限公司 模型训练方法、亲属关系分类方法、检索方法及相关装置
CN114463829A (zh) * 2022-04-14 2022-05-10 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质
CN114463829B (zh) * 2022-04-14 2022-08-12 合肥的卢深视科技有限公司 模型训练方法、亲属关系识别方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN112070153A (zh) 基于深度学习的亲属关系验证方法和系统
CN111968138B (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
JP7059883B2 (ja) 学習装置、画像生成装置、学習方法、及び学習プログラム
CN110956255B (zh) 难样本挖掘方法、装置、电子设备及计算机可读存储介质
WO2015176305A1 (zh) 人形图像分割方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN106920215A (zh) 一种全景图像配准效果的检测方法
CN108198172B (zh) 图像显著性检测方法和装置
CN112001403B (zh) 一种图像轮廓检测方法及系统
CN109902616B (zh) 基于深度学习的人脸三维特征点检测方法及系统
CN110210492B (zh) 一种基于深度学习的立体图像视觉显著性检测方法
CN109214428A (zh) 图像分割方法、装置、计算机设备及计算机存储介质
CN110246148A (zh) 多模态的深度信息融合和注意力学习的显著性检测方法
CN114419029B (zh) 表面缺陷检测模型的训练方法、表面缺陷检测方法及装置
CN112365511B (zh) 基于重叠区域检索与对齐的点云分割方法
CN106295666A (zh) 分类器生成、更新与对象检测方法和装置及图像处理设备
CN106355195A (zh) 用于测量图像清晰度值的系统及其方法
CN113052228A (zh) 一种基于SE-Inception的肝癌病理切片分类方法
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN116030538B (zh) 弱监督动作检测方法、系统、设备及存储介质
CN112668532A (zh) 基于多阶段混合注意网络的人群计数方法
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN106295710B (zh) 基于非几何约束的图像局部特征匹配方法、装置及终端
CN114972737B (zh) 基于原型对比学习的遥感图像目标检测系统及方法
CN113052311B (zh) 具有跳层结构的特征提取网络及特征和描述子生成的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination