CN113869366B - 模型训练方法、亲属关系分类方法、检索方法及相关装置 - Google Patents

模型训练方法、亲属关系分类方法、检索方法及相关装置 Download PDF

Info

Publication number
CN113869366B
CN113869366B CN202110997750.0A CN202110997750A CN113869366B CN 113869366 B CN113869366 B CN 113869366B CN 202110997750 A CN202110997750 A CN 202110997750A CN 113869366 B CN113869366 B CN 113869366B
Authority
CN
China
Prior art keywords
image
training
training image
information corresponding
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110997750.0A
Other languages
English (en)
Other versions
CN113869366A (zh
Inventor
陈海波
罗志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyan Technology Beijing Co ltd
Original Assignee
Shenyan Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyan Technology Beijing Co ltd filed Critical Shenyan Technology Beijing Co ltd
Priority to CN202110997750.0A priority Critical patent/CN113869366B/zh
Publication of CN113869366A publication Critical patent/CN113869366A/zh
Application granted granted Critical
Publication of CN113869366B publication Critical patent/CN113869366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供模型训练方法、亲属关系分类方法、检索方法及相关装置；模型训练方法包括：获取训练集；获取第一训练图像对应的第一特征向量和第二训练图像对应的第二特征向量；获取第一训练图像对应的第三特征向量和第二训练图像对应的第四特征向量；将特征向量输入拼接层，得到拼接信息；将拼接信息输入全连接模块，得预测信息；利用预测信息和标注信息，对预设深度神经网络进行训练，得到亲属关系分类模型。由于预测信息是采用两个特征提取模块的输出结果拼接得到的，因此，所得到的预测信息的精度更高，利用该预测信息所训练出的亲属关系分类模型在进行亲属关系分类或检索时，精度也相应更高。

Description

模型训练方法、亲属关系分类方法、检索方法及相关装置
技术领域
本申请涉及深度学习及图像处理技术领域，尤其涉及模型训练方法、亲属关系分类方法、检索方法及相关装置。
背景技术
随着宝贝回家等公益活动的开展，社会上对于丢失儿童的救助行动日益增多，这些丢失儿童的身份判定却成了很大的问题。很迫切的需要一种便捷的方法来挽救这些破碎的家庭，为丢失的儿童寻到他们的亲生父母。
判定亲生关系的理论依据是孟德尔遗传定律，通过鉴定双方的DNA序列来判断双方是否有血缘关系。但是由于时间和空间的关系，并不能随时随地的做D NA检测，而由于遗传的原因，大多数人的相貌与自己的血亲有相似之处，因此，通过照片来进行亲属关系验证的可行性就变得很高，并且通过照片来进行亲属关系验证相比于DNA序列进行验证更加方便快捷。
在深度学习还没有流行时，除了DNA亲子鉴定，在《Like Father,Like So n:Facial Expression Dynamics for Kinship Verification》一文中还提到了通过动态面部表情来预测亲属关系的一种方法。该方法通过跟踪landmark的运动轨迹，眼部，眉毛，脸颊与嘴唇的位移信息将会被记录下来(嘴部三个阶段的位移的平均值也将会被记录下来)。接下来从多张相邻的图片中提取表情的动态信息以及空间信息和时序信息(提取CLBP纹理特征)，并把两种信息分别用SVM训练。通过训练结果判断二者是否为亲属关系。
随着深度学习的流行，在《基于特征提取和度量学习的亲属关系认证算法研究》一文中使用了神经网络来判断亲属关系的方法，首先抽取脸部的关键区域，分别对每块关键区域提取纹理和肤色特征,然后进行特征融合。最后引入度量学习，学习能使具有亲属关系样本距离变小，而非亲属关系样本距离变大的变换矩阵，并将提取的特征向量通过变换矩阵映射到度量空间，通过余弦相似函数计算相似度。其次，针对如何利用三个客体进行亲属关系认证，提出重构特征的局部邻域排斥度量学习算法。即通过比较父母面部关键特征与子女面部关键特征之间的欧氏距离,选取欧式距离较小的关键特征作为子女面部关键特征的近似特征。从局部特征的角度入手，分别对各个关键特征进行度量学习，然后利用余弦相似函数求得每对样本对应关键特征的相似度。再次，针对传统的手工特征提取器难以提取高级抽象特征的问题,提出了一种深度卷积神经网络End-to-End模型。通过将成对标记的训练数据输入网络进行迭代优化，卷积层能够提取亲子图像对的隐性特征，全连接层可以将提取的隐性特征映射为亲属关系认证的二分类问题， soft-max分类层能够直接判断该对样本是否具有亲属关系。
然而，现有技术中，利用图像进行亲子关系的判断准确率仍然较低。
发明内容
基于上述研究背景和问题，本申请采用了基于深度学习的图像分类方法，设计出一种准确率更高的亲子关系验证的方法，在实际的应用环境中，通过一对面部图像判断孩子是否与父亲或母亲具有亲属关系，进行自动亲属关系一对一视图识别，以此进行亲子关系判断时准确度较高。
本申请的目的在于提供模型训练方法、亲属关系分类方法、检索方法及相关装置，解决现有技术中利用图像进行亲子关系的判断准确率仍然较低的问题。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种模型训练方法，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练方法包括：获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
该技术方案的有益效果在于：利用第一特征提取模块和第二特征提取模块分别提取训练集中的第一训练图像和第二训练图像对应的第一特征向量、第三特征向量以及第二特征向量、第四特征向量，并进行拼接，得到第一训练图像和第二训练图像对应的拼接信息，并将拼接信息输入全连接层得到预测信息，利用该预测信息和训练集中的标注信息对预设深度神经网络进行训练，得到亲属关系分类模型。由于预测信息是采用两个特征提取模块的输出结果拼接得到的，因此，所得到的预测信息的精度更高，利用该预测信息所训练出的亲属关系分类模型在进行亲属关系分类或检索时，精度也相应更高。
在一些可选实施例中，所述第一特征提取模块采用FaceNet网络，所述第二特征提取模块采用VggFace网络。该技术方案的有益效果在于：FaceNet网络是成熟的人脸识别网络，其运算效率较高，VggFace网络的识别精度更高，利用两种不同的特征提取网络进行特征提取并对提取出的特征向量进行拼接，使得预测信息的获得效率和精度均较高。
在一些可选实施例中，所述第二特征提取模块的特征提取网络包括卷积块和标识块，所述利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量，包括：以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。该技术方案的有益效果在于：利用卷积块获得目标图像的中间特征，将该中间特征输入标识块，获得目标图像对应的特征向量，使得获得的特征向量更加准确。
在一些可选实施例中，所述卷积块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征，包括：通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息；将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到所述目标图像对应的第一加法信息；将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。该技术方案的有益效果在于：利用两个分支得到两种分支信息，然后将两种分支信息输入加法层进行处理得到加法信息，然后将加法信息输入激活层，得到中间特征，由于中间特征是利用两个分支所得到的分支信息进行加性运算最终得到的，减小了单一分支的误差对中间特征的影响，使得获得的中间特征更加准确。
在一些可选实施例中，所述目标图像先后通过所述卷积块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第一分支信息；所述目标图像先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。该技术方案的有益效果在于：提供两种不同结构的第一分支和第二分支，当利用两种不同的第一分支和第二分支获取分支信息时，可以融合两种结构的分支的优点。
在一些可选实施例中，所述标识块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量，包括：通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息；将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息；将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。该技术方案的有益效果在于：利用两个分支得到两种分支信息，然后将两种分支信息输入加法层进行处理得到加法信息，然后将加法信息输入激活层，得到目标图像对应的特征向量，由于目标图像对应的特征向量是利用两个分支所得到的分支信息进行加性运算最终得到的，减小了单一分支的误差对目标图像对应的特征向量的影响，使得获得的目标图像对应的特征向量更加准确。
在一些可选实施例中，所述目标图像对应的中间特征先后通过所述标识块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；所述目标图像对应的中间特征还作为所述目标图像对应的第四分支信息。该技术方案的有益效果在于：将经过多层卷积、标准化和激活所得到的第三分支信息与目标图像对应的中间特征作为的第四分支信息进行融合，确保得到的目标图像对应的特征向量所包含的信息的准确度和全面性。
在一些可选实施例中，所述方法还包括：针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。该技术方案的有益效果在于：对训练图像进行数据增广，能够扩展训练图像的数量，实现对预设深度神经网络进行充分训练的效果。
在一些可选实施例中，所述获取训练集，包括：对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。该技术方案的有益效果在于：满足预设比例条件的正负样本比例更加贴近现实情况，利用该训练集训练得到的亲属关系分类模型更加适用于实际应用。
在一些可选实施例中，所述拼接层采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。该技术方案的有益效果在于：使用对称性的叠加方式使得亲属关系分类模型的识别精度更高。
在一些可选实施例中，所述全连接模块包括第一全连接层和第二全连接层，所述将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，包括：将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息；将所述第一训练图像和所述第二训练图像对应的全连接中间信息输入所述第二全连接层，得到所述第一训练图像和所述第二训练图像对应的预测信息。该技术方案的有益效果在于：利用第一全连接层获得训练图像对应的全连接中间信息，将该全连接中间信息输入第二全连接层，获得训练图像对应的预测信息，使得获得的预测信息更加准确。
在一些可选实施例中，所述预设深度神经网络的损失函数使用交叉熵损失函数。该技术方案的有益效果在于：交叉熵损失函数避免了在对预设深度神经网络进行训练的过程中出现梯度弥散现象。
在一些可选实施例中，所述预设深度神经网络在训练过程中通过小批量梯度下降算法进行优化。该技术方案的有益效果在于：通过小批量梯度下降算法进行优化使得在对预设深度神经网络进行训练的过程中大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果，同时确保了准确度。
在一些可选实施例中，所述获取训练集，包括：获取多个待检索图像和多个家人图像；分别以每个待检索图像作为所述第一训练图像，针对所述第一训练图像，将各所述家人图像分别作为所述第二训练图像，构建所述训练集的多个训练数据；所述利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型，包括：利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，获取所述第一训练图像和所述第二训练图像对应的得分；基于同一所述待检索图像和各所述家人图像对应的得分，获取所述待检索图像对应的最终得分；基于各所述待检索图像对应的最终得分，对所述预设深度神经网络进行训练，得到所述亲属关系分类模型。该技术方案的有益效果在于：将多个待检索图像和多个家人图像分别作为第一训练图像和第二训练图像，构建训练集的多个训练数据，并获取待检索图像对应的最终得分，利用该得分对预设深度神经网络进行训练，得到亲属关系分类模型，提供了具体的获取训练集以及对所述预设深度神经网络进行训练的方法，由于训练集包括了待检索图像和家人，使得依据该训练集所训练得到的亲属关系分类模型能够有效地识别亲属关系。
第二方面，本申请提供一种亲属关系分类方法，所述亲属关系分类方法包括：获取待检索图像和家人图像；将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用上述任一项模型训练方法训练得到的。该技术方案的有益效果在于：利用上述模型训练方法训练得到的亲属关系分类模型进行亲属关系分类，使得亲属关系分类的结果更加准确，亲属关系分类的效率更高。
第三方面，本申请提供一种亲属关系检索方法，所述亲属关系检索方法包括：获取待检索图像和多个家人图像；分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用上述任一项模型训练方法训练得到的。该技术方案的有益效果在于：利用训练得到的亲属关系分类模型预测待检索图像和每个家人图像所对应的人员是否具有亲属关系，使得亲属关系检索的结果更加准确，亲属关系检索的效率更高。
第四方面，本申请提供一种模型训练装置，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练装置包括：训练集获取模块，用于获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；第一提取模块，用于针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；第二提取模块，用于利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；向量拼接模块，用于将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；关系预测模块，用于将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；模型训练模块，用于利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
在一些可选实施例中，所述第一特征提取模块采用FaceNet网络，所述第二特征提取模块采用VggFace网络。
在一些可选实施例中，所述第二特征提取模块的特征提取网络包括卷积块和标识块，所述第二提取模块包括：中间特征单元，用于以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；特征向量单元，用于将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。
在一些可选实施例中，所述卷积块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述中间特征单元包括：第一分支子单元，用于通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息；第一加法子单元，用于将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到所述目标图像对应的第一加法信息；卷积特征子单元，用于将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。
在一些可选实施例中，所述目标图像先后通过所述卷积块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第一分支信息；所述目标图像先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。
在一些可选实施例中，所述标识块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述特征向量单元包括：第二分支子单元，用于通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息；第二加法子单元，用于将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息；标识特征子单元，用于将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。
在一些可选实施例中，所述目标图像对应的中间特征先后通过所述标识块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；所述目标图像对应的中间特征还作为所述目标图像对应的第四分支信息。
在一些可选实施例中，所述模型训练装置还包括：数据增广模块，用于针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。
在一些可选实施例中，所述训练集获取模块包括：数据集划分单元，用于对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。
在一些可选实施例中，所述拼接层采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。
在一些可选实施例中，所述全连接模块包括第一全连接层和第二全连接层，所述关系预测模块包括：全连接信息单元，用于将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息；预测信息单元，用于将所述第一训练图像和所述第二训练图像对应的全连接中间信息输入所述第二全连接层，得到所述第一训练图像和所述第二训练图像对应的预测信息。
在一些可选实施例中，所述预设深度神经网络的损失函数使用交叉熵损失函数。
在一些可选实施例中，所述预设深度神经网络在训练过程中通过小批量梯度下降算法进行优化。
在一些可选实施例中，所述训练集获取模块包括：图像获取单元，用于获取多个待检索图像和多个家人图像；数据构建单元，用于分别以每个待检索图像作为所述第一训练图像，针对所述第一训练图像，将各所述家人图像分别作为所述第二训练图像，构建所述训练集的多个训练数据；所述模型训练模块包括：得分获取单元，用于利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，获取所述第一训练图像和所述第二训练图像对应的得分；最终得分单元，用于基于同一所述待检索图像和各所述家人图像对应的得分，获取所述待检索图像对应的最终得分；训练网络单元，用于基于各所述待检索图像对应的最终得分，对所述预设深度神经网络进行训练，得到所述亲属关系分类模型。
第五方面，本申请提供一种亲属关系分类装置，所述亲属关系分类装置包括：双图获取模块，用于获取待检索图像和家人图像；双图预测模块，用于将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用上述模型训练方法任一项模型训练方法训练得到的。
第六方面，本申请提供一种亲属关系检索装置，所述亲属关系检索装置包括：多图获取模块，用于获取待检索图像和多个家人图像；图像预测模块，用于分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用上述模型训练方法任一项模型训练方法训练得到的。
第七方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项模型训练方法的步骤或上述亲属关系分类方法的步骤或上述亲属关系检索方法的步骤。
第八方面，本申请提供了一种计算机可读存储介质，存储有计算机程序或者亲属关系分类模型，所述计算机程序被处理器执行时实现上述任一项模型训练方法的步骤或上述亲属关系分类方法的步骤或上述亲属关系检索方法的步骤；所述亲属关系分类模型是利用上述任一项模型训练方法训练得到的。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请明的较佳实施例并配合详细附图说明如后。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种模型训练方法的流程示意图；
图2是本申请实施例提供的一种预设深度神经网络结构示意图；
图3是本申请实施例提供的一种亲属关系分类示意图；
图4是本申请实施例提供的一种Squeeze-and-Excitation Module的流程示意图；
图5是本申请实施例提供的一种获取第三第四特征向量的流程示意图；
图6是本申请实施例提供的一种获取中间特征的流程示意图；
图7是本申请实施例提供的一种获取第一第二分支信息的流程示意图；
图8是本申请实施例提供的另一种获取第三第四特征向量的流程示意图；
图9是本申请实施例提供的一种获取第三第四分支信息的流程示意图；
图10是本申请实施例提供的另一种模型训练方法的部分流程示意图；
图11是本申请实施例提供的一种获取预测信息的流程示意图；
图12是本申请实施例提供的一种获取训练集的流程示意图；
图13是本申请实施例提供的一种获取亲属关系分类模型的流程示意图；
图14是本申请实施例提供的一种亲属关系分类方法的流程示意图；
图15是本申请实施例提供的一种亲属关系检索方法的流程示意图；
图16是本申请实施例提供的一种模型训练装置的结构示意图；
图17是本申请实施例提供的一种第二提取模块的结构示意图；
图18是本申请实施例提供的一种中间特征单元的结构示意图；
图19是本申请实施例提供的一种特征向量单元的结构示意图；
图20是本申请实施例提供的另一种模型训练装置的部分结构示意图；
图21是本申请实施例提供的一种关系预测模块的结构示意图；
图22是本申请实施例提供的一种训练集获取模块的结构示意图；
图23是本申请实施例提供的一种模型训练模块的结构示意图；
图24是本申请实施例提供的一种亲属关系分类装置的结构示意图；
图25是本申请实施例提供的一种亲属关系检索装置的结构示意图；
图26是本申请实施例提供的一种电子设备的结构框图；
图27是本申请实施例提供的一种用于实现模型训练方法的程序产品的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参见图1和图2，本申请实施例提供了一种模型训练方法，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练方法可以包括步骤S101～S106。
步骤S101：获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系。
其中，如图3所示，亲属关系具体是指人员之间的血缘关系，例如，图3 中，儿童和父母具有血缘关系、父母和曾祖父母具有血缘关系、兄妹之间具有血缘关系；其中，TBD代表第一训练图像和所述第二训练图像对应的人员的血缘关系待定，NA代表第一训练图像和所述第二训练图像对应的人员没有血缘关系。所述训练数据集可以从预先存储于存储介质中的训练数据获取，也可以由人工手动输入，也可以在云服务器中检索获取。
步骤S102：针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量。
步骤S103：利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量。
步骤S104：将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层(即Co ncatenate)，得到所述第一训练图像和所述第二训练图像对应的拼接信息。
步骤S105：将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果。全连接模块例如可以包括第一全连接层和第二全连接层(即图2中的FC layer 1和FC layer 2)。
步骤S106：利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
由此，利用第一特征提取模块和第二特征提取模块分别提取训练集中的第一训练图像和第二训练图像对应的第一特征向量、第三特征向量以及第二特征向量、第四特征向量，并进行拼接，得到第一训练图像和第二训练图像对应的拼接信息，并将拼接信息输入全连接层得到预测信息，利用该预测信息和训练集中的标注信息对预设深度神经网络进行训练，得到亲属关系分类模型。由于预测信息是采用两个特征提取模块的输出结果拼接得到的，因此，所得到的预测信息的精度更高，利用该预测信息所训练出的亲属关系分类模型在进行亲属关系分类或检索时，精度也相应更高。
继续参见图2，在一些实施方式中，所述第一特征提取模块可以采用FaceN et网络，所述第二特征提取模块可以采用VggFace网络。
FaceNet网络是成熟的人脸识别网络，其运算效率较高，VggFace网络的识别精度更高，利用两种不同的特征提取网络进行特征提取并对提取出的特征向量进行拼接，使得预测信息的获得效率和精度均较高。
在一些实施方式中，可以按照第一预设尺寸将第一训练图像进行尺寸调整后输入FaceNet网络，按照第二预设尺寸将第一训练图像进行尺寸调整后输入Vgg Face网络。
在一具体应用场景中，将儿童图像作为第一训练图像，将儿童母亲的图像作为第二训练图像，对第一训练图像和第二训练图像进行尺寸调整，分别调整为1 60*160后输入FaceNet网络以及分别调整为224*224后输入VggFace网络，通过FaceNet可以得到第一训练图像对应的特征向量x1、第二训练图像对应的特征向量x2，通过VggFace可以得到第一训练图像对应的特征向量x3、第二训练图像对应的特征向量x4；将以上4种特征向量进行拼接，拼接的方式为：(x1+x 2)^2，(x1-x2)^2，(x1*x2)，(x1+x2)，,(x3+x4)^2，(x3–x4)^2，(x3 *x4)，(x3+x4)，上述拼接方式均为对称性拼接；将拼接后的特征向量通过两层全连接层输出第一训练图像和第二训练图像对应的人员是否具有亲属关系的预测结果。
参见图4，在一些实施方式中，VggFace网络使用SeNet50，SeNet50是基于ResNet50改进的一个网络，相对于VGG16，它不仅通过残差结构解决了网络因为深度的增加导致的梯度消失和梯度爆炸的问题，使用全局池化操作而不是全连接密集层，让模型的尺寸更小，还可以通过Squeeze-and-Excitation Module来获取每个特征通道的重要程度，然后依照这个重要程度去提升对当前的特征提取任务作用较大的部分特征的重要性，并且抑制对当前的特征提取任务作用较小的部分特征的影响。
在一具体应用场景中，Squeeze-and-Excitation Module的第一步是Squeeze 操作，顺着空间维度来进行特征压缩，将每个二维的通道变成一个实数，从某种程度上这个实数具有全局的感受野；其次是Excitation操作，它是一个类似于循环神经网络中门的机制，通过参数w来为每个特征通道生成权重；最后是Rewe ight操作，将Excitation输出的权重看做是经过特征选择后的每个特种通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的原始特征的重标定。
参见图5，在一些实施方式中，所述第二特征提取模块的特征提取网络可以包括卷积块和标识块，所述步骤S103包括步骤S201～S202。
步骤S201：以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征。
步骤S202：将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。
由此，利用卷积块获得目标图像的中间特征，将该中间特征输入标识块，获得目标图像对应的特征向量，使得获得的特征向量更加准确。
参见图6，在一些实施方式中，所述卷积块可以包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述步骤S201可以包括步骤S301～S303。
步骤S301：通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息。
步骤S302：将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到所述目标图像对应的第一加法信息。
步骤S303：将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。
由此，利用两个分支得到两种分支信息，然后将两种分支信息输入加法层进行处理得到加法信息，然后将加法信息输入激活层，得到中间特征，由于中间特征是利用两个分支所得到的分支信息进行加性运算最终得到的，减小了单一分支的误差对中间特征的影响，使得获得的中间特征更加准确。
参见图7，在一些实施方式中，所述目标图像可以先后通过所述卷积块的第一分支(即Senet_Conv_Block)的第一卷积层(即Conv 2d)、第一批标准化层 (即BatchNorm)、第一激活层(即Relu)、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块(即SE Module)，得到所述目标图像对应的第一分支信息；所述目标图像可以先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。
由此，提供两种不同结构的第一分支和第二分支，当利用两种不同的第一分支和第二分支获取分支信息时，可以融合两种结构的分支的优点。
参见图8，在一些实施方式中，所述标识块可以包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述步骤S202可以包括步骤S401～S403。
步骤S401：通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息。
步骤S402：将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息。
步骤S403：将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。
由此，利用两个分支得到两种分支信息，然后将两种分支信息输入加法层进行处理得到加法信息，然后将加法信息输入激活层，得到目标图像对应的特征向量，由于目标图像对应的特征向量是利用两个分支所得到的分支信息进行加性运算最终得到的，减小了单一分支的误差对目标图像对应的特征向量的影响，使得获得的目标图像对应的特征向量更加准确。
参见图9，在一些实施方式中，所述目标图像对应的中间特征可以先后通过所述标识块的第一分支(即Senet_Identity_Block)的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；所述目标图像对应的中间特征还可以作为所述目标图像对应的第四分支信息。
由此，将经过多层卷积、标准化和激活所得到的第三分支信息与目标图像对应的中间特征作为的第四分支信息进行融合，确保得到的目标图像对应的特征向量所包含的信息的准确度和全面性。
参见图10，在一些实施方式中，所述方法还可以包括步骤S107：针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。
由此，对训练图像进行数据增广，能够扩展训练图像的数量，实现对预设深度神经网络进行充分训练的效果。
在一些实施方式中，所述步骤S101包括可以步骤S501：对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。
满足预设比例条件的正负样本比例更加贴近现实情况，利用该训练集训练得到的亲属关系分类模型更加适用于实际应用。
在一些实施方式中，所述拼接层可以采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。
由此，使用对称性的叠加方式使得亲属关系分类模型的识别精度更高。
参见图11，在一些实施方式中，所述全连接模块可以包括第一全连接层和第二全连接层，所述步骤S105可以包括步骤S601～S602。
步骤S601：将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息。
步骤S602：将所述第一训练图像和所述第二训练图像对应的全连接中间信息输入所述第二全连接层，得到所述第一训练图像和所述第二训练图像对应的预测信息。
由此，利用第一全连接层获得训练图像对应的全连接中间信息，将该全连接中间信息输入第二全连接层，获得训练图像对应的预测信息，使得获得的预测信息更加准确。
在一些实施方式中，所述预设深度神经网络的损失函数可以使用交叉熵损失函数。
由此，交叉熵损失函数避免了在对预设深度神经网络进行训练的过程中出现梯度弥散现象。
在一具体应用场景中，交叉熵损失函数的计算公式为：
其中，Lce代表交叉熵损失值，i代表具体的每一个训练数据的序号(即训练集中的具体的每一个训练数据的序号)，qi代表第一训练图像和第二训练图像对应的人员是否具有亲属关系的真实概率分布，Pi代表第一训练图像和第二训练图像对应的人员是否具有亲属关系的预测概率分布，y代表第一训练图像和第二训练图像对应的人员是否具有亲属关系的真实结果，N代表总的训练数据数量(即训练集中的训练数据的总量)。
在一些实施方式中，所述预设深度神经网络在训练过程中可以通过小批量梯度下降算法进行优化。
由此，通过小批量梯度下降算法进行优化使得在对预设深度神经网络进行训练的过程中大大减小收敛所需要的迭代次数，同时可以使收敛到的结果更加接近梯度下降的效果，同时确保了准确度。
参见图12，在一些实施方式中，所述步骤S101可以包括步骤S701～S702。
步骤S701：获取多个待检索图像和多个家人图像。
步骤S702：分别以每个待检索图像作为所述第一训练图像，针对所述第一训练图像，将各所述家人图像分别作为所述第二训练图像，构建所述训练集的多个训练数据。
参见图13，所述步骤S106可以包括步骤S801～S803。
步骤S801：利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，获取所述第一训练图像和所述第二训练图像对应的得分。
步骤S802：基于同一所述待检索图像和各所述家人图像对应的得分，获取所述待检索图像对应的最终得分。
步骤S803：基于各所述待检索图像对应的最终得分，对所述预设深度神经网络进行训练，得到所述亲属关系分类模型。
由此，将多个待检索图像和多个家人图像分别作为第一训练图像和第二训练图像，构建训练集的多个训练数据，并获取待检索图像对应的最终得分，利用该得分对预设深度神经网络进行训练，得到亲属关系分类模型，提供了具体的获取训练集以及对所述预设深度神经网络进行训练的方法，由于训练集包括了待检索图像和家人，使得依据该训练集所训练得到的亲属关系分类模型能够有效的识别亲属关系。
参见图14，本申请实施例还提供一种亲属关系分类方法，所述亲属关系分类方法可以包括步骤S901～S902。
步骤S901：获取待检索图像和家人图像。
步骤S902：将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用本申请实施例提供的任一项模型训练方法训练得到的。
由此，利用本申请实施例提供的模型训练方法训练得到的亲属关系分类模型进行亲属关系分类，使得亲属关系分类的结果更加准确，亲属关系分类的效率更高。
参见图15，本申请实施例还提供一种亲属关系检索方法，所述亲属关系检索方法可以包括步骤S1001～S1002。
步骤S1001：获取待检索图像和多个家人图像。
步骤S1002：分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用本申请实施例提供的任一项模型训练方法训练得到的。
由此，利用本申请实施例提供的模型训练方法训练得到的亲属关系分类模型预测待检索图像和每个家人图像所对应的人员是否具有亲属关系，使得亲属关系检索的结果更加准确，亲属关系检索的效率更高。
参见图16，本申请实施例还提供了一种模型训练装置，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练装置可以包括：101，用于获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；第一提取模块102，用于针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；第二提取模块103，用于利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；向量拼接模块104，用于将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；关系预测模块105，用于将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；模型训练模块106，用于利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。其具体实现方式与上述模型训练方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
在一些实施方式中，所述第一特征提取模块可以采用FaceNet网络，所述第二特征提取模块可以采用VggFace网络。
参见图17，在一些实施方式中，所述第二特征提取模块的特征提取网络可以包括卷积块和标识块，所述第二提取模块103可以包括：中间特征单元201，用于以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；特征向量单元2 02，用于将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。
参见图18，在一些实施方式中，所述卷积块可以包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述中间特征单元201可以包括：第一分支子单元301，用于通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息；第一加法子单元302，用于将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到所述目标图像对应的第一加法信息；卷积特征子单元303，用于将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。
在一些实施方式中，所述目标图像可以先后通过所述卷积块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第一分支信息；所述目标图像可以先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。
参见图19，在一些实施方式中，所述标识块可以包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述特征向量单元202可以包括：第二分支子单元401，用于通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息；第二加法子单元402，用于将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息；标识特征子单元403，用于将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。
在一些实施方式中，所述目标图像对应的中间特征可以先后通过所述标识块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；所述目标图像对应的中间特征还可以作为所述目标图像对应的第四分支信息。
参见图20，在一些实施方式中，所述模型训练装置还可以包括：数据增广模块107，用于针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。
在一些实施方式中，所述训练集获取模块101可以包括：数据集划分单元5 01，用于对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。
在一些实施方式中，所述拼接层可以采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。
参见图21，在一些实施方式中，所述全连接模块可以包括第一全连接层和第二全连接层，所述关系预测模块105可以包括：全连接信息单元601，用于将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息；预测信息单元602，用于将所述第一训练图像和所述第二训练图像对应的全连接中间信息输入所述第二全连接层，得到所述第一训练图像和所述第二训练图像对应的预测信息。
在一些实施方式中，所述预设深度神经网络的损失函数可以使用交叉熵损失函数。
在一些实施方式中，所述预设深度神经网络在训练过程中可以通过小批量梯度下降算法进行优化。
参见图22，在一些实施方式中，所述训练集获取模块101可以包括：图像获取单元701，用于获取多个待检索图像和多个家人图像；数据构建单元702，用于分别以每个待检索图像作为所述第一训练图像，针对所述第一训练图像，将各所述家人图像分别作为所述第二训练图像，构建所述训练集的多个训练数据；参见图23，所述模型训练模块106可以包括：得分获取单元801，用于利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，获取所述第一训练图像和所述第二训练图像对应的得分；最终得分单元802，用于基于同一所述待检索图像和各所述家人图像对应的得分，获取所述待检索图像对应的最终得分；训练网络单元803，用于基于各所述待检索图像对应的最终得分，对所述预设深度神经网络进行训练，得到所述亲属关系分类模型。
参见图24，本申请实施例还提供一种亲属关系分类装置，所述亲属关系分类装置可以包括：双图获取模块901，用于获取待检索图像和家人图像；双图预测模块902，用于将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用本申请实施例提供的任一项模型训练方法训练得到的。其具体实现方式与上述亲属关系分类方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
参见图25，本申请实施例还提供了一种亲属关系检索装置，所述亲属关系检索装置可以包括：多图获取模块1001，用于获取待检索图像和多个家人图像；图像预测模块1002，用于分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；其中，所述亲属关系分类模型是利用本申请实施例提供的任一项模型训练方法训练得到的。其具体实现方式与上述亲属关系检索方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
参见图26，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(R AM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行所述计算机程序时实现上述任一项模型训练方法的步骤或上述亲属关系分类方法的步骤或上述亲属关系检索方法的步骤。其具体实现方式与上述模型训练方法、亲属关系分类方法或亲属关系检索方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/ 或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(L AN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序或亲属关系分类模型，所述计算机程序被执行时实现上述任一项模型训练方法的步骤或上述亲属关系分类方法的步骤或上述亲属关系检索方法的步骤；所述亲属关系分类模型是利用上述任一项模型训练方法训练得到的。
图27示出了本实施例提供的用于实现上述模型训练方法的程序产品300，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本申请的程序产品300不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表) 包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims (21)

1.一种模型训练方法，其特征在于，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练方法包括：
获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；
针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；
利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；
将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；
将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；
利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
2.根据权利要求1所述的模型训练方法，其特征在于，所述第一特征提取模块采用FaceNet网络，所述第二特征提取模块采用VggFace网络。
3.根据权利要求2所述的模型训练方法，其特征在于，所述第二特征提取模块的特征提取网络包括卷积块和标识块，所述利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量，包括：
以所述训练数据的第一训练图像和第二训练图像分别作为目标图像，利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征；
将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量；
其中，当所述目标图像是所述第一训练图像时，所述目标图像对应的特征向量即所述第一训练图像对应的第三特征向量；当所述目标图像是所述第二训练图像时，所述目标图像对应的特征向量即所述第二训练图像对应的第四特征向量。
4.根据权利要求3所述的模型训练方法，其特征在于，所述卷积块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述利用所述目标图像和所述卷积块，获取所述目标图像对应的中间特征，包括：
通过所述卷积块的输入层将所述目标图像分别输入所述卷积块的第一分支和第二分支，得到所述目标图像对应的第一分支信息和第二分支信息；
将所述目标图像对应的第一分支信息和第二分支信息输入所述卷积块的加法层，得到所述目标图像对应的第一加法信息；
将所述目标图像对应的第一加法信息输入所述卷积块的激活层，得到所述目标图像对应的中间特征并通过所述卷积块的输出层输出。
5.根据权利要求4所述的模型训练方法，其特征在于，所述目标图像先后通过所述卷积块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第一分支信息；
所述目标图像先后通过所述卷积块的第二分支的卷积层和批标准化层，得到所述目标图像对应的第二分支信息。
6.根据权利要求3所述的模型训练方法，其特征在于，所述标识块包括输入层、第一分支、第二分支、加法层、激活层和输出层，所述将所述目标图像对应的中间特征输入所述标识块，得到所述目标图像对应的特征向量，包括：
通过所述标识块的输入层将所述目标图像对应的中间特征分别输入所述标识块的第一分支和第二分支，得到所述目标图像对应的第三分支信息和第四分支信息；
将所述目标图像对应的第三分支信息和第四分支信息输入所述标识块的加法层，得到所述目标图像对应的第二加法信息；
将所述目标图像对应的第二加法信息输入所述标识块的激活层，得到所述目标图像对应的特征向量并通过所述标识块的输出层输出。
7.根据权利要求6所述的模型训练方法，其特征在于，所述目标图像对应的中间特征先后通过所述标识块的第一分支的第一卷积层、第一批标准化层、第一激活层、第二卷积层、第二批标准化层、第二激活层、第三卷积层、第三批标准化层和SE模块，得到所述目标图像对应的第三分支信息；
所述目标图像对应的中间特征还作为所述目标图像对应的第四分支信息。
8.根据权利要求1所述的模型训练方法，其特征在于，所述方法还包括：
针对至少一个所述训练图像，对所述训练图像进行数据增广，得到所述训练图像对应的增广图像并放入所述训练集作为新的训练图像。
9.根据权利要求1所述的模型训练方法，其特征在于，所述获取训练集，包括：
对数据集进行划分，得到所述训练集，以使所述训练集中正样本与负样本的比例满足预设比例条件。
10.根据权利要求1所述的模型训练方法，其特征在于，所述拼接层采用具有对称性的叠加方式对所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量进行拼接，得到所述第一训练图像和所述第二训练图像对应的拼接信息。
11.根据权利要求1所述的模型训练方法，其特征在于，所述全连接模块包括第一全连接层和第二全连接层，所述将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，包括：
将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述第一全连接层，得到所述第一训练图像和所述第二训练图像对应的全连接中间信息；
将所述第一训练图像和所述第二训练图像对应的全连接中间信息输入所述第二全连接层，得到所述第一训练图像和所述第二训练图像对应的预测信息。
12.根据权利要求1所述的模型训练方法，其特征在于，所述预设深度神经网络的损失函数使用交叉熵损失函数。
13.根据权利要求1所述的模型训练方法，其特征在于，所述预设深度神经网络在训练过程中通过小批量梯度下降算法进行优化。
14.根据权利要求1所述的模型训练方法，其特征在于，所述获取训练集，包括：
获取多个待检索图像和多个家人图像；
分别以每个待检索图像作为所述第一训练图像，针对所述第一训练图像，将各所述家人图像分别作为所述第二训练图像，构建所述训练集的多个训练数据；
所述利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型，包括：
利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，获取所述第一训练图像和所述第二训练图像对应的得分；
基于同一所述待检索图像和各所述家人图像对应的得分，获取所述待检索图像对应的最终得分；
基于各所述待检索图像对应的最终得分，对所述预设深度神经网络进行训练，得到所述亲属关系分类模型。
15.一种亲属关系分类方法，其特征在于，所述亲属关系分类方法包括：
获取待检索图像和家人图像；
将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；
其中，所述亲属关系分类模型是利用权利要求1-14任一项模型训练方法训练得到的。
16.一种亲属关系检索方法，其特征在于，所述亲属关系检索方法包括：
获取待检索图像和多个家人图像；
分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；
其中，所述亲属关系分类模型是利用权利要求1-14任一项模型训练方法训练得到的。
17.一种模型训练装置，其特征在于，用于对预设深度神经网络进行训练，所述预设深度神经网络包括第一特征提取模块、第二特征提取模块、拼接层和全连接模块，所述模型训练装置包括：
训练集获取模块，用于获取训练集，所述训练集中的每个训练数据包括第一训练图像、第二训练图像和标注信息，所述第一训练图像和所述第二训练图像对应的标注信息用于指示所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系；
第一提取模块，用于针对每个所述训练数据，利用所述训练数据的第一训练图像、第二训练图像和所述第一特征提取模块，获取所述第一训练图像对应的第一特征向量和所述第二训练图像对应的第二特征向量；
第二提取模块，用于利用所述训练数据的第一训练图像、第二训练图像和所述第二特征提取模块，获取所述第一训练图像对应的第三特征向量和所述第二训练图像对应的第四特征向量；
向量拼接模块，用于将所述第一训练图像对应的第一特征向量、第三特征向量以及所述第二训练图像对应的第二特征向量、第四特征向量输入所述拼接层，得到所述第一训练图像和所述第二训练图像对应的拼接信息；
关系预测模块，用于将所述第一训练图像和所述第二训练图像对应的拼接信息输入所述全连接模块，得到所述第一训练图像和所述第二训练图像对应的预测信息，所述第一训练图像和所述第二训练图像对应的预测信息是所述第一训练图像和所述第二训练图像对应的人员是否具有亲属关系的预测结果；
模型训练模块，用于利用所述第一训练图像和所述第二训练图像对应的预测信息和标注信息，对所述预设深度神经网络进行训练，得到亲属关系分类模型。
18.一种亲属关系分类装置，其特征在于，所述亲属关系分类装置包括：
双图获取模块，用于获取待检索图像和家人图像；
双图预测模块，用于将所述待检索图像和所述家人图像输入亲属关系分类模型，得到所述待检索图像和所述家人图像对应的预测信息，所述待检索图像和所述家人图像对应的预测信息是所述待检索图像和所述家人图像对应的人员是否具有亲属关系的预测结果；
其中，所述亲属关系分类模型是利用权利要求1-14任一项模型训练方法训练得到的。
19.一种亲属关系检索装置，其特征在于，所述亲属关系检索装置包括：
多图获取模块，用于获取待检索图像和多个家人图像；
图像预测模块，用于分别以各所述家人图像作为待验证图像，将所述待检索图像和所述待验证图像输入亲属关系分类模型，得到所述待检索图像和所述待验证图像对应的预测信息，所述待检索图像和所述待验证图像对应的预测信息是所述待检索图像和所述待验证图像对应的人员是否具有亲属关系的预测结果；
其中，所述亲属关系分类模型是利用权利要求1-14任一项模型训练方法训练得到的。
20.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-14任一项所述模型训练方法的步骤、权利要求15所述亲属关系分类方法的步骤或者权利要求16所述亲属关系检索方法的步骤。
21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序或者亲属关系分类模型；
所述计算机程序被处理器执行时实现权利要求1-14任一项所述模型训练方法的步骤、权利要求15所述亲属关系分类方法的步骤或者权利要求16所述亲属关系检索方法的步骤；
所述亲属关系分类模型是利用权利要求1-14任一项模型训练方法训练得到的。
CN202110997750.0A 2021-08-27 2021-08-27 模型训练方法、亲属关系分类方法、检索方法及相关装置 Active CN113869366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110997750.0A CN113869366B (zh) 2021-08-27 2021-08-27 模型训练方法、亲属关系分类方法、检索方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110997750.0A CN113869366B (zh) 2021-08-27 2021-08-27 模型训练方法、亲属关系分类方法、检索方法及相关装置

Publications (2)

Publication Number Publication Date
CN113869366A CN113869366A (zh) 2021-12-31
CN113869366B true CN113869366B (zh) 2024-05-28

Family

ID=78988701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110997750.0A Active CN113869366B (zh) 2021-08-27 2021-08-27 模型训练方法、亲属关系分类方法、检索方法及相关装置

Country Status (1)

Country Link
CN (1) CN113869366B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081615A (zh) * 2022-05-31 2022-09-20 华为技术有限公司 一种神经网络的训练方法、数据的处理方法以及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN109740536A (zh) * 2018-06-12 2019-05-10 北京理工大学 一种基于特征融合神经网络的亲属识别方法
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN109344759A (zh) * 2018-06-12 2019-02-15 北京理工大学 一种基于角度损失神经网络的亲属识别方法
CN109740536A (zh) * 2018-06-12 2019-05-10 北京理工大学 一种基于特征融合神经网络的亲属识别方法
CN111984812A (zh) * 2020-08-05 2020-11-24 沈阳东软智能医疗科技研究院有限公司 一种特征提取模型生成方法、图像检索方法、装置及设备
CN112070153A (zh) * 2020-09-07 2020-12-11 深延科技(北京)有限公司 基于深度学习的亲属关系验证方法和系统

Also Published As

Publication number Publication date
CN113869366A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN109214343B (zh) 用于生成人脸关键点检测模型的方法和装置
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
CN108205655B (zh) 一种关键点预测方法、装置、电子设备及存储介质
US12008810B2 (en) Video sequence selection method, computer device, and storage medium
CN106951484B (zh) 图片检索方法及装置、计算机设备及计算机可读介质
CN111460248B (zh) 用于线上到线下服务的系统和方法
WO2019214453A1 (zh) 一种内容分享系统、方法、标注方法、服务器及终端设备
CN110263218B (zh) 视频描述文本生成方法、装置、设备和介质
CN113792207A (zh) 一种基于多层次特征表示对齐的跨模态检索方法
CN113408570A (zh) 一种基于模型蒸馏的图像类别识别方法、装置、存储介质及终端
CN110781413A (zh) 兴趣点确定方法及装置、存储介质、电子设备
WO2024083121A1 (zh) 一种数据处理方法及其装置
CN115512005A (zh) 一种数据处理方法及其装置
CN113177559A (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113869366B (zh) 模型训练方法、亲属关系分类方法、检索方法及相关装置
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN109829431B (zh) 用于生成信息的方法和装置
CN112052865A (zh) 用于生成神经网络模型的方法和装置
CN117033609B (zh) 文本视觉问答方法、装置、计算机设备和存储介质
CN111429414B (zh) 基于人工智能的病灶影像样本确定方法和相关装置
CN117392488A (zh) 一种数据处理方法、神经网络及相关设备
CN116959098A (zh) 一种基于双粒度三模态度量学习的行人重识别方法及系统
CN116958852A (zh) 视频与文本的匹配方法、装置、电子设备和存储介质
CN112861474B (zh) 一种信息标注方法、装置、设备及计算机可读存储介质
CN115222047A (zh) 一种模型训练方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant