CN113469221A - 身份识别模型的训练方法和身份识别方法以及相关设备 - Google Patents

身份识别模型的训练方法和身份识别方法以及相关设备 Download PDF

Info

Publication number
CN113469221A
CN113469221A CN202110642628.1A CN202110642628A CN113469221A CN 113469221 A CN113469221 A CN 113469221A CN 202110642628 A CN202110642628 A CN 202110642628A CN 113469221 A CN113469221 A CN 113469221A
Authority
CN
China
Prior art keywords
feature vector
human body
sequence
key point
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110642628.1A
Other languages
English (en)
Other versions
CN113469221B (zh
Inventor
冯世灵
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202110642628.1A priority Critical patent/CN113469221B/zh
Priority claimed from CN202110642628.1A external-priority patent/CN113469221B/zh
Publication of CN113469221A publication Critical patent/CN113469221A/zh
Application granted granted Critical
Publication of CN113469221B publication Critical patent/CN113469221B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种身份识别模型的训练方法、身份识别方法、电子设备和计算机可读存储介质，所述训练方法先获取人体关键点序列和人体轮廓序列，然后将其输入交互模型中，获得表征人体部位运动信息的第一特征向量、表征人体体型信息的第二特征向量和表征人体关键点运动信息的第三特征向量，再利用这些特征向量调整交互模型的参数，以优化身份识别模型。可见，本申请在获取特征向量时，充分利用了人体关键点特征和人体轮廓特征的交互关系，而且针对更有表达性的人体部位运动信息进行了特征提取，从而互相增强各特征的表征能力，使得利用本申请训练方法训练得到的身份识别模型时，能够提升身份识别的准确性和识别效果。

Description

身份识别模型的训练方法和身份识别方法以及相关设备
技术领域
本申请涉及计算机视觉技术领域，特别是涉及一种身份识别模型的训练方法、身份识别方法、电子设备和计算机可读存储介质。
背景技术
随着计算机视觉技术的发展，计算机视觉技术越来越多地被用于进行身份识别。例如通过对图像序列进行人体轮廓特征提取，然后基于卷积神经网络提取人体运动信息，或者是将轮廓序列融合为一张图片，并基于卷积神经网络提取人体的静态和动态特征，进而利用人体运动信息或者静态和动态特征进行身份识别。又例如对图像序列进行人体关键点特征提取，然后基于卷积神经网络获取人体运动信息，进而进行身份识别。但是利用人体轮廓特征时并未针对更有表达性的人体局部部位进行特征提取，利用人体关键点特征时并未结合人体轮廓特征，使得身份识别的准确性不高，识别效果较差。
发明内容
本申请主要解决的技术问题是提供一种身份识别模型的训练方法、身份识别方法、电子设备和计算机可读存储介质，能够提升身份识别的准确性和识别效果。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种身份识别模型的训练方法，包括：
构建身份识别模型，所述身份识别模型包括人体关键点网络模型、分割模型和交互模型；
利用所述人体关键点网络模型对多个训练图像进行人体关键点提取以获得人体关键点序列，以及利用所述分割模型对所述多个训练图像进行分割以获得人体轮廓序列；
利用所述人体关键点序列和所述人体轮廓序列，基于所述交互模型，获得第一特征向量、第二特征向量和第三特征向量；其中，所述第一特征向量表征人体部位的运动信息，所述第二特征向量表征人体的体型信息，所述第三特征向量表征所述人体关键点的运动信息；
利用所述第一特征向量、所述第二特征向量和所述第三特征向量调整所述交互模型的参数，以优化所述身份识别模型。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种身份识别方法，包括：
将待识别图像序列输入身份识别模型，以获取第一特征向量、第二特征向量和第三特征向量，其中，所述身份识别模型是根据上述技术方案所述的训练方法训练得到的；
分别获取所述第一特征向量、所述第二特征向量和所述第三特征向量与标准向量库中每个标准向量的相似度，其中，一个所述标准向量代表一个身份；
根据所有所述相似度获取所述待识别图像序列的身份识别结果。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种电子设备，包括存储器和处理器，所述存储器存储有程序指令，所述处理器能够执行所述程序指令，以实现上述技术方案所述的身份识别模型的训练方法，或者上述技术方案所述的身份识别方法。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种计算机可读存储介质，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行，以实现上述技术方案所述的身份识别模型的训练方法，或者上述技术方案所述的身份识别方法。
本申请的有益效果是：区别于现有技术的情况，本申请在训练身份识别模型时，先获取人体关键点序列和人体轮廓序列，然后将其输入交互模型中，获得表征人体部位运动信息的第一特征向量、表征人体体型信息的第二特征向量和表征人体关键点运动信息的第三特征向量，再利用这些特征向量调整交互模型的参数，以优化身份识别模型。可见，本申请在获取特征向量时，充分利用了人体关键点特征和人体轮廓特征的交互关系，而且针对更有表达性的人体部位运动信息进行了特征提取，从而互相增强各特征的表征能力，使得利用本申请训练方法训练得到的身份识别模型时，能够提升身份识别的准确性和识别效果。
附图说明
为了更清楚地说明本申请实施方式中的技术方案，下面将对实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1为本申请身份识别模型的训练方法一实施方式的流程示意图；
图2为身份识别模型一实施方式的结构示意图；
图3为图1中步骤S14一实施方式的流程示意图；
图4为图1中步骤S13一实施方式的流程示意图；
图5为第一子网络一实施方式的结构示意图；
图6为图1中步骤S13另一实施方式的流程示意图；
图7为图6中步骤S43一实施方式的流程示意图；
图8为第二子网络一实施方式的结构示意图；
图9为获取权重一实施方式的流程示意图；
图10为本申请身份识别方法一实施方式的流程示意图；
图11为图10中步骤S72一实施方式的流程示意图；
图12为本申请电子设备一实施方式的结构示意图；
图13为本申请计算机可读存储介质一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施方式，都属于本申请保护的范围。
请参阅图1，图1为本申请身份识别模型的训练方法一实施方式的流程示意图，该训练方法包括如下步骤。
步骤S11，构建身份识别模型，该身份识别模型包括人体关键点网络模型、分割模型和交互模型。
请参阅图2，图2为身份识别模型一实施方式的结构示意图，其中，人体关键点网络模型101和分割模型102的输出作为交互模型103的输入。
步骤S12，利用人体关键点网络模型对多个训练图像进行人体关键点提取以获得人体关键点序列，以及利用分割模型对多个训练图像进行分割以获得人体轮廓序列。
其中，人体关键点网络模型101包括但不限于Openpose、HRnet等模型，可以对训练图像中的单个人体或者多个人体进行特征提取，获得人体关键点序列，例如人体的鼻子、脖子、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳朵、左耳朵等关键点。
分割模型102包括但不限于Pspnet、Bisenet等模型，可以将训练图像中的人体区域和背景区域进行特征提取，生成人体二值轮廓图，例如人体区域用白色表示，背景区域用黑色表示，从而获得人体轮廓序列。
步骤S13，利用人体关键点序列和人体轮廓序列，基于交互模型，获得第一特征向量、第二特征向量和第三特征向量；其中，第一特征向量表征人体部位的运动信息，第二特征向量表征人体的体型信息，第三特征向量表征人体关键点的运动信息。
分别获得人体关键点序列和人体轮廓序列之后，可以结合利用这两者，从而充分利用人体关键点特征和人体轮廓特征的交互关系，互相增强各特征的表征能力。
请继续参阅图2，交互模型103包括第一子网络1031、第二子网络1032和第三子网络1033，其中，第一子网络1031用于交互利用人体关键点序列和人体轮廓序列获得第一特征向量，第二子网络1032用于交互利用人体关键点序列和人体轮廓序列获得第二特征向量，第三子网络1033用于利用人体关键点序列获得第三特征向量。
具体地，第一子网络1031结合利用人体关键点序列和人体轮廓序列，获得与关键点对应的人体局部部位特征，再获取表征人体部位的运动信息，从而获得第一特征向量。第二子网络1032将人体轮廓序列池化融合为一个特征图，具体池化融合过程与人体关键点序列相关，从而获得表征人体体型信息的第二特征向量。具体过程将在下面描述。
第三子网络1033包括但不限于GaitGraph模型，为图卷积神经网络模型，可利用人体关键点序列进行步态运动信息提取，表征人体关键点的运动信息。步态是指人体步行时的姿态和行动特征，对于同一个人具有稳定、重复性高等特征，人体通过髋、膝、踝、足及躯干与上肢的一系列活动，使身体沿一定方向移动，这些部位至少部分与人体关键点序列中的关键点对应，从而可基于GaitGraph等模型，利用多个训练图像的人体关键点序列获得各关键点的时序信息，从而获得表征人体关键点运动信息的第三特征向量。
步骤S14，利用第一特征向量、第二特征向量和第三特征向量调整交互模型的参数，以优化身份识别模型。
利用交互模型获得表征训练图像不同特征的第一特征向量、第二特征向量和第三特征向量之后，可计算其损失值，根据损失值调整优化交互模型的网络参数，并不断重复上述过程，使交互模型生成的第一特征向量、第二特征向量和第三特征向量更能表征训练图像中的人体特征，提高身份识别模型的鲁棒性。
在一个实施方式中，请参阅图3，图3为图1中步骤S14一实施方式的流程示意图，可通过如下步骤调整交互模型的参数。
步骤S21，分别获取第一特征向量、第二特征向量和第三特征向量对应的损失值。
获取到第一特征向量、第二特征向量和第三特征向量之后，分别获取各自的损失值。具体可通过三元组损失函数计算损失值，以第一特征向量为例，通过不断调整，使与第一特征向量正相关训练图像的特征向量越来越靠近第一特征向量，与第一特征向量负相关训练图像的特征向量越来越远离第一特征向量。具体可参阅现有技术中三元组损失函数相关内容，此处不再赘述。
步骤S22，利用所有损失值的和值，基于反向传播算法，调整交互模型的参数。
分别获得第一特征向量、第二特征向量和第三特征向量对应的损失值之后，将所有损失值相加，再基于反向传播算法进行损失各值的反向传播，完成交互模型的参数调整，从而完成身份识别模型的训练。
本实施方式在获取特征向量时，充分利用了人体关键点特征和人体轮廓特征的交互关系，而且针对更有表达性的人体部位运动信息进行了特征提取，从而互相增强各特征的表征能力，使得利用本申请训练方法训练得到的身份识别模型时，能够提升身份识别的准确性和识别效果。
在一个实施方式中，请参阅图4，图4为图1中步骤S13一实施方式的流程示意图，利用人体关键点序列和人体轮廓序列，基于第一子网络，获得第一特征向量的步骤，包括：
步骤S31，利用与人体轮廓对应的关键点，将每个人体轮廓转换为多个人体部位轮廓。
对应同一个训练图像的人体关键点和人体轮廓具有对应关系，即各关键点与人体轮廓中的人体部位对应，因此可先对人体关键点坐标进行高斯化处理，获得各关键点的高斯模糊化图，然后将所有高斯模糊化图映射至对应的人体轮廓，并从人体轮廓中截取各关键点对应的人体部位轮廓，从而将每个人体轮廓转换为多个人体部位轮廓。
步骤S32，利用所有人体部位轮廓，基于第一子网络，获得第一特征向量。
请结合图2参阅图5，图5为第一子网络一实施方式的结构示意图，获得多个人体部位轮廓之后，将其输入第一子网络1031，提取各人体部位的时序信息，从而获得表征人体部位运动信息的第一特征向量。具体地，第一子网络中的3D卷积层(3D_Conv)进行特征提取，输入池化层(Pooling)，池化层将多帧部位轮廓图融合为一帧部位轮廓图，并按照水平方向求每一行的最大值和平均值，进一步降维，再将每一行的特征值输入全连接层(FC)，将该特征映射至判别空间，输出第一特征向量。其中3D卷积层的数量可以根据实际需求进行调整。
在其他实施方式中，也可以使用2D卷积神经网络提取特征后将特征压缩至一维，利用LSTM、RNN等模型等进行时序建模，有针对性地提取基于人体轮廓序列的局部部位运动信息。
本实施方式结合利用人体关键点序列和人体轮廓序列，有针对性地提取了人体局部部位的运动信息，从而获取表征人体部位运动信息的第一特征向量，增强了第一特征向量的表征能力。
在一个实施方式中，请参阅图6，图6为图1中步骤S13另一实施方式的流程示意图，可通过如下步骤获得第二特征向量。
步骤S41，利用人体关键点网络模型获取训练图像的热力图，热力图由训练图像中各关键点的高斯模糊化图拼接形成。
人体关键点网络模型的中间层为热力图，表现为训练图像中各关键点的高斯模糊化图拼接而成，在获取第二特征向量之前，先获取训练图像的热力图。
步骤S42，利用热力图和对应的人体轮廓，获取每个训练图像对应的合并图。
获取热力图之后，将热力图和对应同一训练图像的人体轮廓按照人体部位对齐并进行合并，以获取合并图，组成更丰富的特征表达。
步骤S43，利用所有合并图，基于第二子网络，获取第二特征向量。
获取到多个训练图像各自对应的合并图之后，再基于第二子网络获取第二特征向量。具体请参阅图7，图7为图6中步骤S43一实施方式的流程示意图，可通过如下步骤获取第二特征向量。
步骤S51，分别获取各合并图的初始特征向量。
请结合图2参阅图8，图8为第二子网络一实施方式的结构示意图，将与多个训练图像对应的合并图序列输入第二子网络1032，3D卷积层(3D_Conv)对其进行特征提取，获得初始特征向量，输入融合层。其中3D卷积层的数量可以根据实际需求进行调整。
步骤S52，利用各合并图的权重将所有初始特征向量融合为合并特征向量。
请继续参阅图8，融合层将所有初始特征向量融合为合并特征向量，即多帧合并图融合为一帧合并图，再输入池化层(Pooling)。具体可将初始特征向量和对应的权重的乘积之和作为合并特征向量，即通过如下公式(1)进行融合计算：
Figure BDA0003108598420000081
其中，F表示合并特征向量，i表示第几帧，t表示合并图总帧数，即训练图像的数量，fi表示第i帧合并图的初始特征向量，αi表示第i帧合并图的权重。
可见，融合过程需要利用各合并图的权重αi，请参阅图9，图9为获取权重一实施方式的流程示意图，可通过如下步骤获取各合并图的权重。
步骤S61，利用人体关键点网络模型获取各关键点的置信度，并将每个训练图像对应的多个置信度中的最小值作为最低置信度。
人体关键点网络模型的每个关键点输出结果都附带置信度，本实施方式先从每个训练图像对应的多个置信度中选出最小值作为最低置信度。
步骤S62，利用最低置信度获取各合并图的权重。
然后预设置信度阈值，如果某个合并图对应的最低置信度低于该阈值，则认为该合并图中有一定遮挡，可在融合过程中减少该合并图对合并特征向量的影响。具体地，先判断最低置信度是否小于置信度阈值，如果小于，则将权重设置为最低置信度，如果不小于，则将权重设置为1。即使用如下公式(2)获取权重：
Figure BDA0003108598420000082
其中，Bi表示第i帧合并图的最低置信度，γ表示置信度阈值。
本实施方式根据最低置信度获取各合并图的权重，可以减少遮挡帧对合并特征向量的影响，获得更准确的特征表达。
步骤S53，利用合并特征向量获取第二特征向量。
请继续参阅图8，将合并特征向量输入池化层之后，池化层按照水平方向求每一行的最大值和平均值，进一步降维，再将每一行的特征值输入全连接层(FC)，将该特征映射至判别空间，输出第二特征向量。
本实施方式结合利用人体关键点序列和人体轮廓序列的交互关系，有针对性地提取了获取表征人体部位运动信息的第二特征向量，增强了第二特征向量的表征能力。
基于同样的发明构思，本申请还提供一种身份识别方法，请参阅图10，图10为本申请身份识别方法一实施方式的流程示意图，该身份识别方法包括如下步骤。
步骤S71，将待识别图像序列输入身份识别模型，以获取第一特征向量、第二特征向量和第三特征向量。
其中，身份识别模型是根据上述实施方式所述的训练方法训练得到的。具体的训练过程可参阅上述任一实施方式，此处不再赘述。
步骤S72，分别获取第一特征向量、第二特征向量和第三特征向量与标准向量库中每个标准向量的识别值，其中，一个标准向量代表一个身份。
进行身份识别时，存在有标准向量库，需要判断待识别图像序列中的身份是否与标准向量库中某个标准向量代表的身份匹配。本实施方式引入识别值作为判断是否匹配的判断标准，识别值与标准向量一一对应，且与第一特征向量、第二特征向量和第三特征向量与标准向量的相似度有关。获取识别值的过程将在下面描述。
步骤S73，根据所有识别值获取待识别图像序列的身份识别结果。
具体地，可以将所有识别值按照从大到小的顺序整理为序列，然后将对应序列前端预设数量的识别值的身份作为身份识别结果。例如预设数量为3，即将最大的3个识别值对应的3个身份输出作为身份识别结果，供用户进行人工判断。
在其他实施方式中，也可以先获取最大识别值，再判断最大识别值是否大于预设的识别阈值，如果大于，则将对应最大识别值的身份作为身份识别结果，如果不大于，则认为识别失败，即将识别失败作为身份识别结果。
本实施方式在利用身份识别模型获取特征向量时，充分利用了人体关键点特征和人体轮廓特征的交互关系，而且针对更有表达性的人体部位运动信息进行了特征提取，从而互相增强各特征的表征能力。且本实施方式根据特征向量与标准向量之间的相似度获取识别值，并将识别值作为判断身份是否匹配的标准，能够提升身份识别的准确性和识别效果。
在一个实施方式中，请参阅图11，图11为图10中步骤S72一实施方式的流程示意图，可通过如下步骤分别获取第一特征向量、第二特征向量和第三特征向量与每个标准向量的识别值。
步骤S81，分别计算第一特征向量、第二特征向量和第三特征向量与每个标准向量的相似度，获得若干相似度组，相似度组与标准向量一一对应，每个相似度组包含分别与第一特征向量、第二特征向量和第三特征向量对应的三个相似度。
利用身份识别模型获得第一特征向量、第二特征向量和第三特征向量之后，分别计算三者与每个标准向量的相似度，例如余弦相似度，获得若干相似度组。也就是说，一个相似度组对应一个标准向量，且包含三个相似度，这三个相似度分别为第一特征向量、第二特征向量和第三特征向量与标准向量的相似度，对应的识别值则由相似度组决定。
步骤S82，将相似度组包含的三个相似度的和作为对应的身份的识别值。
获得若干相似度组之后，对每个相似度组包含的三个相似度求和，将和值作为对应的识别值，从而获得每个标准向量的识别值，再利用上述步骤S73所述的过程获得待识别图像序列的身份识别结果。
本实施方式根据特征向量与标准向量之间的相似度获取识别值，并将识别值作为判断身份是否匹配的标准，能够提升身份识别的准确性和识别效果。
此外，本申请还提供一种电子设备，请参阅图12，图12为本申请电子设备一实施方式的结构示意图，该电子设备包括存储器121和处理器122，其中，存储器121存储有程序指令，处理器122能够执行该程序指令，以实现上述任一实施方式所述的身份识别模型的训练方法，或者身份识别方法。具体可参阅上述任一实施方式，此处不再赘述。
此外，本申请还提供一种计算机可读存储介质，请参阅图13，图13为本申请计算机可读存储介质一实施方式的结构示意图，该存储介质130上存储有程序指令131，该程序指令131能够被处理器执行，以实现上述任一实施方式所述的身份识别模型的训练方法，或者身份识别方法。具体可参阅上述任一实施方式，此处不再赘述。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (14)

1.一种身份识别模型的训练方法，其特征在于，包括：
构建身份识别模型，所述身份识别模型包括人体关键点网络模型、分割模型和交互模型；
利用所述人体关键点网络模型对多个训练图像进行人体关键点提取以获得人体关键点序列，以及利用所述分割模型对所述多个训练图像进行分割以获得人体轮廓序列；
利用所述人体关键点序列和所述人体轮廓序列，基于所述交互模型，获得第一特征向量、第二特征向量和第三特征向量；其中，所述第一特征向量表征人体部位的运动信息，所述第二特征向量表征人体的体型信息，所述第三特征向量表征所述人体关键点的运动信息；
利用所述第一特征向量、所述第二特征向量和所述第三特征向量调整所述交互模型的参数，以优化所述身份识别模型。
2.根据权利要求1所述的训练方法，其特征在于，所述交互模型包括第一子网络、第二子网络和第三子网络，所述利用所述人体关键点序列和所述人体轮廓序列，基于所述交互模型，获得第一特征向量、第二特征向量和第三特征向量的步骤，包括：
利用所述人体关键点序列和所述人体轮廓序列，基于所述第一子网络，获得所述第一特征向量；以及，
利用所述人体关键点序列和所述人体轮廓序列，基于所述第二子网络，获得所述第二特征向量；以及，
利用所述人体关键点序列，基于所述第三子网络，获得所述第三特征向量。
3.根据权利要求2所述的训练方法，其特征在于，所述利用所述人体关键点序列和所述人体轮廓序列，基于所述第一子网络，获得所述第一特征向量的步骤，包括：
利用与所述人体轮廓对应的关键点，将每个所述人体轮廓转换为多个人体部位轮廓；
利用所有所述人体部位轮廓，基于所述第一子网络，获得所述第一特征向量。
4.根据权利要求3所述的训练方法，其特征在于，所述利用与所述人体轮廓对应的关键点，将每个所述人体轮廓转换为多个人体部位轮廓的步骤，包括：
获取所述训练图像中各关键点的高斯模糊化图；
将所有所述高斯模糊化图映射至对应的所述人体轮廓，并从所述人体轮廓中截取所述各关键点对应的人体部位轮廓。
5.根据权利要求2所述的训练方法，其特征在于，所述利用所述人体关键点序列和所述人体轮廓序列，基于所述第二子网络，获得所述第二特征向量的步骤，包括：
利用所述人体关键点网络模型获取所述训练图像的热力图，所述热力图由所述训练图像中各关键点的高斯模糊化图拼接形成；
利用所述热力图和对应的所述人体轮廓，获取每个所述训练图像对应的合并图；
利用所有所述合并图，基于所述第二子网络，获取所述第二特征向量。
6.根据权利要求5所述的训练方法，其特征在于，所述利用所述热力图和对应的所述人体轮廓，获取每个所述训练图像对应的合并图，包括：
将所述热力图和对应的所述人体轮廓按照所述人体部位对齐并进行合并，以获取所述合并图。
7.根据权利要求5所述的训练方法，其特征在于，所述利用所有所述合并图，基于所述第二子网络，获取所述第二特征向量的步骤之前，还包括：
利用所述人体关键点网络模型获取各关键点的置信度，并将每个所述训练图像对应的多个置信度中的最小值作为最低置信度；
利用所述最低置信度获取各合并图的权重；
所述利用所有所述合并图，基于所述第二子网络，获取所述第二特征向量的步骤，包括：
分别获取各合并图的初始特征向量；
利用所述各合并图的所述权重将所有所述初始特征向量融合为合并特征向量；
利用所述合并特征向量获取所述第二特征向量。
8.根据权利要求7所述的训练方法，其特征在于，所述利用所述最低置信度获取各合并图的权重的步骤，包括：
判断所述最低置信度是否小于预设的置信度阈值；
若是，则将所述权重设置为所述最低置信度；
否则，将所述权重设置为1；
所述利用所述各合并图的所述权重将所有所述初始特征向量融合为合并特征向量的步骤，包括：
将所述初始特征向量和对应的所述权重的乘积之和作为所述合并特征向量。
9.根据权利要求1所述的训练方法，其特征在于，所述利用所述第一特征向量、所述第二特征向量和所述第三特征向量调整所述交互模型的参数的步骤，包括：
分别获取所述第一特征向量、所述第二特征向量和所述第三特征向量对应的损失值；
利用所有所述损失值的和值，基于反向传播算法，调整所述交互模型的参数。
10.一种身份识别方法，其特征在于，包括：
将待识别图像序列输入身份识别模型，以获取第一特征向量、第二特征向量和第三特征向量，其中，所述身份识别模型是根据权利要求1-9任一项所述的训练方法训练得到的；
分别获取所述第一特征向量、所述第二特征向量和所述第三特征向量与标准向量库中每个标准向量的识别值，其中，一个所述标准向量代表一个身份，所述识别值与所述第一特征向量、所述第二特征向量和所述第三特征向量与所述标准向量的相似度有关；
根据所有所述识别值获取所述待识别图像序列的身份识别结果。
11.根据权利要求10所述的身份识别方法，其特征在于，所述分别获取所述第一特征向量、所述第二特征向量和所述第三特征向量与标准向量库中每个标准向量的识别值，包括：
分别计算所述第一特征向量、所述第二特征向量和所述第三特征向量与每个所述标准向量的相似度，获得若干相似度组，所述相似度组与所述标准向量一一对应，每个所述相似度组包含分别与所述第一特征向量、所述第二特征向量和所述第三特征向量对应的三个相似度；
将所述相似度组包含的所述三个相似度的和作为对应的所述身份的识别值。
12.根据权利要求11所述的身份识别方法，其特征在于，所述根据所有所述相似度获取所述待识别图像序列的身份识别结果，包括：
将所有所述识别值按照从大到小的顺序整理为序列；
将对应所述序列前端预设数量的识别值的身份作为所述身份识别结果。
13.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有程序指令，所述处理器能够执行所述程序指令，以实现权利要求1-9任一项所述的身份识别模型的训练方法，或者权利要求10-12任一项所述的身份识别方法。
14.一种计算机可读存储介质，其特征在于，所述存储介质上存储有程序指令，所述程序指令能够被处理器执行，以实现权利要求1-9任一项所述的身份识别模型的训练方法，或者权利要求10-12任一项所述的身份识别方法。
CN202110642628.1A 2021-06-09 身份识别模型的训练方法和身份识别方法以及相关设备 Active CN113469221B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110642628.1A CN113469221B (zh) 2021-06-09 身份识别模型的训练方法和身份识别方法以及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110642628.1A CN113469221B (zh) 2021-06-09 身份识别模型的训练方法和身份识别方法以及相关设备

Publications (2)

Publication Number Publication Date
CN113469221A true CN113469221A (zh) 2021-10-01
CN113469221B CN113469221B (zh) 2024-10-25

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953593A (zh) * 2023-01-10 2023-04-11 广州市易鸿智能装备有限公司 工业零件的轮廓识别方法、装置、设备和计算机存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334863A (zh) * 2018-03-09 2018-07-27 百度在线网络技术（北京）有限公司 身份认证方法、系统、终端和计算机可读存储介质
CN109190544A (zh) * 2018-08-27 2019-01-11 华中科技大学 一种基于序列深度图像的人体身份识别方法
US20190318194A1 (en) * 2018-01-19 2019-10-17 Beijing Sensetime Technology Development Co., Ltd Body contour key point detection methods, apparatuses, and devices
CN110705448A (zh) * 2019-09-27 2020-01-17 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN111428658A (zh) * 2020-03-27 2020-07-17 大连海事大学 一种基于模态融合的步态识别方法
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190318194A1 (en) * 2018-01-19 2019-10-17 Beijing Sensetime Technology Development Co., Ltd Body contour key point detection methods, apparatuses, and devices
CN108334863A (zh) * 2018-03-09 2018-07-27 百度在线网络技术（北京）有限公司 身份认证方法、系统、终端和计算机可读存储介质
CN109190544A (zh) * 2018-08-27 2019-01-11 华中科技大学 一种基于序列深度图像的人体身份识别方法
CN110705448A (zh) * 2019-09-27 2020-01-17 北京市商汤科技开发有限公司 一种人体检测方法及装置
CN111428658A (zh) * 2020-03-27 2020-07-17 大连海事大学 一种基于模态融合的步态识别方法
CN112336342A (zh) * 2020-10-29 2021-02-09 深圳市优必选科技股份有限公司 手部关键点检测方法、装置及终端设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115953593A (zh) * 2023-01-10 2023-04-11 广州市易鸿智能装备有限公司 工业零件的轮廓识别方法、装置、设备和计算机存储介质
CN115953593B (zh) * 2023-01-10 2023-11-21 广州市易鸿智能装备有限公司 工业零件的轮廓识别方法、装置、设备和计算机存储介质

Similar Documents

Publication Publication Date Title
WO2022036777A1 (zh) 基于卷积神经网络的人体动作姿态智能估计方法及装置
CN110569731B (zh) 一种人脸识别方法、装置及电子设备
Wang et al. RGB-D salient object detection via minimum barrier distance transform and saliency fusion
CN109829356B (zh) 神经网络的训练方法及基于神经网络的行人属性识别方法
CN109190470B (zh) 行人重识别方法及装置
CN113486708A (zh) 人体姿态预估方法、模型训练方法、电子设备和存储介质
CN113705290A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111723687A (zh) 基于神经网路的人体动作识别方法和装置
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
CN112200056A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN117372604B (zh) 一种3d人脸模型生成方法、装置、设备及可读存储介质
CN111445426A (zh) 一种基于生成对抗网络模型的目标服装图像处理方法
KR20210100592A (ko) 휴리스틱 가우스 클라우드 변환에 기반하는 얼굴인식 기술
CN113469221B (zh) 身份识别模型的训练方法和身份识别方法以及相关设备
CN117437690A (zh) 环境适应和估计分类相结合的姿态识别方法、系统及介质
CN113469221A (zh) 身份识别模型的训练方法和身份识别方法以及相关设备
CN115830712B (zh) 一种步态识别方法、装置、设备和存储介质
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN112819006B (zh) 图像处理方法、装置及电子设备
CN112613457B (zh) 图像采集方式检测方法、装置、计算机设备和存储介质
CN111444374B (zh) 人体检索系统和方法
CN115240269A (zh) 基于体型变换的步态识别方法、设备及存储介质
CN113963374A (zh) 基于多层次特征与身份信息辅助的行人属性识别方法
US20230252784A1 (en) Methods, systems, and media for identifying human coactivity in images and videos using neural networks
CN114187168A (zh) 图像迁移方法和图像迁移模型的训练方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant