CN109190475B - 一种人脸识别网络与行人再识别网络协同训练方法 - Google Patents

一种人脸识别网络与行人再识别网络协同训练方法 Download PDF

Info

Publication number
CN109190475B
CN109190475B CN201810864960.0A CN201810864960A CN109190475B CN 109190475 B CN109190475 B CN 109190475B CN 201810864960 A CN201810864960 A CN 201810864960A CN 109190475 B CN109190475 B CN 109190475B
Authority
CN
China
Prior art keywords
pedestrian
face
network
recognition
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810864960.0A
Other languages
English (en)
Other versions
CN109190475A (zh
Inventor
章东平
陶禹诺
陈思瑶
毕崇圆
郑寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN201810864960.0A priority Critical patent/CN109190475B/zh
Publication of CN109190475A publication Critical patent/CN109190475A/zh
Application granted granted Critical
Publication of CN109190475B publication Critical patent/CN109190475B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸识别网络与行人再识别网络协同训练方法，采用双网络并行网络结构，将人脸与行人进行特征融合，把融合后的特征作为行人输出特征，使其具有更强的人脸特征表达能力，并根据人脸图像清晰度的不同对人脸识别网络与行人再识别网络采用不同的监督信号进行训练，当人脸图像清晰度较低时，用行人再识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导人脸识别网络进行训练；当人脸图像清晰度较高时，将人脸识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导行人再识别网络进行训练，既加强了人脸识别对于行人再识别结果的影响，又能够在人脸图像模糊的情况下利用行人再识别的预测结果指导人脸特征分类。

Description

一种人脸识别网络与行人再识别网络协同训练方法
技术领域
本发明属于深度神经网络提取脸部特征的深度学习领域，涉及到神经网络、模式识别等技术，尤其涉及到一种人脸识别网络与行人再识别网络协同训练方法。
背景技术
我国平安城市建设发展迅速，利用众多的视频监控摄像头快速、准确获取场景中的人像信息对安防和公安刑侦业务十分重要。快速有效的自动身份验证在安防领域变的越来越迫切，利用视频监控进行人脸识别与行人再识别，越来越受到公安部门的重视。
当前人脸识别、行人再识别技术成果在学术研究领域突飞猛进，但目前大多数人脸识别系统也只能应用在一些有较严格规范的限制环境下进行，在现实生活的自然场景中，会存在由于人脸分辨率低、人脸姿态变化等因素而无法进行人脸识别的问题。同时，行人再识别也是非常具有挑战性的，因为同一个人在不同摄像头视域下捕获到的行人图像常常有着分辨率、亮度、姿态和视角等的显著变化。由于监控摄像头拍摄到的尺寸通常较小，因此大量的视觉细节(如人脸)在图像中是模糊不可区分的，而一些行人图像在外观上看起来又比较相似。从计算机视觉的角度来看，行人再识别中最具挑战性的问题是如何在剧烈地外观变化下(例如照明、姿势和视域等)正确地匹配同一个人的两张行人图像。
解决上述问题的关键就是克服非限定条件的监控场景下人脸识别与行人再识别问题。根据人脸识别与行人再识别之间的关联性，提高现实场景下人脸识别及行人再识别准确率。目前,深度学习由于其强大的表征能力,提取的特征相比传统方法手工构造的特征具有更强的鲁棒性,因此被广泛应用于人脸识别、行人再识别中。但是人脸识别、行人再识别通常作为两个独立的任务进行研究，忽略了人脸识别与行人再识别之间的相关关系，仅仅依赖于衣服、身高等信息去进行行人再识别不具有高效性。
发明内容
本发明克服了现有技术的不足之处，提出了一种人脸识别网络与行人再识别网络协同训练方法，意在利用人脸识别卷积神经网络与行人再识别卷积神经网络相互协同训练，获得集人脸识别与行人再识别功能于一体的网络模型，提高非限定条件下的基于监控视频的人脸识别与行人再识别准确率。
本发明为达上述发明目的，采用如下技术方案：
一种人脸识别网络与行人再识别网络协同训练方法，其步骤包括：
步骤(1)：对DukeMTMC-reID行人再识别数据集利用开源人脸识别引擎SeetaFace的人脸检测模块进行人脸检测，所述人脸检测模块采用漏斗型级联结构(Funnel-Structured Cascade，FuSt)，FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器构成，紧接着是若干个基于SURF特征的多层感知机(MLP)级联结构，最后由一个统一的MLP级联结构来处理所有姿态的候选窗口，最终保留正确的人脸窗口，得到人脸图像。
步骤(2)：由步骤(1)经过人脸检测成功后总共获得N个行人图像和N个人脸图像，将从第i个行人图像Hi中得到的人脸图像记为Fi，Hi和Fi组成数据对(Hi，Fi)，Hi和Fi具有相同的身份标签，Hi和Fi(i＝1,2,…,N)分别构成行人训练数据集和人脸训练数据集。
步骤(3)：采用基于梯度统计的清晰度评价算法对人脸图像进行清晰度评价，该方法利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，认为图像越清晰，基于梯度统计的清晰度评价函数公式如下：
Figure BDA0001750686070000021
其中h(x,y)的表达式为：
Figure BDA0001750686070000022
Q的表达式如下：
Figure BDA0001750686070000023
f(x,y)的表达式如下：
Figure BDA0001750686070000031
G(x,y)的表达式如下：
Figure BDA0001750686070000032
其中，D(f)为图像清晰度计算结果，T是给定的边缘检测阈值，Gx、Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积。
步骤(4)：分别采用基于卷积神经网络的人脸识别子网络和行人再识别子网络进行人脸识别模型和行人再识别模型训练，所述基于卷积神经网络的人脸识别子网络和行人再识别子网络中均包含训练数据输入层、卷积层、最大采样层三种网络层。其中，人脸识别卷积层接最大采样层构成一个人脸识别子结构单元，人脸数据输入层和N个串联子结构共同构成人脸识别子网络；行人再识别卷积层接最大采样层构成一个行人再识别子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，行人数据输入层和M个串联子结构共同构成行人再识别子网络。
步骤(5)：将人脸识别子网络和行人再识别子网络的输出各连接一个全连接层，将两个全连接层进行特征融合，将融合特征作为行人特征分类层的输入；人脸识别子网络所连接的全连接层作为人脸特征分类层的输入，其中，人脸识别子网络、全连接层、人脸特征分类层共同组成人脸识别网络，行人再识别子网络、全连接层、行人特征分类层共同构成行人再识别网络。所述特征融合采用深度学习框架caffe中的concat层，将两个全连接层的输出作为concat层的输入，其中人脸特征分类层和行人特征分类层均为输出维度是D维的全连接层，D表示行人类别数，人脸类别数也为D，最终concat层的输出即为融合特征。
步骤(6)：把行人训练数据集和人脸训练数据集分别输入到人脸识别网络与行人再识别网络中，当人脸图像清晰度较低时，将行人再识别子网络连接的Soft-Max层的预测结果与真实标签共同作为人脸识别子网络的联合监督信号对人脸识别子网络进行训练；当人脸图像清晰度较高时，将人脸识别子网络连接的Soft-Max层的预测结果与真实标签共同作为行人再识别子网络的联合监督信号对行人再识别子网络进行训练，其中，联合监督信号是Soft-Max层的预测结果与真实标签加权相加的结果，使用深度学习框架caffe协同训练人脸识别网络与行人再识别网络得到一个集人脸识别与行人再识别功能于一体的双识别模型。
进一步地，所述加权相加过程可表述为如下公式：
Figure BDA0001750686070000041
其中，Yi k表示训练样本i在k网络的联合监督信号，
Figure BDA0001750686070000042
表示样本i在l网络Soft-Max层的预测值，当人脸图像清晰度较低时，k＝0，l＝1，Yi k表示训练样本i在人脸识别网络的联合监督信号，
Figure BDA0001750686070000043
表示行人再识别网络Soft-Max层的预测值，当人脸图像清晰度较高时，k＝1，l＝0，Yi k表示训练样本i在行人再识别网络的联合监督信号，
Figure BDA0001750686070000044
表示人脸识别网络Soft-Max层的预测值；yi是样本i的真实标签其值为1；α、β分别表示真实标签与预测结果所占的权重比例，且α+β＝1。
步骤(7)：人脸识别及行人再识别测试，将两张待测试的行人图像H1和H2按照步骤(1)的方法获得对应的人脸图像F1和F2，组成测试图片对(H1，F1)和(H2，F2)，对人脸图像采用步骤(3)的方法进行清晰度评价，当F1和F2均清晰度较高时，对F1、F2利用步骤(6)中得到的双识别模型进行人脸特征的提取，分别得到人脸特征向量Ff1、Ff2，通过计算Ff1和Ff2之间的余弦相似度Fp，设置人脸相似度阈值为FT，如果Fp≥FT，则判定F1和F2是同一个人的人脸，直接根据人脸识别结果判定H1和H2是同一个行人，如果Fp<FT，判定H1和H2不是同一个行人；当F1或F2清晰度较低时，对F1、F2利用步骤(6)中得到的双识别模型进行行人特征的提取，分别得到行人特征向量Hf1、Hf2，通过计算Hf1和Hf2之间的余弦相似度Hp，设置行人相似度阈值为HT，如果Hp≥HT，则判定H1和H2是同一个行人，如果Hp<HT，则判定H1和H2不是同一个行人，并计算Fs(Fs＝(Fp+Hp)÷2)，设置F1或F2人脸清晰度较低时的人脸相似度阈值为Ts，如果Fs>Ts，则判定判定F1和F2是同一个人的人脸，如果Fs<Ts，则判定判定F1和F2不是同一个人的人脸，所述人脸特征与行人特征分别为步骤(5)中人脸特征分类层和行人特征分类层的输出；
与现有技术相比，本发明的有益效果体现在：
本发明采取人脸识别网络与行人再识别网络协同训练的方法，首先对行人图像进行人脸检测，获得行人和人脸两个训练数据集，采用双网络并行的网络结构，并将人脸与行人进行特征融合，融合后的特征具有更强的人脸特征表达能力，能够有效避免由于外在的衣服、身高等信息造成的行人再识别准确率不高的问题，并根据人脸图像清晰度的高低对人脸识别网络与行人再识别网络采用不同的监督信号进行训练，当人脸图像清晰度较低时，用行人再识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导人脸识别网络进行训练；当人脸图像清晰度较高时，将人脸识别网络的预测结果与真实标签的加权相加的结果作为监督信号，指导行人再识别网络进行训练，既加强了人脸识别对于行人再识别结果的影响，又能够在人脸图像模糊的情况下利用行人再识别的预测结果指导人脸特征分类。实现人脸识别网络与行人再识别网络的协同训练，提高非限定条件下的基于监控视频的人脸识别与行人再识别准确
附图说明
图1是人脸识别网络与行人再识别网络协同训练流程图。
图2是人脸识别子网络结构示意图。
图3是行人再识别子网络结构示意图。
具体实施方式
下面结合附图对本发明作进一步说明。
本实施例中，如图1所示，一种人脸识别网络与行人再识别网络协同训练流程图，具体实现主要包括如下步骤：
步骤(1)：对DukeMTMC-reID行人再识别数据集利用开源人脸识别引擎SeetaFace的人脸检测模块进行人脸检测，其中行人数据集使用的是DukeMTMC-reID行人再识别数据库，包括702个行人的16,522张图像，平均每类行人有23.5张训练数据。所述人脸检测模块采用漏斗型级联结构(Funnel-Structured Cascade，FuSt)，FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器构成，紧接着是若干个基于SURF特征的多层感知机(MLP)级联结构，最后由一个统一的MLP级联结构来处理所有姿态的候选窗口，最终保留正确的人脸窗口，得到人脸图像；
步骤(2)：由步骤(1)经过人脸检测成功后总共获得12,222个行人图像和12,222个人脸图像，将从第i个行人图像Hi中得到的人脸图像记为Fi，Hi和Fi组成数据对(Hi，Fi)，Hi和Fi具有相同的身份标签，Hi和Fi(i＝1,2,…,N)分别构成行人训练数据集和人脸训练数据集；
步骤(3)：采用基于梯度统计的清晰度评价算法对人脸图像进行清晰度评价，该方法利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，认为图像越清晰，基于梯度统计的清晰度评价函数公式如下：
Figure BDA0001750686070000061
其中h(x,y)的表达式为：
Figure BDA0001750686070000062
Q的表达式如下：
Figure BDA0001750686070000063
f(x,y)的表达式如下：
Figure BDA0001750686070000064
G(x,y)的表达式如下：
Figure BDA0001750686070000065
其中，D(f)为图像清晰度计算结果，T是给定的边缘检测阈值，Gx、Gy分别是像素点(x,y)处Sobel水平和垂直方向边缘检测算子的卷积；
具体实现过程中，采用经过Sobel算子处理后的图像平均灰度值作为衡量图像清晰度的指标，平均灰度值越大，代表图像越清晰，假设设置图像清晰度阈值为2，当人脸图像平均灰度值大于2时，判定该人脸图像清晰度较高，反之，则清晰度较低；
步骤(4)：分别采用基于卷积神经网络的人脸识别子网络和行人再识别子网络进行人脸识别模型和行人再识别模型训练，所述基于卷积神经网络的人脸识别子网络和行人再识别子网络中均包含训练数据输入层、卷积层、最大采样层三种网络层。其中，人脸识别卷积层接最大采样层构成一个人脸识别子结构单元，人脸数据输入层和N＝8个串联子结构共同构成人脸识别子网络；行人再识别卷积层接最大采样层构成一个行人再识别子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，行人数据输入层和M＝16个串联子结构共同构成行人再识别子网络，图2、图3分别为人脸识别子网络与行人再识别子网络结构示意图。
步骤(5)：将人脸识别子网络和行人再识别子网络的输出各连接一个全连接层，将两个全连接层进行特征融合，将融合特征作为行人特征分类层的输入；人脸识别子网络所连接的全连接层作为人脸特征分类层的输入，其中，人脸识别子网络、全连接层、人脸特征分类层共同组成人脸识别网络，行人再识别子网络、全连接层、行人特征分类层共同构成行人再识别网络。其中特征融合采用深度学习框架caffe中的concat层，将两个全连接层的输出作为concat层的输入，其中人脸特征分类层和行人特征分类层均为输出维度是582维的全连接层，582表示行人类别数，人脸类别数也为582，最终concat层的输出即为融合特征。
步骤(6)：把行人训练数据集和人脸训练数据集分别输入到人脸识别网络与行人再识别网络中，当人脸图像清晰度较低时，将行人再识别子网络连接的Soft-Max层的预测结果与真实标签共同作为人脸识别子网络的联合监督信号对人脸识别子网络进行训练；当人脸图像清晰度较高时，将人脸识别子网络连接的Soft-Max层的预测结果与真实标签共同作为行人再识别子网络的联合监督信号对行人再识别子网络进行训练，其中，联合监督信号是Soft-Max层的预测结果与真实标签加权相加的结果，使用深度学习框架caffe协同训练人脸识别网络与行人再识别网络得到一个集人脸识别与行人再识别功能于一体的双识别模型。
进一步地，所述加权相加的公式为：
Figure BDA0001750686070000071
其中，Yi k表示训练样本i在k网络的联合监督信号，
Figure BDA0001750686070000072
表示样本i在l网络Soft-Max层的预测值，当人脸图像清晰度较低时，k＝0，l＝1，Yi k表示训练样本i在人脸识别网络的联合监督信号，
Figure BDA0001750686070000073
表示行人再识别网络Soft-Max层的预测值，当人脸图像清晰度较高时，k＝1，l＝0，Yi k表示训练样本i在行人再识别网络的联合监督信号，
Figure BDA0001750686070000074
表示人脸识别网络Soft-Max层的预测值；yi是样本i的真实标签其值为1；α、β分别表示真实标签与预测结果所占的权重比例，当取α＝0.6，β＝0.4时，则联合监督信号为：
Figure BDA0001750686070000081
步骤(7)：人脸识别及行人再识别测试，将两张待测试的行人图像H1和H2按照步骤(1)的方法获得对应的人脸图像F1和F2，组成测试图片对(H1，F1)和(H2，F2)，对人脸图像采用步骤(3)的方法进行清晰度评价，当F1和F2均清晰度较高时，对F1、F2利用步骤(6)中得到的双识别模型进行人脸特征的提取，分别得到人脸特征向量Ff1、Ff2，通过计算Ff1和Ff2之间的余弦相似度Fp，设置人脸相似度阈值为FT＝0.7，如果Fp≥0.7，则判定F1和F2是同一个人的人脸，直接根据人脸识别结果判定H1和H2是同一个行人，如果Fp<0.7，判定H1和H2不是同一个行人；当F1或F2清晰度较低时，对F1、F2利用步骤(6)中得到的双识别模型进行行人特征的提取，分别得到行人特征向量Hf1、Hf2，通过计算Hf1和Hf2之间的余弦相似度Hp，设置行人相似度阈值为HT＝0.8，如果Hp≥0.8，则判定H1和H2是同一个行人，如果Hp<0.8，则判定H1和H2不是同一个行人，并计算Fs(Fs＝(Fp+Hp)÷2)，设置F1或F2人脸清晰度较低时的人脸相似度阈值为Ts＝0.75，如果Fs≥0.75，则判定判定F1和F2是同一个人的人脸，如果Fs<0.75，则判定判定F1和F2不是同一个人的人脸，其中，人脸特征与行人特征分别为步骤(5)中人脸特征分类层和行人特征分类层的输出。

Claims (2)

1.一种人脸识别网络与行人再识别网络协同训练方法，其特征在于包括如下步骤：
步骤(1)：对DukeMTMC-reID行人再识别数据集利用开源人脸识别引擎SeetaFace的人脸检测模块进行人脸检测，所述人脸检测模块采用漏斗型级联结构(Funnel-StructuredCascade，FuSt)，FuSt级联结构在顶部由多个针对不同姿态的快速LAB级联分类器构成，紧接着是若干个基于SURF特征的多层感知机(MLP)级联结构，最后由一个统一的MLP级联结构来处理所有姿态的候选窗口，最终保留正确的人脸窗口，得到人脸图像；
步骤(2)：由步骤(1)经过人脸检测成功后总共获得N个行人图像和N个人脸图像，将从第i个行人图像Hi中得到的人脸图像记为Fi，Hi和Fi组成数据对(Hi，Fi)，Hi和Fi具有相同的身份标签，Hi和Fi分别构成行人训练数据集和人脸训练数据集，i＝1,2,…,N；
步骤(3)：采用基于梯度统计的清晰度评价算法对人脸图像进行清晰度评价，该算法利用Sobel算子分别计算水平和垂直方向的梯度，同一场景下梯度值越高，认为图像越清晰；
步骤(4)：分别采用基于卷积神经网络的人脸识别子网络和行人再识别子网络进行人脸识别模型和行人再识别模型训练，所述基于卷积神经网络的人脸识别子网络和行人再识别子网络中均包含训练数据输入层、卷积层、最大采样层三种网络层；其中，人脸识别卷积层接最大采样层构成一个人脸识别子结构单元，人脸数据输入层和M个串联子结构共同构成人脸识别子网络；行人再识别卷积层接最大采样层构成一个行人再识别子结构单元，每一个子结构单元的输出与上一个子结构单元的输出相加作为下一个子结构单元的输入，行人数据输入层和M个串联子结构共同构成行人再识别子网络；
步骤(5)：将人脸识别子网络和行人再识别子网络的输出各连接一个全连接层，将两个全连接层进行特征融合，将融合特征作为行人特征分类层的输入；人脸识别子网络所连接的全连接层作为人脸特征分类层的输入，其中，人脸识别子网络、全连接层、人脸特征分类层共同组成人脸识别网络，行人再识别子网络、全连接层、行人特征分类层共同构成行人再识别网络；所述特征融合采用深度学习框架caffe中的concat层，将两个全连接层的输出作为concat层的输入，其中人脸特征分类层和行人特征分类层均为输出维度是D维的全连接层，D表示行人类别数，人脸类别数也为D，最终concat层的输出即为融合特征；
步骤(6)：把行人训练数据集和人脸训练数据集分别输入到人脸识别网络与行人再识别网络中，当人脸图像清晰度较低时，将行人再识别子网络连接的Soft-Max层的预测结果与真实标签共同作为人脸识别子网络的联合监督信号对人脸识别子网络进行训练；当人脸图像清晰度较高时，将人脸识别子网络连接的Soft-Max层的预测结果与真实标签共同作为行人再识别子网络的联合监督信号对行人再识别子网络进行训练，其中，联合监督信号是Soft-Max层的预测结果与真实标签加权相加的结果，使用深度学习框架caffe协同训练人脸识别网络与行人再识别网络得到一个集人脸识别与行人再识别功能于一体的双识别模型；
步骤(7)：人脸识别及行人再识别测试，将两张待测试的行人图像H1和H2按照步骤(1)的方法获得对应的人脸图像F1和F2，组成测试图片对(H1，F1)和(H2，F2)，对人脸图像采用步骤(3)的方法进行清晰度评价，当F1和F2均清晰度较高时，对F1、F2利用步骤(6)中得到的双识别模型进行人脸特征的提取，分别得到人脸特征向量Ff1、Ff2，通过计算Ff1和Ff2之间的余弦相似度Fp，设置人脸相似度阈值为FT，如果Fp≥FT，则判定F1和F2是同一个人的人脸，直接根据人脸识别结果判定H1和H2是同一个行人，如果Fp<FT，判定H1和H2不是同一个行人；当F1或F2清晰度较低时，对F1、F2利用步骤(6)中得到的双识别模型进行行人特征的提取，分别得到行人特征向量Hf1、Hf2，通过计算Hf1和Hf2之间的余弦相似度Hp，设置行人相似度阈值为HT，如果Hp≥HT，则判定H1和H2是同一个行人，如果Hp<HT，则判定H1和H2不是同一个行人，并计算Fs，Fs＝(Fp+Hp)÷2，设置F1或F2人脸清晰度较低时的人脸相似度阈值为Ts，如果Fs>Ts，则判定F1和F2是同一个人的人脸，如果Fs<Ts，则判定F1和F2不是同一个人的人脸，所述人脸特征与行人特征分别为步骤(5)中人脸特征分类层和行人特征分类层的输出。
2.如权利要求1所述的一种人脸识别网络与行人再识别网络协同训练方法，其特征在于：步骤(6)中加权相加的公式为：
Figure FDA0003133376820000021
其中，
Figure FDA0003133376820000031
表示训练样本j在k网络的联合监督信号，
Figure FDA0003133376820000032
表示训练样本j在l网络的Soft-Max层的预测值，当人脸图像清晰度较低时，k＝0，l＝1，
Figure FDA0003133376820000033
表示训练样本j在人脸识别网络的联合监督信号，
Figure FDA0003133376820000034
表示行人再识别网络Soft-Max层的预测值，当人脸图像清晰度较高时，k＝1，l＝0，
Figure FDA0003133376820000035
表示训练样本i在行人再识别网络的联合监督信号，
Figure FDA0003133376820000036
表示人脸识别网络Soft-Max层的预测值；yj是训练样本j的真实标签其值为1；α、β分别表示真实标签与预测结果所占的权重比例，且α+β＝1，其中k＝0，k网络表示人脸识别网络，k＝1，k网络表示行人再识别网络，l＝0，l网络表示人脸识别网络，l＝1，l网络表示行人再识别网络。
CN201810864960.0A 2018-08-01 2018-08-01 一种人脸识别网络与行人再识别网络协同训练方法 Active CN109190475B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810864960.0A CN109190475B (zh) 2018-08-01 2018-08-01 一种人脸识别网络与行人再识别网络协同训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810864960.0A CN109190475B (zh) 2018-08-01 2018-08-01 一种人脸识别网络与行人再识别网络协同训练方法

Publications (2)

Publication Number Publication Date
CN109190475A CN109190475A (zh) 2019-01-11
CN109190475B true CN109190475B (zh) 2021-09-14

Family

ID=64920259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810864960.0A Active CN109190475B (zh) 2018-08-01 2018-08-01 一种人脸识别网络与行人再识别网络协同训练方法

Country Status (1)

Country Link
CN (1) CN109190475B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111435430B (zh) * 2019-01-15 2024-02-27 南京人工智能高等研究院有限公司 对象识别方法、对象识别装置和电子设备
CN110163082B (zh) * 2019-04-02 2024-09-03 腾讯科技（深圳）有限公司 一种图像识别网络模型训练方法、图像识别方法及装置
CN110659585B (zh) * 2019-08-31 2022-03-15 电子科技大学 一种基于交互属性监督的行人检测方法
CN111178129B (zh) * 2019-11-25 2023-07-14 浙江工商大学 一种基于人脸和姿态的多模态人员识别方法
CN111488804B (zh) * 2020-03-19 2022-11-11 山西大学 基于深度学习的劳保用品佩戴情况检测和身份识别的方法
CN112085701B (zh) * 2020-08-05 2024-06-11 深圳市优必选科技股份有限公司 一种人脸模糊度检测方法、装置、终端设备及存储介质
CN113705662B (zh) * 2021-08-26 2024-08-02 中国银联股份有限公司 一种协同训练方法、装置及计算机可读存储介质
CN114565963A (zh) * 2022-03-03 2022-05-31 成都佳华物链云科技有限公司 一种顾客流量统计方法、装置、电子设备及存储介质
CN115909464B (zh) * 2022-12-26 2024-03-26 淮阴工学院 一种面向行人重识别的自适应弱监督标签标记方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013021176A1 (en) * 2011-08-08 2013-02-14 Vision Semantics Limited Video searching
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN105303152A (zh) * 2014-07-15 2016-02-03 中国人民解放军理工大学 一种人体再识别方法
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107145900A (zh) * 2017-04-24 2017-09-08 清华大学 基于一致性约束特征学习的行人再识别方法
CN108196680A (zh) * 2018-01-25 2018-06-22 盛视科技股份有限公司 一种基于人体特征提取与检索的机器人视觉跟随方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7629899B2 (en) * 1997-10-22 2009-12-08 Intelligent Technologies International, Inc. Vehicular communication arrangement and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013021176A1 (en) * 2011-08-08 2013-02-14 Vision Semantics Limited Video searching
CN103810476A (zh) * 2014-02-20 2014-05-21 中国计量学院 基于小群体信息关联的视频监控网络中行人重识别方法
CN105303152A (zh) * 2014-07-15 2016-02-03 中国人民解放军理工大学 一种人体再识别方法
CN105678250A (zh) * 2015-12-31 2016-06-15 北京小孔科技有限公司 视频中的人脸识别方法和装置
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
CN107145900A (zh) * 2017-04-24 2017-09-08 清华大学 基于一致性约束特征学习的行人再识别方法
CN108196680A (zh) * 2018-01-25 2018-06-22 盛视科技股份有限公司 一种基于人体特征提取与检索的机器人视觉跟随方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Face recognition ability does not predict person identification performance: using individual data in the interpretation of group results;Eilidh Noyes et al.;《 Cognitive Research: Principles and Implications》;20180627;第1-13页 *
Multi-Pose Face Recognition by Dynamic Loss Weights;Yunuo Tao et al.;《The 2017 4th International Conference on Systems and Informatics》;20171231;第453-458页 *
Person Re-identification Based On Group Context Strategy;Kaihang Xu et al.;《2015 8th International Conference on Intelligent Computation Technology and Automation》;20151231;第638-641页 *
基于深度学习与属性学习相结合的行人再识别;许方洁等;《数据采集与处理》;20180731;第33卷(第4期);第751-757页 *
深度学习的视频监控下的人脸清晰度评价;陈奇等;《中国计量大学学报》;20171231;第28卷(第4期);第509-515页 *

Also Published As

Publication number Publication date
CN109190475A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN109190475B (zh) 一种人脸识别网络与行人再识别网络协同训练方法
CN108520226B (zh) 一种基于躯体分解和显著性检测的行人重识别方法
CN106897670B (zh) 一种基于计算机视觉的快递暴力分拣识别方法
Ryan et al. Crowd counting using multiple local features
CN105373135B (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN112381075B (zh) 一种机房特定场景下进行人脸识别的方法及系统
CN103824070B (zh) 一种基于计算机视觉的快速行人检测方法
CN109101865A (zh) 一种基于深度学习的行人重识别方法
CN105930822A (zh) 一种人脸抓拍方法及系统
CN103605971B (zh) 一种捕获人脸图像的方法及装置
CN110807434A (zh) 一种基于人体解析粗细粒度结合的行人重识别系统及方法
CN108615226A (zh) 一种基于生成式对抗网络的图像去雾方法
CN110837784A (zh) 一种基于人体头部特征的考场偷窥作弊检测系统
CN104504365A (zh) 视频序列中的笑脸识别系统及方法
CN109977897A (zh) 一种基于深度学习的船舶特征重识别方法、应用方法及系统
CN111539351B (zh) 一种多任务级联的人脸选帧比对方法
CN112926522B (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN110298297A (zh) 火焰识别方法和装置
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN106529494A (zh) 一种基于多摄像头机型的人脸识别方法
CN112668557A (zh) 一种行人再识别系统中防御图像噪声攻击的方法
CN112132157B (zh) 一种基于树莓派的步态人脸融合识别方法
CN110858276A (zh) 一种识别模型与验证模型相结合的行人重识别方法
CN109086803A (zh) 一种基于深度学习与个性化因子的雾霾能见度检测系统及方法
Kongurgsa et al. Real-time intrusion—detecting and alert system by image processing techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant