CN113065516A - 一种基于样本分离的无监督行人重识别系统及方法 - Google Patents

一种基于样本分离的无监督行人重识别系统及方法 Download PDF

Info

Publication number
CN113065516A
CN113065516A CN202110436855.9A CN202110436855A CN113065516A CN 113065516 A CN113065516 A CN 113065516A CN 202110436855 A CN202110436855 A CN 202110436855A CN 113065516 A CN113065516 A CN 113065516A
Authority
CN
China
Prior art keywords
pedestrian
sample
loss function
target domain
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110436855.9A
Other languages
English (en)
Other versions
CN113065516B (zh
Inventor
李佳函
李云龙
程德强
寇旗旗
张皓翔
韩成功
徐进洋
张云鹤
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Huatu Mining Technology Co ltd
China University of Mining and Technology CUMT
Original Assignee
Jiangsu Huatu Mining Technology Co ltd
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Huatu Mining Technology Co ltd, China University of Mining and Technology CUMT filed Critical Jiangsu Huatu Mining Technology Co ltd
Priority to CN202110436855.9A priority Critical patent/CN113065516B/zh
Publication of CN113065516A publication Critical patent/CN113065516A/zh
Application granted granted Critical
Publication of CN113065516B publication Critical patent/CN113065516B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于样本分离的无监督行人重识别系统及方法,属于行人重识别技术领域,解决了现有行人重识别方法识别精度低的问题。该系统包括,数据获取模块,获取多个源域样本子集和多个目标域样本子集;网络模型训练模块,用于获得分类损失函数和样本不变性损失函数,根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数,进而对行人重识别网络模型进行迭代优化;重识别模块,根据优化好的行人重识别网络模型对待识别行人图片进行识别。该系统能够很好的区分目标域中正样本和负样本,从而降低网络精度损失,提高识别精度。

Description

一种基于样本分离的无监督行人重识别系统及方法
技术领域
本发明涉及行人重识别技术领域,尤其涉及一种基于样本分离的无监督行人重识别系统及方法。
背景技术
随着城市人口的不断增长,社会公共安全问题越来越受到人们的重视,当前在许多公共场所都覆盖有大规模的网络摄像头,是监控安防的重要保障。为了提升网络摄像头的安防智能水平,行人重识别技术是如今视觉分析领域的研究热点,得到了学术界的广泛重视。行人重识别旨在非重叠视角域多摄像头网络下进行的行人匹配,即确认不同位置的摄像头在不同的时刻拍摄到的行人目标是否为同一人。
现有的无监督域自适应行人重识别方法在使用目标域进行样本不变性学习,以及引入监督行人重识别的时候并没有很好的区分正样本以及负样本。而且由于在训练的过程中目标域数据缺乏标签,所以在无标签的状态下不能很好的进行行人重识别网络的训练。
现有技术至少存在以下缺陷,现有的无监督域自适应网络由于目标域数据缺乏标签信息不能很好的区分正样本与负样本,此外,同一样本的正样本和负样本过于相似,不易区分,均会使行人重识别网络造成较大的识别损失,这种损失在行人重识别网络的训练过程中进行叠加,进而会导致行人重识别网络迭代训练过程中产生较大的损失,使训练获得的行人重识别网络的识别精度降低。
发明内容
鉴于上述的分析,本发明旨在提供一种基于样本分离的无监督行人重识别系统及方法,用以解决现有行人重识别网络的识别精度低的问题。
一方面,本发明提供了一种基于样本分离的无监督行人重识别系统,包括:
数据获取模块,用于获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集;
网络模型训练模块,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于所述分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对所述行人重识别网络模型进行迭代优化;
重识别模块,用于根据优化好的所述行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。
进一步的,所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的L2标准化层、与样本分离损失函数对应的第一相似度衡量轴网络结构,与无监督三元组损失函数相对应的第二相似度衡量轴网络结构和第三相似度衡量轴网络结构,还包括存储器,分别与所述第一相似度衡量轴网络结构、第二相似度衡量轴网络结、第三相似度衡量轴网络结构连接;所述残差网络结构分别与所述全连接层、存储器连接。
进一步的,所述网络训练模型具体通过下述方式获得目标域样本子集中各行人图片间的相似度方差:
将目标域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取目标域样本子集中每一行人图片的特征,并进行存储;
将该目标域样本子集中每一行人图片的特征与已经存储的目标域样本每一行人图片的特征相乘获得对应的相似度:
di,j=f(xt,i)*R[j]T
其中,xt,i表示目标域样本子集输入行人重识别网络时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,R[j]表示存储的目标域样本中第j类行人图片的特征,di,j表示所述行人图片xt,i与所述第j类行人图片间的相似度;
通过下述公式获得所述目标域样本子集中的行人图片与已经存储的目标域样本行人图片间的平均相似度:
Figure BDA0003033383690000031
其中,b表示目标域样本子集中行人图片的数量,Nt表示存储的目标域样本行人图片的类别数,μ表示所述平均相似度;
根据所述平均相似度通过下述公式计算获得目标域样本子集中各行人图片间的相似度方差:
Figure BDA0003033383690000032
其中,δ表示所述相似度方差。
进一步的,所述网络训练模型通过下述公式获得样本分离损失函数:
LTD=ln(1+δ),
其中,LTD表示样本分离损失函数。
进一步的,所述网络训练模型通过下述方式获得目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度:
基于目标域样本子集中每一行人图片与已经存储的目标域样本每一行人图片的相似度将目标域样本子集中的行人图片进行降序排序,并按顺序从第一预设序位起选取第一预设数量的图片作为正样本组,从第二预设序位起选取第二预设数量的图片作为负样本组;
通过下述公式计算获得所述正样本组与存储的目标域样本间的相似度:
Figure BDA0003033383690000041
Figure BDA0003033383690000042
其中,p(j/xt,i')表示正样本组中第i'张行人图片xt,i'属于存储的目标域样本中第j类行人图片的概率,f(xt,i')表示行人图片xt,i'的特征,c表示所述正样本组中行人图片的数量,St表示正样本组与存储的目标域样本间的相似度,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征,Nt表示存储的所有目标域样本中行人图片的类别数;
通过下述公式计算获得所述负样本组与存储的目标域样本间的相似度:
Figure BDA0003033383690000043
Figure BDA0003033383690000044
其中,p(j/xt,i”)表示负样本组中第i”张行人图片xt,i”属于存储的目标域样本中第j类行人图片的概率,f(xt,i”)表示行人图片xt,i”的特征,r表示所述负样本组中行人图片的数量,Sf表示负样本组与存储的目标域样本间的相似度。
进一步的,所述网络训练模型通过下述公式获得无监督三元组损失函数:
Figure BDA0003033383690000051
其中,LMML表示无监督三元组损失函数,
Figure BDA0003033383690000052
为常数。
进一步的,所述网络模型训练模块具体通过下述方式获取行人重识别网络模型的分类损失函数:
将所述源域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征,并进行存储;
将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax归一化层,进行特征维度转化和特征归一化;
基于维度转化和归一化后的每一行人图片的特征采用下述公式获得分类损失函数:
Figure BDA0003033383690000053
其中,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,ns表示源域样本子集中行人图片的数量。
进一步的,所述网络模型训练模块具体通过下述方式获取行人重识别网络模型的样本不变性损失函数:
Figure BDA0003033383690000054
Figure BDA0003033383690000061
其中,LT表示样本不变性损失函数,nt表示目标域样本子集中行人图片的数量,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,j表示行人图片xt,i属于存储的目标域样本中第j类行人图片的权重,p(j|xt,i)表示行人图片xt,i属于存储的目标域样本中第j类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征。
进一步的,所述网络模型训练模块,重复下述步骤对所述行人重识别网络模型进行迭代优化:
遍历每一源域样本子集和每一目标域样本子集,基于每一源域样本子集和每一目标域样本子集获得的分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数,获得总损失函数,判断该总损失函数值的变化量是否小于预设值,若是,则完成对行人重识别网络模型的优化,若否,则基于数据获取模块重新随机划分的多个源域样本子集和多个目标域样本子集重复上述步骤,直至完成对行人重识别网络模型的优化;
所述总损失函数为:
L=λ1Lsrc2LT3LTD4LMML
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LTD表示样本分离损失函数,λ3表示样本分离损失函数的权重,LMML表示无监督三元组损失函数,λ4表示无监督三元组损失函数的权重。
另一方面,本发明提出了一种基于样本分离的无监督行人重识别方法,包括以下步骤:
获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集;
获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于所述分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对所述行人重识别网络模型进行迭代优化;
根据优化好的所述行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。
与现有技术相比,本发明至少可实现如下有益效果之一:
1、本发明提出的基于样本分离的无监督行人重识别系统及方法,首次通过计算目标域样本间的相似度方差引入样本分离损失函数,使行人重识别网络在训练过程中学习导致样本之间距离方差减少的特征,以减少样本与样本之间的影响,进而减少目标域样本中负样本对网络训练造成的精度损失,以提高行人重识别网络的识别精度。
2、本发明提出的基于样本分离的无监督行人重识别系统及方法,首次通过将目标域正样本进行分层,从而在无监督行人重识别网络中引入监督行人重识别网络中的三元组损失函数,以进一步提高行人重识别网络的识别精度。
本发明中,上述各技术方案之间还可以相互组合,以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述,并且,部分优点可从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
附图仅用于示出具体实施例的目的,而并不认为是对本发明的限制,在整个附图中,相同的参考符号表示相同的部件。
图1为本发明实施例基于样本分离的无监督行人重识别系统的示意图;
图2为本发明实施例行人重识别网络模型的示意图;
图3为本发明实施例基于样本分离的无监督行人重识别系统的流程图。
附图标记:
110-数据获取模块;120-网络模型训练模块;130-重识别模块。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
系统实施例
本发明的一个具体实施例,公开了一种基于样本分离的无监督行人重识别系统。如图1所示,该系统包括:
数据获取模块110,用于获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集。具体的,用不同摄像机从不同角度随机采集大量行人的图片,每一张图片包含一个行人,将采集的图片分为训练集和测试集,训练集用于对行人重识别网络模型进行训练,测试集用于对训练好的行人重识别网络模型进行测试,以保证行人重识别网络模型的识别精度。在训练集中随机选取部分图片,并为其中每一张图片添加标签,该标签包括行人类别编号以及摄像机编号;具体的,为同一个行人的多张图片添加同一行人类别标号,不同的标签表示不同的行人,将添加标签后的图片随机分为多个源域样本子集,将训练集中未添加标签的其他图片作为目标域样本集,并为每一图片添加编号,并将添加编号后的图片随机分为多个目标域样本子集,目标域样本集中,每一个编号都代表一张行人图片,同一行人的多张图片对应多个编号。
网络模型训练模块120,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对行人重识别网络模型进行迭代优化。
重识别模块130,用于根据优化好的行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。具体的,将待识别行人图片输入至训练好的行人重识别网络模型中,该模型能够输出与该待识别行人图片中的行人为同一个行人的其他图片的编号,该其他图片为目标域样本集中的图片,再人工比对该待识别行人图片与重识别模块输出的编号对应的行人图片是否为同一行人。
优选的,如图2所示,行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的L2标准化层(图2中未示出)、与样本分离损失函数对应的第一相似度衡量轴网络结构,与无监督三元组损失函数相对应的第二相似度衡量轴网络结构和第三相似度衡量轴网络结构,还包括存储器,分别与所述第一相似度衡量轴网络结构、第二相似度衡量轴网络结、第三相似度衡量轴网络结构连接;所述残差网络结构分别与所述全连接层、存储器连接。具体的,存储器为键值存储结构,键中用于存储行人图片的特征,值中用于存储该行人图片对应的编号或标签,示例性的,残差网络结构为ResNet50。
优选的,网络模型训练模块具体通过下述方式获得各损失函数:
步骤1、将源域样本子集和目标域样本子集分别输入残差网络结构进行图片特征提取,以获得源域样本子集中每一行人图片的特征以及目标域样本子集中每一行人图片的特征,并分别进行存储;
步骤2、具体通过下述方式获得样本分离损失函数:
将目标域样本子集中每一行人图片的特征与已经存储的目标域样本每一行人图片的特征相乘获得对应的相似度,此处已经存储的目标域样本指的是之前目标域样本子集训练获得的每一行人图片的特征:
di,j=f(xt,i)*R[j]T
其中,xt,i表示目标域样本子集输入行人重识别网络时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,R[j]表示存储的目标域样本中第j类行人图片的特征,di,j表示行人图片xt,i与第j类行人图片间的相似度。
通过下述公式获得目标域样本子集中的行人图片与已经存储的目标域样本行人图片间的平均相似度:
Figure BDA0003033383690000111
其中,b表示目标域样本子集中行人图片的数量,Nt表示存储的目标域样本行人图片的类别数,μ表示平均相似度。
根据平均相似度通过下述公式计算获得目标域样本子集中各行人图片间的相似度方差:
Figure BDA0003033383690000112
其中,δ表示相似度方差。
基于该相似度方差通过下述公式获得样本分离损失函数:
LTD=ln(1+δ),
其中,LTD表示样本分离损失函数。
该损失函数能够在行人重识别网络模型的训练过程中减少目标域样本间的关联性,通过降低样本间相似度的方差,从而降低样本间的影响,以提高训练获得的行人重识别网络模型的识别精度。
步骤3、具体通过下述方式获得无监督三元组损失函数:
对于待识别的行人,在目标域中可能会存在许多正样本(同一个行人的不同图片),由于环境等因素的影响,这些正样本会因为拍摄角度等原因,导致不同与目标行人的相似度也不同(由于不同行人在摄像机下处的位置不同,所以同一个行人在不同位置的相似度不一样,即两张图片不可能完全一样),所以在网络训练中,如果只把正样本单纯的归为一大类正样本是有损网络的识别精度的,因此本申请将正样本进行分层,从而将监督行人重识别网络中得到三元组损失结合到无监督行人重识别网络中,以降低损失,提高网络的识别精度。
具体的,网络模型训练模块通过下述方式获得目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度:
基于目标域样本子集中每一行人图片与已经存储的目标域样本每一行人图片的相似度将目标域样本子集中的行人图片进行降序排序,并按顺序从第一预设序位起选取第一预设数量的图片作为正样本组,从第二预设序位起选取第二预设数量的图片作为负样本组。示例性的,在实际应用的过程中,将目标域样本子集中的行人图片按相似度间须排序后,按顺序选取第一张行人图片作为第一层图片(自身图片),从第二张图片起选3张行人图片作为第二层图片(大概率相似图片),从第四张图片起选取K-4张图片作为第三层图片(相似图片),优选的,K的取值为150。其中,将第二层图片作为目标域样本无监督三元组损失的正样本组,正样本即同一个行人的不同图片;并从第K张图片起选取三张图片作为目标域样本无监督三元组损失的负样本组,负样本即看起来相似,但实际不是同一个行人的图片。
通过下述公式计算获得正样本组与存储的目标域样本间的相似度:
Figure BDA0003033383690000121
Figure BDA0003033383690000122
其中,p(j/xt,i')表示正样本组中第i'张行人图片xt,i'属于存储的目标域样本中第j类行人图片的概率,f(xt,i')表示行人图片xt,i'的特征,c表示正样本组中行人图片的数量,St表示正样本组与存储的目标域样本间的相似度,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征,Nt表示存储的所有目标域样本中行人图片的类别数。
通过下述公式计算获得负样本组与存储的目标域样本间的相似度:
Figure BDA0003033383690000131
Figure BDA0003033383690000132
其中,p(j/xt,i”)表示负样本组中第i”张行人图片xt,i”属于存储的目标域样本中第j类行人图片的概率,f(xt,i”)表示行人图片xt,i”的特征,r表示所述负样本组中行人图片的数量,Sf表示负样本组与存储的目标域样本间的相似度。
基于正样本组、负样本组分别与存储的目标域样本间的相似度通过下述公式获得无监督三元组损失函数:
Figure BDA0003033383690000133
其中,LMML表示无监督三元组损失函数,
Figure BDA0003033383690000134
为常数。
步骤4、具体通过下述方式获取行人重识别网络模型的分类损失函数:
将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax归一化层,进行特征维度转化和特征归一化;
基于维度转化和归一化后的每一行人图片的特征采用下述公式获得分类损失函数:
Figure BDA0003033383690000135
其中,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,该概率为行人重识别网络在训练过程中本身能够直接输出的概率,ns表示源域样本子集中行人图片的数量。
步骤5、具体通过下述方式获取行人重识别网络模型的样本不变性损失函数:
Figure BDA0003033383690000141
Figure BDA0003033383690000142
其中,LT表示样本不变性损失函数,nt表示目标域样本子集中行人图片的数量,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,j表示行人图片xt,i属于存储的目标域样本中第j类行人图片的权重,p(j|xt,i)表示行人图片xt,i属于存储的目标域样本中第j类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征。
具体的,步骤2至步骤5可同时进行,不分前后顺序。
步骤6、重复下述步骤对行人重识别网络模型进行迭代优化:
遍历每一源域样本子集和每一目标域样本子集,基于每一源域样本子集和每一目标域样本子集获得的分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数,获得总损失函数,判断该总损失函数值的变化量是否小于预设值,若是,则完成对行人重识别网络模型的优化,若否,则基于数据获取模块重新随机划分的多个源域样本子集和多个目标域样本子集重复上述步骤,直至完成对行人重识别网络模型的优化;
该总损失函数为:
L=λ1Lsrc2LT3LTD4LMML
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LTD表示样本分离损失函数,λ3表示样本分离损失函数的权重,LMML表示无监督三元组损失函数,λ4表示无监督三元组损失函数的权重。示例性的,λ1取值为0.7,λ2取值为0.3,λ3的取值为0.2,λ4的取值为0.2。
方法实施例
本发明的另一个实施例公开了一种基于样本分离的无监督行人重识别方法,由于该方法实施例与上述系统实施例基于相同的原理,因此在此不再赘述,重复之处可以参考上市系统实施例。
具体的,如图3所示,该方法包括以下步骤:
S110、获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集。
S120、获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对行人重识别网络模型进行迭代优化。
S130、根据优化好的行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。
与现有技术相比,本发明实施例公开的基于样本分离的无监督行人重识别系统及方法,一方面,首次通过计算目标域样本间的相似度方差引入样本分离损失函数,使行人重识别网络在训练过程中学习导致样本之间距离方差减少的特征,以减少样本与样本之间的影响,进而减少目标域样本中负样本对网络训练造成的精度损失,以提高行人重识别网络的识别精度;另一方面,首次通过将目标域正样本进行分层,从而在无监督行人重识别网络中引入监督行人重识别网络中的三元组损失函数,以进一步提高行人重识别网络的识别精度。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于计算机可读存储介质中。其中,所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于样本分离的无监督行人重识别系统,其特征在于,包括:
数据获取模块,用于获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集;
网络模型训练模块,用于获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于所述分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对所述行人重识别网络模型进行迭代优化;
重识别模块,用于根据优化好的所述行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。
2.根据权利要求1所述的基于样本分离的无监督行人重识别系统,其特征在于,所述行人重识别网络模型包括残差网络结构、与分类损失函数相对应的依次连接的全连接层和Softmax归一化层、与样本不变性损失函数对应的L2标准化层、与样本分离损失函数对应的第一相似度衡量轴网络结构,与无监督三元组损失函数相对应的第二相似度衡量轴网络结构和第三相似度衡量轴网络结构,还包括存储器,分别与所述第一相似度衡量轴网络结构、第二相似度衡量轴网络结、第三相似度衡量轴网络结构连接;所述残差网络结构分别与所述全连接层、存储器连接。
3.根据权利要求1或2所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络训练模型具体通过下述方式获得目标域样本子集中各行人图片间的相似度方差:
将目标域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取目标域样本子集中每一行人图片的特征,并进行存储;
将该目标域样本子集中每一行人图片的特征与已经存储的目标域样本每一行人图片的特征相乘获得对应的相似度:
di,j=f(xt,i)*R[j]T
其中,xt,i表示目标域样本子集输入行人重识别网络时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,R[j]表示存储的目标域样本中第j类行人图片的特征,di,j表示所述行人图片xt,i与所述第j类行人图片间的相似度;
通过下述公式获得所述目标域样本子集中的行人图片与已经存储的目标域样本行人图片间的平均相似度:
Figure FDA0003033383680000021
其中,b表示目标域样本子集中行人图片的数量,Nt表示存储的目标域样本行人图片的类别数,μ表示所述平均相似度;
根据所述平均相似度通过下述公式计算获得目标域样本子集中各行人图片间的相似度方差:
Figure FDA0003033383680000022
其中,δ表示所述相似度方差。
4.根据权利要求3所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络训练模型通过下述公式获得样本分离损失函数:
LTD=ln(1+δ),
其中,LTD表示样本分离损失函数。
5.根据权利要求3所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络训练模型通过下述方式获得目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度:
基于目标域样本子集中每一行人图片与已经存储的目标域样本每一行人图片的相似度将目标域样本子集中的行人图片进行降序排序,并按顺序从第一预设序位起选取第一预设数量的图片作为正样本组,从第二预设序位起选取第二预设数量的图片作为负样本组;
通过下述公式计算获得所述正样本组与存储的目标域样本间的相似度:
Figure FDA0003033383680000031
Figure FDA0003033383680000032
其中,p(j/xt,i')表示正样本组中第i'张行人图片xt,i'属于存储的目标域样本中第j类行人图片的概率,f(xt,i')表示行人图片xt,i'的特征,c表示所述正样本组中行人图片的数量,St表示正样本组与存储的目标域样本间的相似度,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征,Nt表示存储的所有目标域样本中行人图片的类别数;
通过下述公式计算获得所述负样本组与存储的目标域样本间的相似度:
Figure FDA0003033383680000033
Figure FDA0003033383680000034
其中,p(j/xt,i”)表示负样本组中第i”张行人图片xt,i”属于存储的目标域样本中第j类行人图片的概率,f(xt,i”)表示行人图片xt,i”的特征,r表示所述负样本组中行人图片的数量,Sf表示负样本组与存储的目标域样本间的相似度。
6.根据权利要求5所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络训练模型通过下述公式获得无监督三元组损失函数:
Figure FDA0003033383680000041
其中,LMML表示无监督三元组损失函数,
Figure FDA0003033383680000042
为常数。
7.根据权利要求3所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络模型训练模块具体通过下述方式获取行人重识别网络模型的分类损失函数:
将所述源域样本子集输入行人重识别网络模型的残差网络结构中提取图像特征,以获取源域样本子集中每一行人图片的特征,并进行存储;
将该每一行人图片的特征依次输入行人重识别网络模型的全连接层和softmax归一化层,进行特征维度转化和特征归一化;
基于维度转化和归一化后的每一行人图片的特征采用下述公式获得分类损失函数:
Figure FDA0003033383680000043
其中,xs,m表示源域样本子集中的第m张行人图片,f(xs,m)表示行人图片xs,m的特征,ys,m表示源域样本子集中行人图片xs,m的类别标签,p(ys,m|xs,m)表示行人图片xs,m属于类别ys,m的概率,ns表示源域样本子集中行人图片的数量。
8.根据权利要求3所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络模型训练模块具体通过下述方式获取行人重识别网络模型的样本不变性损失函数:
Figure FDA0003033383680000051
Figure FDA0003033383680000052
其中,LT表示样本不变性损失函数,nt表示目标域样本子集中行人图片的数量,xt,i表示目标域样本子集输入行人重识别网络模型时输入顺序为i的行人图片,f(xt,i)表示行人图片xt,i的特征,wi,j表示行人图片xt,i属于存储的目标域样本中第j类行人图片的权重,p(j|xt,i)表示行人图片xt,i属于存储的目标域样本中第j类行人图片的概率,Nt表示存储的所有目标域样本子集中行人图片的类别数,R[j]表示存储的目标域样本中第j类行人图片的特征,R[z]表示存储的目标域样本中第z类行人图片的特征。
9.根据权利要求1或2所述的基于样本分离的无监督行人重识别系统,其特征在于,所述网络模型训练模块,重复下述步骤对所述行人重识别网络模型进行迭代优化:
遍历每一源域样本子集和每一目标域样本子集,基于每一源域样本子集和每一目标域样本子集获得的分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数,获得总损失函数,判断该总损失函数值的变化量是否小于预设值,若是,则完成对行人重识别网络模型的优化,若否,则基于数据获取模块重新随机划分的多个源域样本子集和多个目标域样本子集重复上述步骤,直至完成对行人重识别网络模型的优化;
所述总损失函数为:
L=λ1Lsrc2LT3LTD4LMML
其中,L表示总损失函数,Lsrc表示分类损失函数,λ1表示分类损失函数的权重,LT表示样本不变性损失函数,λ2表示样本不变性损失函数的权重,LTD表示样本分离损失函数,λ3表示样本分离损失函数的权重,LMML表示无监督三元组损失函数,λ4表示无监督三元组损失函数的权重。
10.一种基于样本分离的无监督行人重识别方法,其特征在于,包括以下步骤:
获取源域样本集和目标域样本集,并分别随机分为多个源域样本子集和多个目标域样本子集;
获得行人重识别网络模型的分类损失函数和样本不变性损失函数,以及根据目标域样本子集中各行人图片间的相似度方差获得样本分离损失函数,还用于根据目标域样本子集中正样本组、负样本组分别与存储的目标域样本间的相似度获得无监督三元组损失函数;基于所述分类损失函数、样本不变性损失函数、样本分离损失函数及无监督三元组损失函数对所述行人重识别网络模型进行迭代优化;
根据优化好的所述行人重识别网络模型对待识别行人图片进行识别,获得与该待识别行人图片属于同一行人的图片。
CN202110436855.9A 2021-04-22 2021-04-22 一种基于样本分离的无监督行人重识别系统及方法 Active CN113065516B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110436855.9A CN113065516B (zh) 2021-04-22 2021-04-22 一种基于样本分离的无监督行人重识别系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110436855.9A CN113065516B (zh) 2021-04-22 2021-04-22 一种基于样本分离的无监督行人重识别系统及方法

Publications (2)

Publication Number Publication Date
CN113065516A true CN113065516A (zh) 2021-07-02
CN113065516B CN113065516B (zh) 2023-12-01

Family

ID=76567448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110436855.9A Active CN113065516B (zh) 2021-04-22 2021-04-22 一种基于样本分离的无监督行人重识别系统及方法

Country Status (1)

Country Link
CN (1) CN113065516B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807401A (zh) * 2021-08-18 2021-12-17 南京中兴力维软件有限公司 通用id识别方法、装置及设备
CN114140723A (zh) * 2021-12-01 2022-03-04 北京有竹居网络技术有限公司 多媒体数据的识别方法、装置、可读介质及电子设备
WO2023201932A1 (zh) * 2022-04-22 2023-10-26 苏州浪潮智能科技有限公司 一种行人重识别方法、装置、设备及存储介质
CN113807401B (zh) * 2021-08-18 2024-05-24 南京中兴力维软件有限公司 通用id识别方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111144566A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111259720A (zh) * 2019-10-30 2020-06-09 北京中科研究院 基于自监督代理特征学习的无监督行人重识别方法
CN111738143A (zh) * 2020-06-19 2020-10-02 重庆邮电大学 一种基于期望最大化的行人重识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108334849A (zh) * 2018-01-31 2018-07-27 中山大学 一种基于黎曼流形的行人重识别方法
CN111259720A (zh) * 2019-10-30 2020-06-09 北京中科研究院 基于自监督代理特征学习的无监督行人重识别方法
CN111126360A (zh) * 2019-11-15 2020-05-08 西安电子科技大学 基于无监督联合多损失模型的跨域行人重识别方法
CN111144566A (zh) * 2019-12-30 2020-05-12 深圳云天励飞技术有限公司 神经网络权重参数的训练方法、特征分类方法及对应装置
CN111738143A (zh) * 2020-06-19 2020-10-02 重庆邮电大学 一种基于期望最大化的行人重识别方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ALEXANDER HERMANS 等: "In Defense of the Triplet Loss for Person Re-Identification", 《HTTPS://ARXIV.ORG/PDF/1703.07737.PDF》, pages 1 - 17 *
JIAHAN LI 等: "Unsupervised Person Re-Identification Based on Measurement Axis", 《IEEE SIGNAL PROCESSING LETTERS》, vol. 28, pages 379 - 383, XP011839499, DOI: 10.1109/LSP.2021.3055116 *
NAZIA PERWAIZ 等: "Person Re-Identification Using Hybrid Representation Reinforced by Metric Learning", 《IEEE ACCESS》, vol. 6, pages 77334 - 77349, XP011694600, DOI: 10.1109/ACCESS.2018.2882254 *
李佳函: "基于无监督域自适应的行人重识别算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2023, pages 138 - 1825 *
谢川 等: "基于对抗生成网络的蒙特卡罗噪声去除算法", 《模式识别与人工智能》, vol. 31, no. 11, pages 1047 - 1060 *
黎阳: "面向智能监控的行人重识别方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 2021, pages 138 - 858 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807401A (zh) * 2021-08-18 2021-12-17 南京中兴力维软件有限公司 通用id识别方法、装置及设备
CN113807401B (zh) * 2021-08-18 2024-05-24 南京中兴力维软件有限公司 通用id识别方法、装置及设备
CN114140723A (zh) * 2021-12-01 2022-03-04 北京有竹居网络技术有限公司 多媒体数据的识别方法、装置、可读介质及电子设备
CN114140723B (zh) * 2021-12-01 2023-07-04 北京有竹居网络技术有限公司 多媒体数据的识别方法、装置、可读介质及电子设备
WO2023201932A1 (zh) * 2022-04-22 2023-10-26 苏州浪潮智能科技有限公司 一种行人重识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113065516B (zh) 2023-12-01

Similar Documents

Publication Publication Date Title
CN111126360B (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN111967294B (zh) 一种无监督域自适应的行人重识别方法
CN110414368B (zh) 一种基于知识蒸馏的无监督行人重识别方法
CN107885764B (zh) 基于多任务深度学习快速哈希车辆检索方法
CN107679078B (zh) 一种基于深度学习的卡口图像车辆快速检索方法及系统
CN109800811B (zh) 一种基于深度学习的小样本图像识别方法
CN112633382B (zh) 一种基于互近邻的少样本图像分类方法及系统
CN110580460A (zh) 基于行人身份和属性特征联合识别验证的行人再识别方法
CN105574550A (zh) 一种车辆识别方法及装置
CN108921107A (zh) 基于排序损失和Siamese网络的行人再识别方法
CN111507217A (zh) 一种基于局部分辨特征融合的行人重识别方法
CN108596010B (zh) 行人重识别系统的实现方法
CN109299707A (zh) 一种基于模糊深度聚类的无监督行人再识别方法
CN110598535A (zh) 一种监控视频数据中使用的人脸识别分析方法
CN110781790A (zh) 基于卷积神经网络与vlad的视觉slam闭环检测方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN104008395A (zh) 一种基于人脸检索的不良视频智能检测方法
WO2020164278A1 (zh) 一种图像处理方法、装置、电子设备和可读存储介质
CN111639561A (zh) 基于类别自适应聚类的无监督行人重识别方法
CN111860106B (zh) 一种无监督的桥梁裂缝识别方法
CN109784288B (zh) 一种基于判别感知融合的行人再识别方法
CN113065516B (zh) 一种基于样本分离的无监督行人重识别系统及方法
CN110852152B (zh) 一种基于数据增强的深度哈希行人重识别方法
CN109492610B (zh) 一种行人重识别方法、装置及可读存储介质
CN114662497A (zh) 一种基于协同神经网络的虚假新闻检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Cheng Deqiang

Inventor after: Kou Qiqi

Inventor after: Li Jiahan

Inventor after: Li Yunlong

Inventor after: Zhang Haoxiang

Inventor after: Han Chenggong

Inventor after: Xu Jinyang

Inventor after: Zhang Yunhe

Inventor after: Li Chao

Inventor before: Li Jiahan

Inventor before: Li Yunlong

Inventor before: Cheng Deqiang

Inventor before: Kou Qiqi

Inventor before: Zhang Haoxiang

Inventor before: Han Chenggong

Inventor before: Xu Jinyang

Inventor before: Zhang Yunhe

Inventor before: Li Chao

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant