CN111259720B - 基于自监督代理特征学习的无监督行人重识别方法 - Google Patents
基于自监督代理特征学习的无监督行人重识别方法 Download PDFInfo
- Publication number
- CN111259720B CN111259720B CN201911045188.0A CN201911045188A CN111259720B CN 111259720 B CN111259720 B CN 111259720B CN 201911045188 A CN201911045188 A CN 201911045188A CN 111259720 B CN111259720 B CN 111259720B
- Authority
- CN
- China
- Prior art keywords
- domain
- features
- learning
- image sample
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/29—Graphical models, e.g. Bayesian networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于自监督代理特征学习的无监督行人重识别方法,该方法通过将源域的有监督信息、目标域的相似度一致性信息以及跨域的自监督约束联合建模到一个端到端的框架中,能够高效地减少域间差异,从而提取出域不变且具有鉴别力的身份特征,最终实现对目标域图像更加精准的检索。
Description
技术领域
本发明涉及智能安防领域,尤其涉及一种基于自监督代理特征学习的无监督行人重识别方法。
背景技术
行人重识别是利用计算机视觉技术判断图像或者视频中是否存在特定行人的技术,即给定一张监控行人图像,计算机自动检索周边其他监控设备捕捉到的该行人图像。行人重识别技术可以弥补目前固定摄像头的视觉局限,在安防和监控领域有着重要应用,例如,行为分析,感兴趣行人搜寻以及长期跟踪等。
目前的行人重识别技术大多基于距离度量学习或者特征学习的方法。虽然借助于深度神经网络的发展,这些方法的效果获得了巨大的提升,但是模型的训练需要依托于大量的跨设备行人标记数据。由于标注和收集监控图像十分耗费人力和时间,因此这些方法在实际应用中十分受限。
为了解决上述问题,无监督的行人重识别方法应运而生。其利用域适应技术,试图将在有标签的源域中学习到的知识迁移到无标签的目标域中。然而,由于域间存在巨大的域差异,这些方法难以在目标域提取到有鉴别力的身份特征。
发明内容
本发明的目的是提供一种基于自监督代理特征学习的无监督行人重识别方法,能够实现对目标域图像更加精准的检索。
本发明的目的是通过以下技术方案实现的:
一种基于自监督代理特征学习的无监督行人重识别方法,包括:
构建无监督行人重识别的网络模型,所述网络模型包括:特征重构模块,引入代理特征作为连接源域和目标域的桥梁,分别利用源域图像样本的特征及目标域图像样本的特征,与代理特征的相似度,来重构出源域图像样本特征及目标域图像样本特征;源域的有监督学习模块,利用重构的源域图像样本特征对源域进行有监督的标签学习;跨域自监督约束模块,利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习;目标域的相似度一致性模块,利用目标域图像样本的特征进行目标域的相似度一致性学习;通过不断的迭代学习,获得训练好的无监督行人重识别的网络模型;
利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识别。
由上述本发明提供的技术方案可以看出,通过将源域的有监督信息、目标域的相似度一致性信息以及跨域的自监督约束联合建模到一个端到端的框架中,能够高效地减少域间差异,从而提取出域不变且具有鉴别力的身份特征,最终实现对目标域图像更加精准的检索。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于自监督代理特征学习的无监督行人重识别网络模型的示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种基于自监督代理特征学习的无监督行人重识别方法,通过构建如图1所示的无监督行人重识别的网络模型来实现行人重识别,如图1所示,相关网络模型主要包括:特征重构模块、源域的有监督学习模块、跨域自监督约束模块以及目标域的相似度一致性模块。
1、特征重构模块。
所述特征重构模块,引入代理特征作为连接源域和目标域的桥梁,分别利用源域图像样本的特征及目标域图像样本的特征,与代理特征的相似度,来重构出源域图像样本特征及目标域图像样本特征。优选实施方式如下:
对于一个图像样本xm,通过主干网络(例如,ResNet50网络)提取相应的特征fm。
为了在源域和目标域间建立起联系,先计算特征fm与代理特征的相似度:
其中,smk表示图像样本特征fm和第k个代理特征ak间的相似度,k=1,2,…,Nc,T为矩阵转置符号。
将计算出来的特征相似度smk视为对应代理特征ak的权重,对所有加权后的代理特征smkak求和,以此来构建图像样本的重构特征:
其中,m=s,i或者t,j;m=s,i时,xs,i、fs,i以及表示源域图像样本、提取到的特征以及重构的特征;m=t,j时,xt,j、ft,j以及/>表示目标域图像样本、提取到的特征以及重构的特征。/>
2、源域的有监督学习模块。
所述源域的有监督学习模块,利用重构的源域图像样本特征对源域进行有监督的标签学习。优选实施方式如下:
首先,通过对源域图像样本xs,i进行有监督的分类,训练模型获得基础的身份鉴别能力。
已知源域图像样本数目为Ns,p(yi|xs,i)表示对于源域图像样本xs,i正确预测其标签为yi的概率;相应的交叉熵损失表示为:
然后,为了在源域和代理特征间建立联系,使用重构的源域图像特征来指导源域分类学习,表示源域图像样本xs,i的重构特征,/>表示标签yi所对应的全连接层(FC层)权重;则重构的源域图像特征指导的源域分类损失函数表示为:
最终,源域有监督的标签学习损失函数定义为:
LTS=LS+βLAS
如图1所示,有监督的标签学习中,识别到的ID是指身份标签,例如,行人1、行人2等。
3、跨域自监督约束模块。
所述跨域自监督约束模块,利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习;优选实施方式如下:
由于域偏差和完全不同的行人身份,不同域的样本特征分布差异巨大。为了减少域间偏差,从而将源域知识迁移到目标域,本发明实施例中,设计自监督信息:图像样本的特征和其重构特征间的相似度大于任意跨域图像样本对间的相似度。基于此,设置图像样本的特征和其重构特征形成了正样本对:fs,i与以及ft,j与/>设置重构的图像样本特征和跨域相似特征形成了难负样本对:ft,j与/>以及fs,i与/>
其中,α为距离阈值;fs,i表示源域图像样本xs,i的特征,为重构的源域图像样本xs,i的特征;ft,j表示目标域图像样本xt,j的特征,/>为重构的目标域图像样本xt,j的特征;Ns、Nt分别为源域、目标域中图像样本的总数;
则跨域的自监督学习的损失函数定义为:
4、目标域的相似度一致性模块。
所述目标域的相似度一致性模块,利用目标域图像样本的特征进行目标域的相似度一致性学习;优选实施方式如下:
在目标域通过相似度一致性进行难样本挖掘,从而消除目标域的域内差距,提升模型在目标域的鉴别能力。对于一对样本,如果它们的特征是彼此相似的,即相似度满足设定标准,则它们和代理特征间的相似度也满足设定标准,具体的标注可以由用户根据情况自行设定;对于满足相似度一致性判决的样本对,认为其属于正样本对P;反之,认为其是目标域的难样本对N。
其中,ft,m、ft,n、ft,k、ft,l各自表示目标域中图像样本的特征,m、n、k、l为图像样本的序号。
最终,无监督行人重识别的网络模型的总损失函数为:
Lall=λ1LTS+λ2LSS+λ3LHNM
其中,LTS为源域有监督的标签学习损失函数,LSS为跨域的自监督学习的损失函数,LHNM为目标域的相似度一致性学习损失函数;λ1、λ2、λ3为控制相应损失函数平衡的超参数。
在迭代学习过程中,源域的有监督学习模块,使模型在有监督条件下获得鉴别行人身份的能力;跨域自监督约束模块,消除源域和目标域间的差异,使得源域学习到的鉴别能力能够迁移到目标域;目标域的相似度一致性模块对目标域进行难样本挖掘从而加强模型在目标域的鉴别能力。三个模块共同促进,并通过代理特征被联合建模到一个统一的端到端框架中,提升网络模型最终的检索性能。通过不断的迭代学习,从而获得训练好的无监督行人重识别的网络模型,训练好的无监督行人重识别模型通过提取待检索的目标域行人图像的特征,以及整个数据库中图像的特征,然后进行特征相似度匹配,根据匹配结果将数据库中与输入的待检索的目标域行人图像具有相同的行人身份的图片输出。
本发明实施例上述方案,可以应用于安保部门,通过对周边监控视频中的感兴趣行人进行跨摄像头检索,弥补当前固定摄像头的不足,进行动态长期追踪,从而促进社会的安定和谐。在实施上,可以以软件的形式安装在公共场合的监控室中,提供实时检测;也可以安装于后台服务器,提供大范围的后台检索。
本领域技术人员可以理解,所述周边监控视频中的感兴趣行人对应于有标签的源域图像,跨摄像头检索也即从无标签的目标域图像中检索出感兴趣行人,从而实现行人重识别。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,包括:
构建无监督行人重识别的网络模型,所述网络模型包括:特征重构模块,引入代理特征作为连接源域和目标域的桥梁,分别利用源域图像样本的特征及目标域图像样本的特征,与代理特征的相似度,来重构出源域图像样本特征及目标域图像样本特征;源域的有监督学习模块,利用重构的源域图像样本特征对源域进行有监督的标签学习;跨域自监督约束模块,利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习;目标域的相似度一致性模块,利用目标域图像样本的特征进行目标域的相似度一致性学习;通过不断的迭代学习,获得训练好的无监督行人重识别的网络模型;
利用训练好的无监督行人重识别的网络模型在目标域图像样本中实现行人重识别。
2.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,所述引入代理特征作为连接源域和目标域的桥梁,分别利用源域图像样本的特征及目标域图像样本的特征,与代理特征的相似度,来重构出源域图像样本特征及目标域图像样本特征包括:
对于一个图像样本xm,通过主干网络提取相应的特征fm,再计算特征fm与代理特征的相似度:
其中,smk表示图像样本特征fm和第k个代理特征ak间的相似度,k=1,2,...,Nc;
将计算出来的特征相似度smk视为对应代理特征ak的权重,对所有加权后的代理特征smkak求和,以此来构建图像样本的重构特征:
3.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,利用重构的源域图像样本特征对源域进行有监督的标签学习包括:
首先,通过对源域图像样本xs,i进行有监督的分类,训练模型获得基础的身份鉴别能力;
已知源域图像样本数目为Ns,p(yi|xs,i)表示对于源域图像样本xs,i正确预测其标签为yi的概率;相应的交叉熵损失表示为:
最终,源域有监督的标签学习损失函数定义为:
LTS=LS+βLAS
4.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,所述利用重构的源域图像样本特征以及重构的目标域图像样本特征进行跨域的自监督学习包括:
设计自监督信息:图像样本的特征和其重构特征间的相似度大于任意跨域图像样本对间的相似度;
其中,α为距离阈值;fs,i表示源域图像样本xs,i的特征,为重构的源域图像样本xs,i的特征;ft,j表示目标域图像样本xt,j的特征,/>为重构的目标域图像样本xt,j的特征;Ns、Nt分别为源域、目标域中图像样本的总数;
则跨域的自监督学习的损失函数定义为:
5.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,利用目标域图像样本的特征进行目标域的相似度一致性学习包括:
在目标域通过相似度一致性进行难样本挖掘;对于一对样本,如果它们的特征是彼此相似的,即相似度满足设定标准,则它们和代理特征间的相似度也满足设定标准;对于满足相似度一致性判决的样本对,认为其属于正样本对;反之,认为其是目标域的难样本对;
其中,ft,m、ft,n、ft,k、ft,l各自表示目标域中图像样本的特征,m、n、k、l为图像样本的序号。
6.根据权利要求1所述的一种基于自监督代理特征学习的无监督行人重识别方法,其特征在于,无监督行人重识别的网络模型的总损失函数为:
Lall=λ1LTS+λ2LSS+λ3LHNM
其中,LTS为源域有监督的标签学习损失函数,LSS为跨域的自监督学习的损失函数,LHNM为目标域的相似度一致性学习损失函数;λ1、λ2、λ3为控制相应损失函数平衡的超参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911045188.0A CN111259720B (zh) | 2019-10-30 | 2019-10-30 | 基于自监督代理特征学习的无监督行人重识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911045188.0A CN111259720B (zh) | 2019-10-30 | 2019-10-30 | 基于自监督代理特征学习的无监督行人重识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111259720A CN111259720A (zh) | 2020-06-09 |
CN111259720B true CN111259720B (zh) | 2023-05-26 |
Family
ID=70953817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911045188.0A Active CN111259720B (zh) | 2019-10-30 | 2019-10-30 | 基于自监督代理特征学习的无监督行人重识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111259720B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110880019B (zh) * | 2019-10-30 | 2022-07-12 | 北京中科研究院 | 通过无监督域适应训练目标域分类模型的方法 |
CN112069921A (zh) * | 2020-08-18 | 2020-12-11 | 浙江大学 | 一种基于自监督知识迁移的小样本视觉目标识别方法 |
KR20220116331A (ko) | 2021-04-07 | 2022-08-22 | 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 | 모델 트레이닝 방법, 보행자 재인식 방법, 장치 및 전자 기기 |
CN113065516B (zh) * | 2021-04-22 | 2023-12-01 | 中国矿业大学 | 一种基于样本分离的无监督行人重识别系统及方法 |
CN113792758B (zh) * | 2021-08-18 | 2023-11-07 | 中国矿业大学 | 一种基于自监督学习和聚类的滚动轴承故障诊断方法 |
CN114694171B (zh) * | 2022-02-22 | 2023-10-10 | 电子科技大学 | 一种基于自监督模式特征增强的行人属性识别方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及系统 |
CN109214366A (zh) * | 2018-10-24 | 2019-01-15 | 北京旷视科技有限公司 | 局部目标重识别方法、装置及系统 |
CN110263697A (zh) * | 2019-06-17 | 2019-09-20 | 哈尔滨工业大学(深圳) | 基于无监督学习的行人重识别方法、装置及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10956817B2 (en) * | 2018-04-18 | 2021-03-23 | Element Ai Inc. | Unsupervised domain adaptation with similarity learning for images |
-
2019
- 2019-10-30 CN CN201911045188.0A patent/CN111259720B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709449A (zh) * | 2016-12-22 | 2017-05-24 | 深圳市深网视界科技有限公司 | 一种基于深度学习和强化学习的行人重识别方法及系统 |
CN109214366A (zh) * | 2018-10-24 | 2019-01-15 | 北京旷视科技有限公司 | 局部目标重识别方法、装置及系统 |
CN110263697A (zh) * | 2019-06-17 | 2019-09-20 | 哈尔滨工业大学(深圳) | 基于无监督学习的行人重识别方法、装置及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN111259720A (zh) | 2020-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259720B (zh) | 基于自监督代理特征学习的无监督行人重识别方法 | |
Huang et al. | Person search in videos with one portrait through visual and temporal links | |
Kumar et al. | Deep event learning boost-up approach: Delta | |
Vahdani et al. | Deep learning-based action detection in untrimmed videos: A survey | |
CN102165464A (zh) | 用于对视频内容中的人进行自动注释的方法和系统 | |
Liu et al. | Generalized zero-shot learning for action recognition with web-scale video data | |
CN112819065B (zh) | 基于多重聚类信息的无监督行人难样本挖掘方法和系统 | |
CN112836675B (zh) | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 | |
CN110796040A (zh) | 一种基于多元空间轨迹关联的行人身份识别方法 | |
Manogaran et al. | Analytics in real time surveillance video using two-bit transform accelerative regressive frame check | |
WO2022134576A1 (zh) | 红外视频时序行为定位方法、装置、设备及存储介质 | |
Xu et al. | Graph-based topic-focused retrieval in distributed camera network | |
Athanesious et al. | Detecting abnormal events in traffic video surveillance using superorientation optical flow feature | |
Tian et al. | MCA-NN: Multiple correspondence analysis based neural network for disaster information detection | |
Zhang et al. | Tracking events in twitter by combining an lda-based approach and a density–contour clustering approach | |
Wang et al. | Mutuality-oriented reconstruction and prediction hybrid network for video anomaly detection | |
Cheng et al. | AL‐DDCNN: a distributed crossing semantic gap learning for person re‐identification | |
CN116070106A (zh) | 基于行为序列的数据交互异常检测特征抽取方法及装置 | |
Tur et al. | Unsupervised Video Anomaly Detection with Diffusion Models Conditioned on Compact Motion Representations | |
Zhang et al. | A crowd-AI dynamic neural network hyperparameter optimization approach for image-driven social sensing applications | |
Arshad et al. | Anomalous Situations Recognition in Surveillance Images Using Deep Learning | |
Arthi et al. | Wearable Sensors and Real-Time System for Detecting violence using Artificial Intelligence | |
Dai et al. | Multi-modal Representation Learning for Social Post Location Inference | |
Asghar et al. | PakVehicle-ReID: a multi-perspective benchmark for vehicle re-identification in unconstrained urban road environment | |
Yang et al. | Vehicle re-identification via spatio-temporal multi-instance learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |