CN110704666A - 一种提升跨视角车辆精确检索的方法及系统 - Google Patents
一种提升跨视角车辆精确检索的方法及系统 Download PDFInfo
- Publication number
- CN110704666A CN110704666A CN201910818526.3A CN201910818526A CN110704666A CN 110704666 A CN110704666 A CN 110704666A CN 201910818526 A CN201910818526 A CN 201910818526A CN 110704666 A CN110704666 A CN 110704666A
- Authority
- CN
- China
- Prior art keywords
- view
- picture
- discriminator
- generator
- countermeasure network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000000007 visual effect Effects 0.000 claims abstract description 77
- 238000005259 measurement Methods 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims description 103
- 238000012549 training Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 22
- 230000001737 promoting effect Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 2
- 230000008485 antagonism Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- NTSBMKIZRSBFTA-AIDOXSFESA-N Digoxigenin bisdigitoxoside Chemical compound C1[C@H](O)[C@H](O)[C@@H](C)O[C@H]1O[C@@H]1[C@@H](C)O[C@@H](O[C@@H]2C[C@@H]3[C@]([C@@H]4[C@H]([C@]5(CC[C@@H]([C@@]5(C)[C@H](O)C4)C=4COC(=O)C=4)O)CC3)(C)CC2)C[C@@H]1O NTSBMKIZRSBFTA-AIDOXSFESA-N 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机视觉领域,特别涉及一种提升跨视角车辆精确检索的方法及系统。包括将某一视角图片输入训练好的对抗网络生成器的该视角的图片输入端,生成另一视角图片;将原视角图片和生成的另一视角图片输入到训练好的度量网络中,获得原视角图片的特征和另一视角的图片的特征,将原视角图片的特征和另一视角的图片的特征拼接为级联特征,计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。本发明提出了一个特征距离对抗网络(FDA‑Net),在度量空间设计了一种新的特征距离对抗方案。
Description
技术领域
本发明涉及计算机视觉领域,特别涉及一种提升跨视角车辆精确检索的方法及系统。
背景技术
车辆重识别(ReID)旨在从大型车辆数据库中检索查询车辆的图片,这对城市安全和城市管理具有重要意义。比较直接的方法是通过识别车牌来识别车辆。然而,在许多情况下,车牌不能被清晰地获取,有时甚至被移除、遮挡或伪造。这导致对基于视觉外观的车辆ReID技术的需求呈指数增长。深度学习和现有注释数据集的发展极大地促进了车辆ReID研究。可是在实际应用中,视角、背景和光照等方面的多样性,给车辆ReID模型带来了巨大挑战。
一个阻碍车辆ReID性能改进的主要问题是视角变化。例如,只给出前视角来识别相应的后视点图片,反之亦然,这对ReID方法的视角转换能力提出了挑战。
发明内容
本发明实施例提供了一种提升跨视角车辆精确检索的方法及系统。提出了一个特征距离对抗网络(FDA-Net),在度量空间设计了一种新的特征距离对抗方案。
根据本发明实施例的第一方面,一种提升跨视角车辆精确检索的方法,包括
将原视角图片输入训练好的对抗网络的该视角的图片输入端,生成另一视角图片;
将原视角图片和生成的另一视角图片输入到训练好的度量网络中,获得原视角图片的特征和另一视角的图片的特征,将原视角图片的特征和另一视角的图片的特征拼接为级联特征,
计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。
所述对抗网络和度量网络的训练包括
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定度量判别器D,将GB(xa)和xa输入到度量网络得到b视角生成损失函数LGB_ed;
根据损失LGB_ed最小化,更新对抗网络的b视角的生成器GB;
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定对抗网络的b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB_ed;
通过LDB_ed损失最小化,更新度量判别器D;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定度量判别器D,将xb和GA(xb)输入到度量网络得到a视角生成损失函数LGA_ed;
通过损失LGA_ed最小化,更新对抗网络的a视角的生成器参数GA;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定对抗网络的a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
通过LDA_ed损失最小化,更新度量判别器D;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的生成器GA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新对抗网络的a视角判别器DA;
固定对抗网络的b视角的生成器GB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最大化更新对抗网络的b视角判别器DB;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的判别器DA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最小化更新对抗网络的a视角生成器GA;
固定对抗网络的b视角的判别器DB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最小化更新对抗网络的b视角生成器GB;
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新对抗网络的a视角生成器GA和对抗网络的b视角生成器GB;
返回继续训练,直至所有损失函数均减低到阈值或者迭代次数达到要求。
所述循环一致性损失Lcyc,计算方法为
其中,GA(GB(xa))为将GB(xa)输入a视角的生成器GA生成的图片,GB(GA(xb))为将GA(xb)输入b视角的生成器GB生成的图片;为2范数。
所述B生成损失函数LGB_ed,计算方法为
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
所述a生成损失函数LGA_ed,计算方法为
其中,xb为给定图片,GA(xb)为将xb输入到a视角生成器,得到的图片,为对于xb~pdata(xb)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为b视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量。
所述a视角判别器DA的损失函数L(GA,DA,B,A),计算方法为
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
所述b视角判别器DB损失函数L(GB,DB,A,B),计算方法为
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片。
一种提升跨视角车辆精确检索的系统,包括
包括对抗网络模块、度量网络模块、特征计算模块,
对抗网络模块包括两个生成器、两个判别器,用以将某一视角图片输入训练好的对抗网络的该视角的图片生成器,生成另一视角图片;
度量网络模块包括度量判别器,用以将原视角图片和生成的另一视角图片输入,获得原视角图片的特征和另一视角的图片的特征;
特征计算模块用以将原视角图片的特征和另一视角的图片的特征拼接为级联特征,计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。
所述对抗网络模块和度量网络模块的训练包括
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定度量判别器D,将GB(xa)和xa输入到度量网络得到b视角生成损失函数LGB_ed;
根据损失LGB_ed最小化,更新对抗网络的b视角的生成器GB;
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定对抗网络的b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB_ed;
通过LDB_ed损失最小化,更新度量判别器D;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定度量判别器D,将xb和GA(xb)输入到度量网络得到a视角生成损失函数LGA_ed;
通过损失LGA_ed最小化,更新对抗网络的a视角的生成器参数GA;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定对抗网络的a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
通过LDA_ed损失最小化,更新度量判别器D;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的生成器GA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新对抗网络的a视角判别器DA;
固定对抗网络的b视角的生成器GB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最大化更新对抗网络的b视角判别器DB;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的判别器DA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最小化更新对抗网络的a视角生成器GA;
固定对抗网络的b视角的判别器DB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最小化更新对抗网络的b视角生成器GB;
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新对抗网络的a视角生成器GA和对抗网络的b视角生成器GB;
返回继续训练,直至所有损失函数均减低到阈值或者迭代次数达到要求。
所述循环一致性损失Lcyc,计算方法为
所述B生成损失函数LGB_ed,计算方法为
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
所述a生成损失函数LGA_ed,计算方法为
其中,xb为给定图片,GA(xb)为将xb输入到a视角生成器,得到的图片,为对于xb~pdata(xb)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为b视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量。
所述a视角判别器DA的损失函数L(GA,DA,B,A),计算方法为
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
所述b视角判别器DB损失函数L(GB,DB,A,B),计算方法为
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片。
本发明实施例提供的技术方案可以包括以下有益效果:
利用特征距离对抗学习进行跨视角样本生成,基于生成的跨视角样本生成的特征和原始样本的特征级联,能更好的抵抗车辆视角对特征检索的影响,从而提升目标检索的性能;
生成器从视觉外观和特征距离的角度在线生成跨视角样本来提升跨视角车辆精确检索的任务。对生成器施加相似性约束以使生成的跨视角样本在视觉上与真实输入相似,并保持相同的车辆ID约束。此外,车辆ReID的特征表示模型(特征提取器)无缝耦合到FDA-Net作为度量判别器,并可以实现端到端优化。随着对抗训练的进行,生成的跨视角样本越来越逼近车辆的真实跨视角图片。在车辆真正搜索阶段,生成查询车辆的跨视角样本,辅助查询样本召回在数据库中的相同身份的样本。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本发明提供了一种提升跨视角车辆精确检索的方法流程图;
图2是本发明的车辆检索结果对比的示意图;
图3是本发明的一种提升跨视角车辆精确检索的系统结构框图。
具体实施方式
实施例一
视角变化是影响ReID性能的另一个重要因素。在度量对抗性学习的基础上,提出了基于跨视角生成的车辆特征匹配问题。更具体地说,在ReID中,为每个输入的车辆图片生成一个额外的跨视角车辆图片,以实现融合的特征表示。跨视角生成是一个域转移问题(从视角A→B或者B→A)。CycleGAN关于域转移的代表性工作,但是CycleGAN转移视角,不能保证ID的身份相同。因此,我们利用特征距离对抗学习来解决CycleGAN在实例级视角转移中的局限性。
如图1所示,本发明提供了一种提升跨视角车辆精确检索的方法,包括:
将某一视角图片输入训练好的对抗网络的该视角图片的输入端,生成另一视角的图片;
将原视角图片(即所述的“某一视角”)和生成的另一视角的图片输入到训练好的度量网络中,获得原视角图片的特征和另一视角的图片的特征,用于提取图片的特征和输入图片的特征拼接到一起形成级联特征,
计算级联特征和数据库中参考车辆图片的特征算余弦距离,然后倒序排序寻找最佳的查询目标。
优选的,对于度量网络和对抗网络的训练,包括
将某一个视角的训练样本,例如A样本集合,将xa输入到b视角生成器,得到GB(xa),
固定度量判别器D,将GB(xa)和xa输入到度量网络,其中度量距离约束可以表示为:
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
固定度量判别器,将GB(xa)和xa输入到度量网络得到B生成损失函数LGB_ed;根据损失LGB_ed最小化,更新生成器参数GB;
将a视角样本xa输入b视角的生成器GB得到GB(xa);
固定b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB-ed;
相比之下,度量判别器D试图推动GB(xa)远离xa的距离。因此,D的度量损失为:
固定生成器参数,通过LD_ed损失最小化,更新度量判别器D;
同样的,将xb输入到a视角生成器GA,得到GA(xb),
固定度量判别器D,将GA(xb)和xb输入到度量网络,其中度量距离约束可以表示为:
其中,xb为给定图片,GA(xb)为将xb输入到a视角生成器,得到的图片,为对于xb~pdata(xb)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为b视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
根据损失LGA_ed最小化,更新生成器参数GA;
将b视角样本xb输入a视角的生成器GA得到GA(xb);
固定a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
相比之下,度量判别器D试图推动GA(xb)远离xb的距离。因此,D的度量损失为:
通过LDA_ed损失最小化,更新度量判别器参数D;
固定a视角的生成器GA,计算a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新DA;
DA的损失为:
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
通过损失函数L(GA,DA,B,A)最大化,更新DA,
固定b视角的生成器GB,计算b视角判别器DB损失函数L(GB,DB,A,B),
DB的损失为:
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片;
通过损失函数L(GB,DB,A,B)最大化,更新DB;
因此,在跨视角图片生成学习中,对生成器GB和生成器GA进行优化的最终损失函数可以表示为:
所述a视角生成器最终损失函数LGA为LGA=Lview+λcycLcyc+λedLDA_ed
b视角生成器最终损失函数LGB为LGB=Lview+λcycLcyc+λedLDB_ed
LD=-Lview+λedLD_ed
其中,对抗性损失函数可以表示为:
Lview=L(GB,DB,A,B)+L(GA,DA,B,A)
Lcyc为循环一致性损失,以提高映射的稳定性。λed和λcyc超参数平衡的目标。
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新GA和GB;
返回继续更新,直至所有损失函数均减低到阈值或者迭代次数达到要求。
实施例二
本发明一种提升跨视角车辆精确检索的方法,包括
将特征距离对抗学习方法扩展到跨视角对抗性学习中,包括特征距离对抗性学习和前后对抗性学习,以提高跨视角车辆图片生成的质量。给定一个输入车辆图片x,跨视角生成的目的是产生一个跨视角样本G(x)并且保持相同的身份与给定输入x。我们考虑两个方向,前方和后方,学习他们之间的映射函数,因为大多数监控摄像头捕获车辆的前方和后方的视角。因此,训练样本包括和其中xa∈A和xb∈B,N为样本的个数,A为a视角的样本的集合,B为b视角样本的集合。
我们施加额外的特征距离约束基于对抗学习来生成的图片跨视角G(x)接近输入x在约束在度量空间中a。给定图片x∈{A,B},G(x)的度量距离约束可以表示为:
LG_ed=Ex~pdata(x)max{(d(x-G(x))+a-d(x,xn),0)}
其中,x为给定图片,G(x)为生成器生成的图片,Ex~pdata(x)(*)为对于x~pdata(x)的期望值,d(*)为距离,可以为欧式距离,xn为负样本,即属于与x不同的类的样本;
相比之下,度量判别器D试图推动G(x)远离xa的距离。因此,D的度量损失为:
LD_ed=Ex~pdata(x)max((d(x,xp)+α-d(x,G(x)),0)}
其中,Ex~pdata(x)(*)为对于x~pdata(x)的期望值,d(*)为距离,可以为欧式距离,xp为正样本,即属于与x相同的类的样本,α是控制正样本和负样本之间边界的标量;
另一种前后对抗损失用于指导跨视角生成,它试图确定生成的样本是真实的前视角还是真实的后视角。目标函数可以表示为:度量判别器D试图推动G(x)远离xa的距离。因此,D的度量损失为:
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片;
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
其中的目标是最小化目标,而对抗的DB是最大化目标。目标函数GB:B→A和判别器函数DA。因此,对抗性损失函数可以表示为:
Lview=L(GB,DB,A,B)+L(GA,DA,B,A)
因此,在跨视角图片生成学习中,对生成器GB和判别器GA进行优化的最终损失函数可以表示为:
LG=Lview+λLcyc+λedLD_ed
LD=-Lview+λedLD_ed
其中Lcyc为循环一致性损失,以提高映射的稳定性。λed和λcyc超参数平衡的目标。
深度对抗网络训练步骤,所述训练步骤包括一个样本的图片数据通过具有某种特定结构性质的深度对抗网络的生成器生成一个跨视角的样本,使得该样本在高维空间中与输入的图片尽可能接近。
生成的跨视角样本用于提取图片的特征和输入图片的特征拼接到一起形成级联特征,然后在欧式空间计算多张图片的欧氏距离,通过排序实现目标精确检索的目标;
a)在训练生成器阶段,将输入的图片用生成器生成一张与其对应的跨视角图片,并将该跨视角样本和输入图片再输入到度量判别器中,计算相似度约束,调整生成器参数;
b)在训练度量判别器阶段,使用真实车辆重识别训练数据集进行训练。
约束生成的跨视角样本与给定输入样本尽可能保持在特征空间中接近。
训练度量判别器时,使用的损失函数旨在为一个更具有判别力的度量空间,可使用softmax,triplet等损失,不对目标损失函数进行限制。
如图2所示,为本发明的车辆检索结果对比的示意图。在车辆检索阶段,对查询图片和数据库中的参考图片,都进行跨视角样本生成。每个图片的特征,由两部分拼接级联构成,一部分是原始图片从特征网络(度量判别器)提取的特征,另一部分是跨视角生成的样本从特征网络提取的特征。
如图3所示,本发明一种提升跨视角车辆精确检索的系统,包括对抗网络模块、度量网络模块、特征计算模块,
对抗网络模块包括两个生成器、两个判别器,用以将某一视角图片输入训练好的对抗网络的该视角的图片生成器,生成另一视角图片;
度量网络模块包括度量判别器,用以将原视角图片和生成的另一视角图片输入,获得原视角图片的特征和另一视角的图片的特征;
特征计算模块用以将原视角图片的特征和另一视角的图片的特征拼接为级联特征,计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。
对抗网络模块和度量网络模块的训练包括:
将某一个视角的训练样本,例如A样本集合,将xa输入到b视角生成器,得到GB(xa),
固定度量判别器D,将GB(xa)和xa输入到度量网络,其中度量距离约束可以表示为:
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
固定度量判别器,将GB(xa)和xa输入到度量网络得到B生成损失函数LGB_ed;根据损失LGB_ed最小化,更新生成器参数GB;
将a视角样本xa输入b视角的生成器GB得到GB(xa);
固定b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB_ed;
相比之下,度量判别器D试图推动GB(xa)远离xa的距离。因此,D的度量损失为:
固定生成器参数,通过LD_ed损失最小化,更新度量判别器D;
同样的,将xb输入到a视角生成器GA,得到GA(xb),
固定度量判别器D,将GA(xb)和xb输入到度量网络,其中度量距离约束可以表示为:
其中,xb为给定图片,GA(xb)为将xb输入到a视角生成器,得到的图片,为对于xb~pdata(xb)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为b视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
根据损失LGA_ed最小化,更新生成器参数GA;
将b视角样本xb输入a视角的生成器GA得到GA(xb);
固定a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
相比之下,度量判别器D试图推动GA(xb)远离xb的距离。因此,D的度量损失为:
通过LDA_ed损失最小化,更新度量判别器参数D;
固定a视角的生成器GA,计算a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新DA;
DA的损失为:
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
通过损失函数L(GA,DA,B,A)最大化,更新DA,
固定b视角的生成器GB,计算b视角判别器DB损失函数L(GB,DB,A,B),DB的损失为:
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片;
通过损失函数L(GB,DB,A,B)最大化,更新DB;
因此,在跨视角图片生成学习中,对生成器GB和生成器GA进行优化的最终损失函数可以表示为:
所述a视角生成器最终损失函数LGA为LGA=Lview+λcycLcyc+λedLDA_ed
b视角生成器最终损失函数LGB为LGB=Lview+λcycLcyc+λedLDB-ed
LD=-Lview+λedLD_ed
其中,对抗性损失函数可以表示为:
Lview=L(GB,DB,A,B)+L(GA,DA,B,A)
Lcyc为循环一致性损失,以提高映射的稳定性。λed和λcyc超参数平衡的目标。
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新GA和GB。
返回继续训练,直至所有损失函数均减低到阈值或者迭代次数达到要求。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种提升跨视角车辆精确检索的方法,其特征在于,包括
将原视角图片输入训练好的对抗网络生成器的该视角的图片输入端,生成另一视角图片;
将原视角图片和生成的另一视角图片输入到训练好的度量网络中,获得原视角图片的特征和另一视角的图片的特征,将原视角图片的特征和另一视角的图片的特征拼接为级联特征,
计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。
2.如权利要求1所述的一种提升跨视角车辆精确检索的方法,其特征在于,所述对抗网络和度量网络的训练包括
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定度量判别器D,将GB(xa)和xa输入到度量网络得到b视角生成损失函数LGB_ed;
根据损失LGB_ed最小化,更新对抗网络的b视角的生成器GB;
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定对抗网络的b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB_ed;
通过LDB_ed损失最小化,更新度量判别器D;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定度量判别器D,将xb和GA(xb)输入到度量网络得到a视角生成损失函数LGA_ed;
通过损失LGA_ed最小化,更新对抗网络的a视角的生成器参数GA;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定对抗网络的a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
通过LDA_ed损失最小化,更新度量判别器D;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的生成器GA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新对抗网络的a视角判别器DA;
固定对抗网络的b视角的生成器GB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最大化更新对抗网络的b视角判别器DB;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的判别器DA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最小化更新对抗网络的a视角生成器GA;
固定对抗网络的b视角的判别器DB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最小化更新对抗网络的b视角生成器GB;
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新对抗网络的a视角生成器GA和对抗网络的b视角生成器GB;
返回继续训练,直至所有损失函数均减低到阈值或者迭代次数达到要求。
4.如权利要求3所述的一种提升跨视角车辆精确检索的方法,其特征在于,所述B生成损失函数LGB_ed,计算方法为
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
所述a生成损失函数LGA_ed,计算方法为
5.如权利要求4所述的一种提升跨视角车辆精确检索的方法,其特征在于,所述a视角判别器DA的损失函数L(GA,DA,B,A),计算方法为
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
所述b视角判别器DB损失函数L(GB,DB,A,B),计算方法为
6.一种提升跨视角车辆精确检索的系统,其特征在于,包括
包括对抗网络模块、度量网络模块、特征计算模块,
对抗网络模块包括两个生成器、两个判别器,用以将某一视角图片输入训练好的对抗网络的该视角的图片生成器,生成另一视角图片;
度量网络模块包括度量判别器,用以将原视角图片和生成的另一视角图片输入,获得原视角图片的特征和另一视角的图片的特征;
特征计算模块用以将原视角图片的特征和另一视角的图片的特征拼接为级联特征,计算级联特征和数据库中参考车辆图片的特征距离,排列展示距离最近的若干查询目标。
7.如权利要求6所述的一种提升跨视角车辆精确检索的系统,其特征在于,所述对抗网络模块和度量网络模块的训练包括
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定度量判别器D,将GB(xa)和xa输入到度量网络得到b视角生成损失函数LGB_ed;
根据损失LGB_ed最小化,更新对抗网络的b视角的生成器GB;
将a视角样本xa输入对抗网络的b视角的生成器GB得到GB(xa);
固定对抗网络的b视角的生成器GB,将GB(xa)和xa输入到度量网络计算度量损失函数LDB_ed;
通过LDB_ed损失最小化,更新度量判别器D;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定度量判别器D,将xb和GA(xb)输入到度量网络得到a视角生成损失函数LGA_ed;
通过损失LGA_ed最小化,更新对抗网络的a视角的生成器参数GA;
将b视角样本xb输入对抗网络的a视角的生成器GA得到GA(xb);
固定对抗网络的a视角的生成器Ga,将xb和GA(xb)输入到度量网络计算度量损失函数LDA_ed;
通过LDA_ed损失最小化,更新度量判别器D;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的生成器GA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最大化更新对抗网络的a视角判别器DA;
固定对抗网络的b视角的生成器GB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最大化更新对抗网络的b视角判别器DB;
将xb和GB(xa)输入到对抗网络的b视角判别器DB,将xa和GA(xb)输入到对抗网络的a视角判别器DA,
固定对抗网络的a视角的判别器DA,计算对抗网络的a视角判别器DA的损失函数L(GA,DA,B,A),通过损失函数L(GA,DA,B,A)最小化更新对抗网络的a视角生成器GA;
固定对抗网络的b视角的判别器DB,计算对抗网络的b视角判别器DB损失函数L(GB,DB,A,B),通过损失函数L(GB,DB,A,B)最小化更新对抗网络的b视角生成器GB;
计算循环一致性损失Lcyc,通过损失Lcyc最小化,更新对抗网络的a视角生成器GA和对抗网络的b视角生成器GB;
返回继续训练,直至所有损失函数均减低到阈值或者迭代次数达到要求。
9.如权利要求8所述的一种提升跨视角车辆精确检索的系统,其特征在于,所述B生成损失函数LGB_ed,计算方法为
其中,xa为给定图片,GB(xa)为将xa输入到b视角生成器,得到的图片,为对于xa~pdata(xa)的期望值,d(*)为度量判别器生成的特征之间的距离,可以为欧式距离,为a视角负样本,即属于与x不同的类的样本;α是控制正样本和负样本之间边界的标量;
所述a生成损失函数LGA_ed,计算方法为
10.如权利要求9所述的一种提升跨视角车辆精确检索的系统,其特征在于,所述a视角判别器DA的损失函数L(GA,DA,B,A),计算方法为
其中,GA(xb)为输入b视角图片xb输入生成器生成的图片,A为a视角图片集合,B为b视角图片集合,为对于xa~pdata(xa)的期望值,DA(xA)为a视角的图片输入判别器判别a视角判别器Da(*)的图片,DA(GA(xb))为GA(xb)输入a视角判别器Da(*)的图片;
所述b视角判别器DB损失函数L(GB,DB,A,B),计算方法为
其中,GB(xa)为输入a视角图片xa输入生成器生成的b视角图片,A为a视角图片集合,B为b视角图片集合,为对于xb~pdata(xb)的期望值,DB(xb)为b视角的图片输入判别器判别b视角判别器DB(*)的图片,DB(GB(xa))为GB(xa)输入b视角判别器DB(*)的图片。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818526.3A CN110704666B (zh) | 2019-08-30 | 2019-08-30 | 一种提升跨视角车辆精确检索的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910818526.3A CN110704666B (zh) | 2019-08-30 | 2019-08-30 | 一种提升跨视角车辆精确检索的方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110704666A true CN110704666A (zh) | 2020-01-17 |
CN110704666B CN110704666B (zh) | 2022-06-03 |
Family
ID=69194238
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910818526.3A Active CN110704666B (zh) | 2019-08-30 | 2019-08-30 | 一种提升跨视角车辆精确检索的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110704666B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140218036A1 (en) * | 2011-06-24 | 2014-08-07 | Terry Fry | Metal Object or Feature Detection Apparatus and Method |
CN105808732A (zh) * | 2016-03-10 | 2016-07-27 | 北京大学 | 一种基于深度度量学习的一体化目标属性识别与精确检索方法 |
CN106446150A (zh) * | 2016-09-21 | 2017-02-22 | 北京数字智通科技有限公司 | 一种车辆精确检索的方法及装置 |
CN106897390A (zh) * | 2017-01-24 | 2017-06-27 | 北京大学 | 基于深度度量学习的目标精确检索方法 |
CN108491797A (zh) * | 2018-03-22 | 2018-09-04 | 河北省科学院应用数学研究所 | 一种基于大数据的车辆图像精确检索方法 |
-
2019
- 2019-08-30 CN CN201910818526.3A patent/CN110704666B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140218036A1 (en) * | 2011-06-24 | 2014-08-07 | Terry Fry | Metal Object or Feature Detection Apparatus and Method |
CN105808732A (zh) * | 2016-03-10 | 2016-07-27 | 北京大学 | 一种基于深度度量学习的一体化目标属性识别与精确检索方法 |
CN106446150A (zh) * | 2016-09-21 | 2017-02-22 | 北京数字智通科技有限公司 | 一种车辆精确检索的方法及装置 |
CN106897390A (zh) * | 2017-01-24 | 2017-06-27 | 北京大学 | 基于深度度量学习的目标精确检索方法 |
CN108491797A (zh) * | 2018-03-22 | 2018-09-04 | 河北省科学院应用数学研究所 | 一种基于大数据的车辆图像精确检索方法 |
Non-Patent Citations (1)
Title |
---|
YIHANG LOU等: "Embedding Adversarial Learning for Vehicle Re-Identification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881321A (zh) * | 2020-07-27 | 2020-11-03 | 广元量知汇科技有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
CN111881321B (zh) * | 2020-07-27 | 2021-04-20 | 东来智慧交通科技(深圳)有限公司 | 一种基于人工智能的智慧城市安全监控方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110704666B (zh) | 2022-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108960140B (zh) | 基于多区域特征提取和融合的行人再识别方法 | |
CN109948425B (zh) | 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置 | |
CN107577990B (zh) | 一种基于gpu加速检索的大规模人脸识别方法 | |
Wang et al. | Discriminative feature and dictionary learning with part-aware model for vehicle re-identification | |
WO2018137358A1 (zh) | 基于深度度量学习的目标精确检索方法 | |
Feng et al. | Triplet distillation for deep face recognition | |
CN110598543B (zh) | 基于属性挖掘和推理的模型训练方法及行人再识别方法 | |
CN113283362B (zh) | 一种跨模态的行人重识别方法 | |
CN105989369B (zh) | 基于度量学习的行人再识别方法 | |
Zhang et al. | Dual mutual learning for cross-modality person re-identification | |
CN111368772B (zh) | 身份识别方法、装置、设备及存储介质 | |
CN111738143A (zh) | 一种基于期望最大化的行人重识别方法 | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
CN109492528A (zh) | 一种基于高斯和深度特征的行人再识别方法 | |
CN112434654B (zh) | 一种基于对称卷积神经网络的跨模态行人重识别方法 | |
CN111814705B (zh) | 一种基于批次分块遮挡网络的行人再辨识方法 | |
CN104615998B (zh) | 一种基于多视角的车辆检索方法 | |
CN110119768B (zh) | 用于车辆定位的视觉信息融合系统及方法 | |
Wang et al. | Prototype-based inter-camera learning for person re-identification | |
CN110704666B (zh) | 一种提升跨视角车辆精确检索的方法及系统 | |
CN114579794A (zh) | 特征一致性建议的多尺度融合地标图像检索方法及系统 | |
CN112084353A (zh) | 一种快速陆标-卷积特征匹配的词袋模型方法 | |
Yuan et al. | A multi-image Joint Re-ranking framework with updateable Image Pool for person re-identification | |
CN116630884A (zh) | 基于跨模态融合和模态去相关的跨模态行人再识别方法 | |
Li et al. | Few-shot meta-learning on point cloud for semantic segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |