CN116612439B - 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 - Google Patents
模态域适应性和特征鉴别性平衡方法及行人再辨识方法 Download PDFInfo
- Publication number
- CN116612439B CN116612439B CN202310891061.0A CN202310891061A CN116612439B CN 116612439 B CN116612439 B CN 116612439B CN 202310891061 A CN202310891061 A CN 202310891061A CN 116612439 B CN116612439 B CN 116612439B
- Authority
- CN
- China
- Prior art keywords
- feature
- mask
- optimization
- representing
- modal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005457 optimization Methods 0.000 claims abstract description 73
- 230000006870 function Effects 0.000 claims abstract description 38
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 18
- 230000006978 adaptation Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 5
- 230000001174 ascending effect Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模态域适应性和特征鉴别性平衡方法及行人再辨识方法,其中的模态域适应性和特征鉴别性平衡方法用于红外光与可见光跨模态行人再辨识。本发明在模态域适应性优化和特征鉴别性优化之间设置一个注意力模块,用模态域适应性优化函数监督注意力模块的掩码学习,并用特征鉴别性优化函数监督注意力模块的反掩码学习,从而借助注意力机制自动平衡模态域适应性和特征鉴别性之间的矛盾,改善特征学习效果,提升红外光与可见光跨模态行人再辨识准确性。本发明可以应用于智能视频监控系统中的行人身份识别、行人轨迹分析等,具有广泛的应用价值。
Description
技术领域
本发明涉及机器视觉、深度学习、智能视频监控领域,特别涉及一种模态域适应性和特征鉴别性平衡方法及行人再辨识方法。
背景技术
当前,在红外光与可见光跨模态行人再辨识问题中,模态域适应性和特征鉴别性是相互制约的矛盾体。模态差异的问题使得相同模态的不同身份比不同模态的相同身份更相似。虽然现有跨模态再辨识任务中,有研究设计并改进了最大平均差异来测量可见光与红外光的分布差异,但是无论它们是直接使用最大平均差异还是改进最大平均差异,这些方法都忽略了鉴别性的问题。若过分强调模态域适应性,则鉴别性会受到损害;若过分强调鉴别性,则模态域适应性就会受到伤害,导致在视频监控系统中,行人身份识别、行人轨迹分析等实战能力受到限制。
发明内容
针对现有技术的问题,本发明的目的在于提供一种模态域适应性和特征鉴别性平衡方法及行人再辨识方法,在模态域适应性优化和特征鉴别性优化之间设计一个注意力模块,用模态域适应性优化函数监督注意力模块的掩码学习,并用特征鉴别性优化函数监督注意力模块的反掩码学习,从而借助注意力机制自动平衡模态域适应性和特征鉴别性之间的矛盾,改善特征学习效果,提升红外光与可见光跨模态行人再辨识准确性。
本发明采用如下技术方案:
一方面,一种模态域适应性和特征鉴别性平衡方法,用于红外光和可见光跨模态行人再辨识,方法包括:
步骤1,获取可见光和红外光训练集图像作为训练样本,其中每个图像配有身份标识作为标签;
步骤2,构建双分支深度学习网络模型,所述双分支深度学习网络包括残差网络50和注意力模块;其中,所述残差网络50为包括一个茎层、四个残差组、一个池化层和一个批处理正则化层的序列,茎层、两残差组不共享参数,另外两残差组、池化层和批处理正则化层共享参数;所述注意力模块设置在模态域适应性优化和特征鉴别性优化之间;
步骤3,通过自动平衡模态域适应性优化和特征鉴别性优化来训练模型,获得训练好的模型,如下:
其中,表示总体训练函数,/>分别表示训练样本和标签;/>表示/>经由神经网络Net提取的特征,分为可见光样本特征/>和红外光样本特征/>;/>表示神经网络Net的网络参数;/>表示模态域适应性优化函数;/>表示特征鉴别性优化函数;表示用于模态域适应性优化的掩码,/>表示用于特征鉴别性优化的掩码,表示超参数,用于控制的/>的贡献;G(F)表示模态域适应性优化掩码/>和神经网络Net提取的特征F点乘运算的结果;/>表示点乘运算;/>表示可见光图像对应的模态域适应性优化掩码/>和神经网络Net提取的特征F RGB 点乘运算的结果,/>表示红外光图像对应的模态域适应性优化掩码/>和神经网络Net提取的特征F IR 点乘运算的结果。
优选的,模态域适应性优化的掩码采用注意力机制学习获得,如下:
其中,Att表示注意力模块,表示其模型参数。
优选的,特征鉴别性优化的掩码和模态域适应性优化的掩码/>和互为反码,如下:
。
优选的,用于生成特征鉴别性优化的掩码和模态域适应性优化的掩码的注意力模块采用多层感知机MLP实现,并赋予Sigmoid函数结尾以确保生成的掩码取值介于0到1之间,如下:
其中,Att表示用于生成特征鉴别性优化的掩码和模态域适应性优化的掩码/>的注意力模块,/>表示其模型参数,/>表示神经网络Net提取的特征F经过多层感知机生成的注意力特征。
优选的,模态域适应性优化函数利用最大差异平均损失函数/>计算获得,如下:
利用注意力增强后的两种模态特征计算最大差异平均损失函数,如下:
其中,表示可见光行人的第/>张图像注意力增强后的特征,/>表示红外光图像行人的第/>张图像注意力增强后的特征,/>表示特征映射函数,表示一个可再生的希尔伯特空间,/>表示范式计算;
其中,表示可见光行人的第/>张图像经由神经网络Net提取的特征,/>表示红外光行人的第/>张图像经由神经网络Net提取的特征,/>表示可见光对应的模态域适应性优化的掩码,/>表示红外光对应的模态域适应性优化的掩码。
优选的,其特征在于,特征鉴别性优化函数利用标签平滑交叉熵损失函数计算获得,如下:
其中,表示可见光或红外光图像行人的第/>张图像,/>表示类别数量,/>表示第/>个样本/>属于第/>类/>的后验概率,由全连接层输出得到,/>是指示器,如下:
其中,表示一个手动设置的标签平滑参数,通常设置为0.1。
另一方面,一种跨模态行人再辨识方法,基于所述的模态域适应性和特征鉴别性平衡方法,还包括:
使用训练好的模型对输入的查询图像和注册图像集进行特征提取,得到查询图像的特征和注册图像的特征,基于所提取的特征,分别计算查询图像与注册图像之间的距离,并根据距离进行升序排序,选取排名靠前的注册图像作为与查询图像相似的注册图像,输出为跨模态行人再辨识模型识别的结果。
与现有技术相比,本发明的有益效果如下:
本发明在模态域适应性优化和特征鉴别性优化之间设置一个注意力模块,用模态域适应性优化函数监督注意力模块的掩码学习,并用特征鉴别性优化函数监督注意力模块的反掩码学习,从而借助注意力机制自动平衡模态域适应性和特征鉴别性之间的矛盾,改善特征学习效果,提升红外光与可见光跨模态行人再辨识准确性;
本发明可广泛应用于智能视频监控系统中的行人身份识别、行人轨迹分析等,具有广泛的应用价值。
附图说明
图1为本发明实施例的模态域适应性和特征鉴别性平衡方法的流程图;
图2为本发明实施例的模型示意图;
图3为本发明实施例的跨模态行人再辨识方法的流程图。
具体实施方式
下面结合具体实施例,进一步阐述本发明。应理解,这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施例对本发明进行详细描述。需要说明的是,在不冲突的情况下,本发明的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
参见图1所示,本实施例一种模态域适应性和特征鉴别性平衡方法,包括如下步骤:
步骤1,获取可见光和红外光训练集图像作为训练样本,其中每个图像配有身份标识作为标签;
步骤2,构建双分支深度学习网络模型,所述双分支深度学习网络包括残差网络50和注意力模块;其中,所述残差网络50(即神经网络Resnet50)为包括一个茎层、四个残差组、一个池化层和一个批处理正则化层的序列,茎层、两残差组不共享参数,另外两残差组、池化层和批处理正则化层共享参数;所述注意力模块设置在模态域适应性优化和特征鉴别性优化之间;
步骤3,通过自动平衡模态域适应性优化和特征鉴别性优化来训练模型,获得训练好的模型。
具体的,构建的双分支深度学习网络模型参见图2所示,总体训练函数如下公式(1)所示。
其中,表示总体训练函数,/>分别表示训练样本和标签;/>表示/>经由神经网络Net提取的特征,分为可见光样本特征/>和红外光样本特征/>;/>表示神经网络Net的网络参数;/>表示模态域适应性优化函数;/>表示特征鉴别性优化函数;表示用于模态域适应性优化的掩码,/>表示用于特征鉴别性优化的掩码,表示超参数,用于控制的/>的贡献;/>表示模态域适应性优化掩码/>和神经网络Net提取的特征/>点乘运算的结果;/>表示点乘运算;/>表示可见光图像对应的模态域适应性优化掩码/>和神经网络Net提取的特征F RGB 点乘运算的结果,/>表示红外光图像对应的模态域适应性优化掩码/>和神经网络Net提取的特征F IR 点乘运算的结果。
具体的,利用注意力机制获得模态域适应性优化的掩码,如公式(2)所示:
(2)
其中,Att表示注意力模块,表示其模型参数。
具体的,特征鉴别性优化的掩码和模态域适应性优化的掩码/>和互为反码,如公式(3):
(3)
具体的,采用基于多层感知机的注意力模块用于生成特征鉴别性优化的掩码
和模态域适应性优化的掩码
,并赋予Sigmoid函数结尾以确保生成的掩码取值介于0到1之间,如公式(4)所示:
(4)
其中,Att表示用于生成特征鉴别性优化的掩码和模态域适应性优化的掩码/>的注意力模块,/>表示其模型参数,/>表示神经网络Net提取的特征经过多层感知机生成的注意力特征。
具体的,利用最大差异平均损失函数计算模态域适应性优化函数/>,具体如公式(5)所示。
(5)
利用注意力增强后的两种模态特征计算最大差异平均损失函数,如公式(6)所示:
(6)
其中,表示可见光行人的第/>张图像注意力增强后的特征,/>表示红外光图像行人的第/>张图像注意力增强后的特征,/>表示特征映射函数,表示一个可再生的希尔伯特空间,/>表示范式计算;
其中,表示可见光行人的第/>张图像经由神经网络Net提取的特征,/>表示红外光行人的第/>张图像经由神经网络Net提取的特征,/>表示可见光对应的模态域适应性优化的掩码,/>表示红外光对应的模态域适应性优化的掩码。
具体的,利用标签平滑交叉熵损失函数计算特征鉴别性优化函数/>,具体如公式(8)所示。
(8)
其中,表示可见光或红外光图像行人的第/>张图像,/>表示类别数量,/>表示第/>个样本/>属于第/>类/>的后验概率,由全连接层输出得到,/>是指示器,如公式(9)所示。
(9)
其中,表示一个手动设置的标签平滑参数,通常设置为0.1。
参见图3所示,本实施例还公开了一种跨模态行人再辨识方法,基于所述的模态域适应性和特征鉴别性平衡方法,包括:
步骤1,获取可见光和红外光训练集图像作为训练样本,其中每个图像配有身份标识作为标签;
步骤2,构建双分支深度学习网络模型,所述双分支深度学习网络包括残差网络50和注意力模块;其中,所述残差网络50为包括一个茎层、四个残差组、一个池化层和一个批处理正则化层的序列,茎层、两残差组不共享参数,另外两残差组、池化层和批处理正则化层共享参数;所述注意力模块设置在模态域适应性优化和特征鉴别性优化之间;
步骤3,通过自动平衡模态域适应性优化和特征鉴别性优化来训练模型,获得训练好的模型;
步骤4,使用训练好的模型对输入的查询图像和注册图像集进行特征提取,得到查询图像的特征和注册图像的特征,基于所提取的特征,分别计算查询图像与注册图像之间的距离,并根据距离进行升序排序,选取排名靠前的注册图像作为与查询图像相似的注册图像,输出为跨模态行人再辨识模型识别的结果。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或,单数不排除复数。系统权利要求中陈述的多个单元或系统也可以由一个单元或系统通过软件或者硬件来实现。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神范围。
Claims (5)
1.一种模态域适应性和特征鉴别性平衡方法,其特征在于,自动平衡模态域适应性优化和特征鉴别性优化,总体训练函数如下:
其中,L表示模型总体训练函数,X和Y分别表示训练样本和标签;F表示X经由神经网络Net提取的特征,分为可见光样本特征FRGB和红外光样本特征FIR;φ表示神经网络Net的网络参数;LDA表示模态域适应性优化函数;LFD表示特征鉴别性优化函数;MDA(F)表示用于模态域适应性优化的掩码,MFD(F)表示用于特征鉴别性优化的掩码,λ>0表示超参数,用于控制的LDA的贡献;G(F)表示模态域适应性优化掩码MDA(F)和神经网络Net提取的特征F点乘运算的结果;⊙表示点乘运算;G(FRGB)表示可见光图像对应的模态域适应性优化掩码MDA(FRGB)和神经网络Net提取的特征FRGB点乘运算的结果,G(FIR)表示红外光图像对应的模态域适应性优化掩码MDA(FIR)和神经网络Net提取的特征FIR点乘运算的结果;
模态域适应性优化函数LDA利用最大差异平均损失函数LMMD计算获得,如下:
LDA(G(FRGB),G(FIR))=LMMD(G(FRGB),G(FIR));
利用注意力增强后的两种模态特征计算最大差异平均损失函数LMMD,如下:
其中,G(Fi RGB),i=1,2,...,K表示可见光行人的第i张图像注意力增强后的特征,G(Fi IR)表示红外光图像行人的第i张图像注意力增强后的特征,表示特征映射函数,/>表示一个可再生的希尔伯特空间,||·||表示范式计算;
其中,Fi RGB表示可见光行人的第i张图像经由神经网络Net提取的特征,Fi IR表示红外光行人的第i张图像经由神经网络Net提取的特征,MDA(Fi RGB)表示可见光对应的模态域适应性优化的掩码,MDA(Fi IR)表示红外光对应的模态域适应性优化的掩码;
特征鉴别性优化函数LFD利用标签平滑交叉熵损失函数LLSCE计算获得,如下:
其中,j=1,2,...,K表示可见光或红外光图像行人的第i张图像,c=1,2,...,C表示类别数量,gi,c表示第i个样本Xi属于第j类cj的后验概率,由全连接层输出得到,τi,c是指示器,如下:
其中,σ表示一个手动设置的标签平滑参数,通常设置为0.1。
2.根据权利要求1所述的模态域适应性和特征鉴别性平衡方法,其特征在于,模态域适应性优化的掩码MDA(F)采用注意力机制学习获得,如下:
MDA(F)=Att(F,ω);
其中,Att表示注意力模块,ω表示其模型参数。
3.根据权利要求1所述的模态域适应性和特征鉴别性平衡方法,其特征在于,特征鉴别性优化的掩码MFD(F)和模态域适应性优化的掩码MDA(F)和互为反码,如下:
MFD(F)=1-MDA(F)。
4.根据权利要求1所述的模态域适应性和特征鉴别性平衡方法,其特征在于,用于生成特征鉴别性优化的掩码MFD(F)和模态域适应性优化的掩码MDA(F)的注意力模块采用多层感知机MLP实现,并赋予Sigmoid函数结尾以确保生成的掩码取值介于0到1之间,如下:
Att(F,ω)=Sigmoid(MLP(F),ω);
其中,Att表示用于生成特征鉴别性优化的掩码MFD(F)和模态域适应性优化的掩码MDA(F)的注意力模块,ω表示其模型参数,MLP(F)表示神经网络Net提取的特征F经过多层感知机生成的注意力特征。
5.一种跨模态行人再辨识方法,其特征在于,基于如权利要求1~4中任意一项所述的模态域适应性和特征鉴别性平衡方法,还包括:
使用通过总体训练函数训练好的模型对输入的查询图像和注册图像进行特征提取,得到查询图像的特征和注册图像的特征,基于所提取的特征,分别计算查询图像与注册图像之间的距离,并根据距离进行升序排序,选取排名靠前的注册图像作为与查询图像相似的注册图像,输出为跨模态行人再辨识模型识别的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310891061.0A CN116612439B (zh) | 2023-07-20 | 2023-07-20 | 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310891061.0A CN116612439B (zh) | 2023-07-20 | 2023-07-20 | 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116612439A CN116612439A (zh) | 2023-08-18 |
CN116612439B true CN116612439B (zh) | 2023-10-31 |
Family
ID=87684017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310891061.0A Active CN116612439B (zh) | 2023-07-20 | 2023-07-20 | 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116612439B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117315430B (zh) * | 2023-11-28 | 2024-03-12 | 华侨大学 | 面向大范围车辆再辨识的不完备模态特征融合方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022027986A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 基于跨模态行人重识别方法及装置 |
CN114220124A (zh) * | 2021-12-16 | 2022-03-22 | 华南农业大学 | 一种近红外-可见光跨模态双流行人重识别方法及系统 |
WO2022127112A1 (zh) * | 2020-12-14 | 2022-06-23 | 奥比中光科技集团股份有限公司 | 跨模态人脸识别方法、装置、设备及存储介质 |
CN114743128A (zh) * | 2022-03-09 | 2022-07-12 | 华侨大学 | 一种基于异种神经网络的多模态东北虎再辨识方法及装置 |
CN115063832A (zh) * | 2022-05-07 | 2022-09-16 | 南京邮电大学 | 一种基于全局与局部特征的对抗学习跨模态行人重识别方法 |
CN115620343A (zh) * | 2022-11-07 | 2023-01-17 | 华侨大学 | 基于多代理相似度聚合的跨模态行人再辨识方法 |
CN116052212A (zh) * | 2023-01-09 | 2023-05-02 | 河南大学 | 一种基于双重自监督学习的半监督跨模态行人重识别方法 |
-
2023
- 2023-07-20 CN CN202310891061.0A patent/CN116612439B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022027986A1 (zh) * | 2020-08-04 | 2022-02-10 | 杰创智能科技股份有限公司 | 基于跨模态行人重识别方法及装置 |
WO2022127112A1 (zh) * | 2020-12-14 | 2022-06-23 | 奥比中光科技集团股份有限公司 | 跨模态人脸识别方法、装置、设备及存储介质 |
CN114220124A (zh) * | 2021-12-16 | 2022-03-22 | 华南农业大学 | 一种近红外-可见光跨模态双流行人重识别方法及系统 |
CN114743128A (zh) * | 2022-03-09 | 2022-07-12 | 华侨大学 | 一种基于异种神经网络的多模态东北虎再辨识方法及装置 |
CN115063832A (zh) * | 2022-05-07 | 2022-09-16 | 南京邮电大学 | 一种基于全局与局部特征的对抗学习跨模态行人重识别方法 |
CN115620343A (zh) * | 2022-11-07 | 2023-01-17 | 华侨大学 | 基于多代理相似度聚合的跨模态行人再辨识方法 |
CN116052212A (zh) * | 2023-01-09 | 2023-05-02 | 河南大学 | 一种基于双重自监督学习的半监督跨模态行人重识别方法 |
Non-Patent Citations (3)
Title |
---|
基于改进困难三元组损失的跨模态行人重识别框架;李灏;唐敏;林建武;赵云波;;计算机科学(10);188-194 * |
基于生成对抗网络的跨模态行人重识别研究;冯敏;张智成;吕进;余磊;韩斌;;现代信息科技(第04期);115-117 * |
跨模态行人重识别研究与展望;陈丹;李永忠;于沛泽;邵长斌;;计算机系统应用(10);24-32 * |
Also Published As
Publication number | Publication date |
---|---|
CN116612439A (zh) | 2023-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10445602B2 (en) | Apparatus and method for recognizing traffic signs | |
CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
CN116612439B (zh) | 模态域适应性和特征鉴别性平衡方法及行人再辨识方法 | |
CN109492750B (zh) | 基于卷积神经网络和因素空间的零样本图像分类方法 | |
Xiao et al. | Multi-sensor data fusion for sign language recognition based on dynamic Bayesian network and convolutional neural network | |
CN111079847A (zh) | 一种基于深度学习的遥感影像自动标注方法 | |
CN115100709B (zh) | 一种特征分离的图像人脸识别与年龄估计方法 | |
CN114973031B (zh) | 一种无人机视角下的可见光-热红外图像目标检测方法 | |
CN117197622A (zh) | 一种基于图文多模态的目标检测标签优化方法 | |
Duman et al. | Distance estimation from a monocular camera using face and body features | |
CN111523586A (zh) | 一种基于噪声可知的全网络监督目标检测方法 | |
Moate et al. | Vehicle detection in infrared imagery using neural networks with synthetic training data | |
CN116994295B (zh) | 基于灰度样本自适应选择门的野生动物类别识别方法 | |
Pannerselvam | Adaptive parking slot occupancy detection using vision transformer and LLIE | |
CN111898528B (zh) | 数据处理方法、装置、计算机可读介质及电子设备 | |
CN111652021B (zh) | 一种基于bp神经网络的人脸识别方法及系统 | |
CN114973202B (zh) | 一种基于语义分割的交通场景障碍物检测方法 | |
CN114419529A (zh) | 一种基于分布空间对齐的跨模态行人再识别方法及系统 | |
CN114445875A (zh) | 基于深度学习的身份识别与人脸比对系统及训练方法 | |
JPH08305855A (ja) | 画像のパターン認識方法及び装置 | |
CN112801179A (zh) | 面向跨领域复杂视觉任务的孪生分类器确定性最大化方法 | |
CN111680674A (zh) | 基于自集成注意力机制的门厅人员监控方法 | |
CN117612214B (zh) | 一种基于知识蒸馏的行人搜索模型压缩方法 | |
CN117523549B (zh) | 基于深宽知识蒸馏的三维点云物体识别方法 | |
CN116012569B (zh) | 一种基于深度学习的含噪数据下的多标签图像识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |