CN115757874A - 人脸与人体协同检索方法、装置、设备和介质 - Google Patents
人脸与人体协同检索方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN115757874A CN115757874A CN202211482388.4A CN202211482388A CN115757874A CN 115757874 A CN115757874 A CN 115757874A CN 202211482388 A CN202211482388 A CN 202211482388A CN 115757874 A CN115757874 A CN 115757874A
- Authority
- CN
- China
- Prior art keywords
- module
- face
- human body
- coding
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000006870 function Effects 0.000 claims abstract description 42
- 230000004927 fusion Effects 0.000 claims abstract description 35
- 238000004821 distillation Methods 0.000 claims abstract description 19
- 230000006835 compression Effects 0.000 claims abstract description 18
- 238000007906 compression Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种人脸与人体协同检索方法人脸与人体协同检索方法、装置、设备和介;其方法包括:利用网络模型中特征编码模块的外观编码和融合编码子模块实现对行人图像人脸特征和人体特征的分别提取和融合提取;利用网络模型中的信息瓶颈模块的通道压缩和行人辨别子模块实现对特征的压缩和行人身份的分类识别;根据不同的学习目标对各网络进行联合训练直至损失函数收敛,最终将特征编码模块所提取的特征用于实现人脸与人体的协同检索。本发明通过变分蒸馏实现了对人脸特征和人体特征中共有信息的提取和冗余信息的去除,非局部注意力机制的引入以及联合训练的实施,最终有效提高了特征编码网络的表征能力以及人脸与人体协同检索的精度。
Description
技术领域
本发明属于计算机视觉技术领域,具体涉及一种人脸与人体协同检索方法、装置、设备和介质。
背景技术
口罩的佩戴会导致脸部信息大量缺失,给人脸识别增添了不利因素,且由于相机的分辨率、拍摄角度等影响,监控摄像头往往无法得到高质量的人脸照片,而人体再识别可识别的有效信息范围更多,对镜头分辨率和拍摄角度的限制较低,可以作为人脸识别的一种非常重要的补充技术,所以可利用人脸与人体的协同检索来提高识别的准确率。当代社会,能够利用人脸与人体协同检索技术通过摄像头拍摄图像及视频寻找犯罪人员、寻找走失儿童、进行车辆追踪等,对维系社会稳定,构建平安城市、智慧城市有重要意义。此外,在当前大数据时代,面对海量的视频、图片监控数据,人脸与人体协同检索解决了人工检索费时费力且准确率低的问题。
为实现人脸与人体两种不同特征信息的协同检索,提取两种特征的共有信息是必要的途径。但是,当前发展互信息估计器的方法不但要依靠复杂的设计,还对估计精度有很高的要求,而这在高维条件下难以满足,且该方法无法同时实现较高的准确性和简洁性。
发明内容
为了解决上述现有技术的不足,本发明提供了一种基于变分蒸馏表征学习的人脸与人体协同检索,该方法构建的网络模型包括特征编码模块和信息瓶颈模块。
其中特征编码模块含有外观编码和融合编码两个子模块,实现对行人图像人脸特征和人体特征的分别提取和融合;
信息瓶颈模块含有通道压缩和行人辨别两个子模块,实现对人脸特征、人体特征和融合特征的压缩,实现高维特征向低维特征的转化,并得到行人图像的身份信息;
最终在联合训练完成后将特征编码模块所提取的特征用于人脸与人体协同检索。
本发明在特征编码中引入非局部注意力机制,充分学习了网络长距离卷积计算中的空间依赖关系,学习到了图像不同空间区域的关联信息,更有利于实现对不同行人图像的区分;并且在信息瓶颈中引入变分蒸馏的思想,使压缩后的特征在保留人脸特征和人体特征共有信息的同时去除所有冗余信息,与发展互信息估计器的方法相比,此算法避开了复杂的设计,不需要对互信息进行准确的计算,更加简单易行,可以减少模型的计算量,可以同时实现较高的准确性和简洁性;
进一步的,所述特征编码模块含有外观编码和融合编码两个子模块;其中外观编码子模块用于对输入的人脸图像和人体图像分别提取人脸信息和人体信息,生成外观特征编码,其网络以Resnet-50网络为主干,并在主干网络中间引入非局部注意力模块,捕获空间域中不同局部感受野间的长距离依赖关系,进一步增强网络特征提取能力;其中融合编码子模块用于对输入的人脸图像和人体图像同时进行特征提取与融合,生成融合特征编码,其网络以Resnet-50网络为主干,并在主干网络中间引入非局部注意力模块;
所述引入的非局部注意力模块对输入的特征图用三个1×1卷积块进行映射分别获得Query、Key和Value三条支路特征图,接着对Query和每个Key进行点乘计算并通过Softmax函数得到Value支路的权重,将Value支路乘以权重并通过Softmax函数获得最终的自注意力系数,将此系数与原始输入特征相乘得到非局部注意力模块的输出;根据下式实现非局部注意力模块的输出:
zi=Wz×φ(xi)+xi
其中,Wz是要学习的权重矩阵,φ(xi)表示非局部运算和输入xi形成的残差;
进一步的,所述信息瓶颈模块含有通道压缩和行人辨别两个子模块;其中通道压缩模块用于将外观特征编码和融合特征编码进行压缩从而降低特征的维度,其网络由两个用全连接层、批正则化层和ReLU激活层构成的block组成;其中行人辨别子模块用于对行人身份进行分类,其网络依次由一个全连接层、批正则化层、LeakyReLU激活层、Dropout层和一个全连接层组成。
进一步的,要上述各模块实现所述的功能,需在训练阶段对不同模块使用适当的损失函数来实现各模块的学习目标,所述外观编码模块的一个学习目标是,使输出的人脸特征和人体特征的分布尽可能地相似,因此采用深度互学习损失结合WasSE-Rstein距离度量来约束模型学习两种特征图的共有特征,深度互学习损失函数如下所示:
Ldml=W_distance(vf,vb)
其中,W_distance是WasSE-Rstein距离度量,vf是外观编码器输出的人脸特征,vb是外观编码器输出的人体特征;
所述特征编码模块和行人辨别子模块瓶颈模块的学习目标都是尽可能对不同行人进行区分,并尽可能使得输出的特征只含有所有的共有信息而去除冗余信息,因此采用三元组损失函数、交叉熵损失函数、变分自蒸馏损失函数、变分交叉蒸馏损失函数分别对行人特征和行人身份信息进行约束,其中三元组损失函数如下所示:
Ltri=(da,p-da,n+α)+
其中,da,p为正样本对间的距离,da,n为负样本间的距离,α为人为设置的阈值,(z)+表示max(z,0);
交叉熵损失函数如下所示:
Lid=E[-log(p(yi|xi))]
其中,yi为第i个输入图像的真实类别,xi为第i个输入图像的预测类别向量,p(yi|xi)为计算xi属于类别yi的预测概率;
变分自蒸馏损失函数如下所示:
Lvsd=KL(vf,zf)+KL(vb,zb)
其中,KL是一种分布相似程度度量,Kullback-Leibler散度,vf,vb分别是外观编码模块输出的人脸特征和人体特征,zf,zb分别是信息瓶颈模块输出的人脸身份信息和人体身份信息;
变分交叉蒸馏损失函数如下所示:
Ltotal=λ1Ldml+λ2Ltri+λ3Lid+λ4LVSD+λ5LVCD
其中,不同的λ权重值用于平衡不同的损失在训练过程中所起到的作用。
本发明还提供一种装置,包括特征编码模块和信息瓶颈模块;
利用特征编码模块通过包含的外观编码和融合编码两个子模块对不同类型的行人图像的人脸特征或人体特征进行分别提取和融合提取,得出行人的外观特征和融合特征;
利用信息瓶颈模块通过包含的通道压缩子模块对所述外观特征和融合特征压缩;压缩后的特征通过信息瓶颈模块包含的行人辨别子模块,实现对行人身份的分类;
在联合训练完成后,将特征编码模块所提取的特征用于人脸与人体协同检索。
本发明还提供一种设备,所述设备包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,以执行权利要求1-7任一权利要求所述的定位方法。
本发明还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
本发明相对于现有技术具有如下的有益效果:
1、本发明的特征编码模块共用同一种具有非局部注意力模块的残差网络,关注了行人图像在网络传播中的长距离依赖信息,有效的提升了模型克服遮挡、光照、姿态变化带来的辨别困难问题的能力。
2、本发明的信息瓶颈模块运用了变分蒸馏的思想,实现了用简单易得的条件熵的差拟合互信息,避免了互信息估计器的复杂设计,并使得模型简洁性和准确性的优化方向得到统一。
3、本发明运用的变分自蒸馏损失和变分交叉蒸馏损失约束人脸和人体双通道都输出只含有共有信息的特征编码并去除冗余信息,有效地提高了模型的简洁性和应对视图变化的鲁棒性,提高了模型对行人图像的辨别能力。
附图说明
图1为本发明实施例人脸与人体协同检索方法的流程图;
图2为本发明实施例的外观编码子模块以及融合编码子模块的结构图;
图3为本发明实施例的通道压缩子模块的结构图;
图4为本发明实施例的行人辨别子模块的结构图;
图5为本发明实施例的人脸与人体协同检索方法总的结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。应当理解,描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,本实施例提供一种基于变分蒸馏表征学习的人脸与人体协同检索,主要包括以下步骤:
S101、利用网络模型中特征编码模块的外观编码和融合编码子模块实现对不同类型的行人图像的人脸特征或人体特征进行分别提取和融合提取;
具体的,以Resnet-50网络为主干搭建特征编码模块中的外观编码子模块和融合编码子模块,原始Resnet-50网络包含四个大的Block结构,每个Block均由多个Bottleneck结构连接而成,在本方法的外观编码子模块和融合编码子模块中在主干网络中引入非局部注意力模块,具体的非局部注意力模块分别加在第2个和第3个Block结构的最后2个和最后3个Bottleneck结构之后,共5个非局部注意力模块加在了原始的Resnet-50主干网络内部,并将原始Resnet-50主干网络的全局平均池化层删除,在最后加上了一层自适应全局平均池化层,最终构成外观编码子模块,如图2所示;最后将外观编码和融合编码子模块的输出作为行人的外观特征和融合特征;
S102、利用网络模型中通道压缩子模块实现对外观特征和融合特征的压缩,实现特征从高维向低维的转化;
具体的,通道压缩子模块其网络由两个用全连接层、批正则化层和ReLU激活层构成的block组成;通道压缩子模块的输入为外观编码或融合编码,经过两个全连接层将特征从2048维压缩到512维,其结构如图3所示;
S103、将压缩后的特征输入行人辨别子模块,实现对行人身份的分类;
具体的,行人辨别子模块由一个全连接层、批正则化层、LeakyReLU激活层、Dropout层和一个全连接层组成,由最后一个全连接层来进行行人身份的分类,其结构如图4所示;
S104、根据不同学习目标对各网络进行联合训练直至损失函数收敛,最终将特征编码模块所提取的特征用于实现人脸与人体协同检索;
具体的,所述总的网络模型结构如图5所示,首先将所有输入的行人图像尺寸设置为256*128大小,并对其进行数据归一化处理和数据增强处理;接着对本方法网络中的所有模块进行参数初始化,外观编码子模块和融合编码子模块使用了Resnet-50主干网络,因此可以使用在ImageNet上预训练的模型参数对其对应层进行初始化,其他层和其他子模块则使用Kaiming初始化随机产生权重;接着采用Adam优化所有模块,学习率设置为2.6x10-4,动量设置为5x10-4,(β1,β2)=(0,0.999),该模型共训练200个迭代周期;
基于不同的学习目标选用特定的损失函数,所述外观编码子模块的一个学习目标是,使输出的人脸特征和人体特征的分布尽可能地相似,因此采用深度互学习损失结合WasSE-Rstein距离度量来约束模型学习两种特征图的共有特征,深度互学习损失函数如下所示:
Ldml=W_distance(vf,vb)
其中,W_distance是WasSE-Rstein距离度量,vf是外观编码器输出的人脸特征,vb是外观编码器输出的人体特征;所述特征编码模块和信息瓶颈模块(包括所有的子模块)的学习目标都是尽可能对不同行人进行区分,并尽可能使得输出的特征只含有所有的共有信息而去除冗余信息,因此采用三元组损失函数、交叉熵损失函数、变分自蒸馏损失函数、变分交叉蒸馏损失函数分别对行人特征和行人身份信息进行约束,其中三元组损失函数如下所示:
Ltri=(da,p-da,n+α)+
其中,da,p为正样本对间的距离,da,n为负样本间的距离,α为人为设置的阈值,(z)+表示max(z,0),交叉熵损失函数如下所示:
Lid=E[-log(p(yi|xi))]
其中,yi为第i个输入图像的真实类别,xi为第i个输入图像的预测类别向量,p(yi|xi)为计算xi属于类别yi的预测概率;变分自蒸馏损失函数如下所示:
Lvsd=KL(vf,zf)+KL(vb,zb)
其中,KL是一种分布相似程度度量,Kullback-Leibler散度,vf,vb分别是外观编码模块输出的人脸特征和人体特征,zf,zb分别是信息瓶颈模块输出的人脸身份信息和人体身份信息,变分交叉蒸馏损失函数如下所示:
Ltotal=λ1Ldml+λ2Ltri+λ3Lid+λ4LVSD+λ5LVCD
其中,不同的λ权重值用于平衡不同的损失在训练过程中所起到的作用,具体的λ权重值为λ1=8,λ2=1,λ3=1,λ4=2,λ5=2;
利用上述特征编码模块提取待查询图像和图库中的图像的特征,计算所有待查询图像与图库图像特征之间的欧氏距离并归一化为余弦距离,将距离最近的图库图像视为待查询图像的目标图像。
以上所述,仅为本发明专利较佳的实施例,但本发明专利的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明专利所公开的范围内,根据本发明专利的技术方案及其发明构思加以等同替换或改变,都属于本发明专利的保护范围。
Claims (10)
1.一种人脸与人体协同检索方法,其特征在于,所述方法包括:
(1)利用特征编码模块通过包含的外观编码和融合编码两个子模块对不同类型的行人图像的人脸特征或人体特征进行分别提取和融合提取,得出行人的外观特征和融合特征;
(2)利用信息瓶颈模块通过包含的通道压缩子模块对所述外观特征和融合特征压缩;压缩后的特征通过信息瓶颈模块包含的行人辨别子模块,实现对行人身份的分类;
(3)在联合训练完成后,将特征编码模块所提取的特征用于人脸与人体协同检索。
2.根据权利要求1所述的人脸与人体协同检索方法,其特征在于,所述特征编码模块含有外观编码和融合编码两个子模块;
其中所述外观编码子模块用于对输入的人脸图像和人体图像分别提取人脸信息和人体信息,生成外观特征编码,其网络以Resnet-50网络为主干,并在主干网络中间引入非局部注意力模块,捕获空间域中不同局部感受野间的长距离依赖关系,进一步增强网络特征提取能力;
其中所述融合编码子模块用于对输入的人脸图像和人体图像同时进行特征提取与融合,生成融合特征编码,其网络以Resnet-50网络为主干,并在主干网络中间引入非局部注意力模块。
3.根据权利要求2所述的人脸与人体协同检索方法,其特征在于,所述非局部注意力模块对输入的特征图用三个1×1卷积块进行映射分别获得Query、Key和Value三条支路特征图,接着对Query和每个Key进行点乘计算并通过Softmax函数得到Value支路的权重,将Value支路乘以权重并通过Softmax函数获得最终的自注意力系数,将此系数与原始输入特征相乘得到非局部注意力模块的输出;根据下式实现非局部注意力模块的输出:
zi=Wz×φ(xi)+xi
其中,Wz是要学习的权重矩阵,φ(xi)表示非局部运算和输入xi形成的残差。
4.根据权利要求1所述的人脸与人体协同检索方法,其特征在于,所述信息瓶颈模块含有通道压缩和行人辨别两个子模块;
其中通道压缩模块用于将外观特征编码和融合特征编码进行压缩从而降低特征的维度,其网络由两个用全连接层、批正则化层和ReLU激活层构成的block组成;
其中行人辨别子模块用于对行人身份进行分类,其网络依次由一个全连接层、批正则化层、LeakyReLU激活层、Dropout层和一个全连接层组成。
5.根据权利要求1-4任一所述的人脸与人体协同检索方法,其特征在于,特征编码模块和信息瓶颈模块在训练阶段使用损失函数进行学习。
6.根据权利要求5所述的人脸与人体协同检索方法,其特征在于,
其中特征编码模块中的外观编码子模块采用深度互学习损失结合WasSE-Rstein距离度量来约束模型学习两种特征图的共有特征,深度互学习损失函数如下所示:
Ldml=W_distance(vf,vb)
其中,W_distance是WasSE-Rstein距离度量,vf是外观编码器输出的人脸特征,vb是外观编码器输出的人体特征。
7.根据权利要求5所述的人脸与人体协同检索方法,其特征在于,所述特征编码模块和信息瓶颈模块的行人辨别子模块采用三元组损失函数、交叉熵损失函数、变分自蒸馏损失函数、变分交叉蒸馏损失函数分别对行人特征和行人身份信息进行约束,其中三元组损失函数如下所示:
Ltri=(da,p-da,n+α)+
其中,da,p为正样本对间的距离,da,n为负样本间的距离,α为人为设置的阈值,(z)+表示max(z,0);
交叉熵损失函数如下所示:
Lid=E[-log(p(yi|xi))]
其中,yi为第i个输入图像的真实类别,xi为第i个输入图像的预测类别向量,p(yi|xi)为计算xi属于类别yi的预测概率;
变分自蒸馏损失函数如下所示:
Lvsd=KL(vf,zf)+KL(vb,zb)
其中,KL是一种分布相似程度度量,Kullback-Leibler散度,vf,vb分别是外观编码模块输出的人脸特征和人体特征,zf,zb分别是信息瓶颈模块输出的人脸身份信息和人体身份信息;
变分交叉蒸馏损失函数如下所示:
总的损失函数如下:
Ltotal=λ1Ldml+λ2Ltri+λ3Lid+λ4LVSD+λ5LVCD
其中,不同的λ权重值用于平衡不同的损失。
8.一种装置,其特征在于,包括特征编码模块和信息瓶颈模块;
利用特征编码模块通过包含的外观编码和融合编码两个子模块对不同类型的行人图像的人脸特征或人体特征进行分别提取和融合提取,得出行人的外观特征和融合特征;
利用信息瓶颈模块通过包含的通道压缩子模块对所述外观特征和融合特征压缩;压缩后的特征通过信息瓶颈模块包含的行人辨别子模块,实现对行人身份的分类;
在联合训练完成后,将特征编码模块所提取的特征用于人脸与人体协同检索。
9.一种设备,其特征在于,所述设备包括:
存储器,用于存储程序;
处理器,用于运行所述存储器中存储的所述程序,以执行权利要求1-7任一权利要求所述的定位方法。
10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482388.4A CN115757874B (zh) | 2022-11-24 | 2022-11-24 | 人脸与人体协同检索方法、装置、设备和介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211482388.4A CN115757874B (zh) | 2022-11-24 | 2022-11-24 | 人脸与人体协同检索方法、装置、设备和介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115757874A true CN115757874A (zh) | 2023-03-07 |
CN115757874B CN115757874B (zh) | 2023-11-03 |
Family
ID=85336996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211482388.4A Active CN115757874B (zh) | 2022-11-24 | 2022-11-24 | 人脸与人体协同检索方法、装置、设备和介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115757874B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560720A (zh) * | 2020-12-21 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种行人识别方法及系统 |
CN112818967A (zh) * | 2021-04-16 | 2021-05-18 | 杭州魔点科技有限公司 | 基于人脸识别和头肩重识别的儿童身份识别方法 |
CN115294655A (zh) * | 2022-08-18 | 2022-11-04 | 中科天网(广东)科技有限公司 | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 |
CN115376159A (zh) * | 2022-07-13 | 2022-11-22 | 南开大学 | 一种基于多模态信息的跨外观行人重识别方法 |
-
2022
- 2022-11-24 CN CN202211482388.4A patent/CN115757874B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112560720A (zh) * | 2020-12-21 | 2021-03-26 | 奥比中光科技集团股份有限公司 | 一种行人识别方法及系统 |
CN112818967A (zh) * | 2021-04-16 | 2021-05-18 | 杭州魔点科技有限公司 | 基于人脸识别和头肩重识别的儿童身份识别方法 |
CN115376159A (zh) * | 2022-07-13 | 2022-11-22 | 南开大学 | 一种基于多模态信息的跨外观行人重识别方法 |
CN115294655A (zh) * | 2022-08-18 | 2022-11-04 | 中科天网(广东)科技有限公司 | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 |
Non-Patent Citations (1)
Title |
---|
TIAN XUDONG等: "Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification", pages 1 - 8, Retrieved from the Internet <URL:https://arxiv.org/abs/2104.02862> * |
Also Published As
Publication number | Publication date |
---|---|
CN115757874B (zh) | 2023-11-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
CN109508663B (zh) | 一种基于多层次监督网络的行人重识别方法 | |
CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
CN115496928B (zh) | 基于多重特征匹配的多模态图像特征匹配方法 | |
CN113129234B (zh) | 一种场内外特征融合的残缺图像精细修复方法 | |
CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
CN115294655A (zh) | 一种基于非局部机制的多级模块特征的对抗生成行人再识别方法、装置和设备 | |
CN113066089B (zh) | 一种基于注意力引导机制的实时图像语义分割方法 | |
CN112818790A (zh) | 一种基于注意力机制与空间几何约束的行人重识别方法 | |
CN115393396B (zh) | 一种基于掩码预训练的无人机目标跟踪方法 | |
CN114387641A (zh) | 基于多尺度卷积网络和ViT的虚假视频检测方法及系统 | |
CN111210382A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN115830637B (zh) | 一种基于姿态估计和背景抑制的遮挡行人重识别方法 | |
CN112766217A (zh) | 基于解纠缠和特征级差异学习的跨模态行人重识别方法 | |
CN114693607A (zh) | 基于多域块特征标志点配准的篡改视频检测方法及系统 | |
CN117011883A (zh) | 一种基于金字塔卷积和Transformer双分支的行人重识别方法 | |
CN114926742A (zh) | 一种基于二阶注意力机制的回环检测及优化方法 | |
CN112329662B (zh) | 基于无监督学习的多视角显著性估计方法 | |
CN112668662B (zh) | 基于改进YOLOv3网络的野外山林环境目标检测方法 | |
CN112183338B (zh) | 一种基于视频的烟雾场景下人的再识别方法、系统及终端 | |
CN117765258A (zh) | 基于密度自适应和注意力机制的大规模点云语义分割方法 | |
CN112528077A (zh) | 基于视频嵌入的视频人脸检索方法及系统 | |
CN111860668A (zh) | 一种针对原始3d点云处理的深度卷积网络的点云识别方法 | |
CN116311251A (zh) | 用于复杂场景高精度立体视觉感知的轻量级语义分割方法 | |
CN115757874B (zh) | 人脸与人体协同检索方法、装置、设备和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |