CN115909398A - 一种基于特征增强的跨域行人再识别方法 - Google Patents
一种基于特征增强的跨域行人再识别方法 Download PDFInfo
- Publication number
- CN115909398A CN115909398A CN202211423292.0A CN202211423292A CN115909398A CN 115909398 A CN115909398 A CN 115909398A CN 202211423292 A CN202211423292 A CN 202211423292A CN 115909398 A CN115909398 A CN 115909398A
- Authority
- CN
- China
- Prior art keywords
- normalization
- batch
- gaussian process
- parameters
- batch normalization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征增强的跨域行人再识别方法,该方法为:首先建立模型,获取数据集,输入到模型中;在训练第一阶段建立实例归一化高斯过程,收集实例归一化的统计,加入到高斯过程中,采样出新的实例归一化统计,作为实例归一化的再平移和再缩放参数,提取图片的特征进行分类,计算交叉熵损失,进行反向传播,更新模型的参数;接着在训练第二阶段建立批归一化高斯过程,收集批归一化参数,加入到高斯过程中,同时采样新的参数进行批归一化操作,再次提取图片的特征进行分类,计算交叉熵损失,进行反向传播,更新模型的参数和高斯过程的超参数;迭代得到最终的模型,进行行人再识别。本发明提高了跨域识别泛化行人再识别能力和识别性能。
Description
技术领域
本发明涉及计算机视觉和模式识别技术领域,特别是一种基于特征增强的跨域行人再识别方法。
背景技术
近些年来,随着计算机软硬件的进步和数据体量的扩大,计算机视觉技术蓬勃发展并在人脸识别、推荐算法等领域广泛应用,而行人再识别作为图像检索的一个子问题,在智能安防领域和智慧城市建设领域有着重要的应用意义。行人再识别是指在不同视角、不同地理区域的摄像头监控下识别同一个行人的过程。行人再识别可与行人检测、行人跟踪等技术结合,实现完整的行人搜索框架。同时,由于行人再识别数据集分辨率较低、行人姿势多样、建筑物遮挡、摄像头角度不同等问题,行人再识别研究仍然充满挑战,因此,行人再识别技术在理论和实践中都有重要的意义。
行人再识别的监督学习研究已经十分成熟,在现有的数据集上都取得了较好的检索效果,但行人再识别域泛化技术仍然亟待改进。行人再识别域泛化指的是模型在某一数据集上训练,不经微调直接应用于另一个数据集。由于域泛化无需收集目标域的数据集和标签,一经训练,可广泛应用于所有数据集,因此与同域的行人再识别相比,行人再识别域泛化的实际应用价值更高,面临的挑战也更大。
由于不同行人再识别数据集之间的差异较大,当模型在一个数据集上训练完之后直接在其他的数据集上进行测试,性能会出现非常明显的下降。因此如何较少数据集之间的差异给模型带来的影响至关重要。行人再识别领域的数据集的差异主要可分为显式的行人外观、风格上的差异与隐式的数据集统计上的差异,显式的行人外观、风格上的差异可由Instance Normalization的统计μ和σ来编码,隐式的数据集统计上的差异可由BatchNormalization的参数μ、σ、β、γ来编码,现有的行人再识别域泛化的方法往往是从消除显式差异或对齐隐式差异上出发,不能很好地泛化到未知域。此外,大多数的行人再识别域泛化方法没有考虑Batch Normalization在跨域上的偏差问题,过度依赖于源域,从而造成了较大的识别偏差。
发明内容
本发明目的在于提供一种域泛化能力强、识别性能高的跨域行人再识别方法。
实现本发明目的的技术解决方案为:一种基于特征增强的跨域行人再识别方法,包括以下步骤:
步骤1、建立跨域行人再识别的深度卷积神经网络模型;
步骤2、获取行人再识别数据集,输入到深度卷积神经网络模型中;
步骤3、建立每一个相机的实例归一化高斯过程,收集不同相机图片的实例归一化的统计,加入到不同相机的实例归一化高斯过程中;
步骤4、从实例归一化高斯过程中,采样出新的实例归一化统计,作为此次训练的实例归一化的再平移和再缩放参数;
步骤5、提取图片的特征,输入进分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和实例归一化高斯过程的超参数;
步骤6、建立所有相机的批归一化高斯过程,收集不同相机图片的批归一化参数,并加入到批归一化高斯过程中,同时进行批归一化操作;
步骤7、从批归一化高斯过程中,采样新的参数,作为此次训练的批归一化的参数;
步骤8、再次提取图片的特征,输入分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和批归一化高斯过程的超参数;
步骤9、迭代步骤2至8,直至模型收敛,得到最终的跨域行人再识别的深度卷积神经网络模型;
步骤10、使用最终的跨域行人再识别的深度卷积神经网络模型,进行跨域行人再识别。
进一步地,步骤1中所述的建立跨域行人再识别的深度卷积神经网络模型,具体如下:
以ResNet50作为网络基础,将原有的自适应平均池化替换为GeM池化层,同时在池化层后分类器前整合添加了一维Batch Normalization层,建立跨域行人再识别的深度卷积神经网络模型。
进一步地,步骤3中所述的实例归一化为Instance Normalization层;步骤4中所述的批归一化为Batch Normalization层。
进一步地,步骤5和步骤8中所述的分类器是输入channel为2048、输出channel为数据集的训练集的行人ID数量的全连接层。
进一步地,步骤3所述的建立每一个相机的实例归一化高斯过程,收集不同相机图片的实例归一化的统计,加入到不同相机的实例归一化高斯过程中,具体如下:
步骤3.1、为每个相机创建一个可学习、自优化的实例归一化高斯过程,实例归一化高斯过程由amu,arho,bmu,brho四个可学习参数控制;
其中,c表示相机ID,Tc表示batch内的第c个相机的样本数量,W表示特征的宽度,H表示特征的高度,xctilm表示一个相机为c的大小为[C,H,W]的特征。
进一步地,步骤4所述的从实例归一化高斯过程中,采样出新的实例归一化统计,作为此次训练的实例归一化的再平移和再缩放参数,具体如下:
步骤4.1、对于当前batch的每一张图片,随机从[1-n]中选取m个相机,n为当前batch的相机个数;
步骤4.2、分别从该m个相机对应的实例归一化高斯过程camcINGauss中采样μ和σ,从而得到一组μ和一组σ;
进一步地,步骤6所述的建立所有相机的批归一化高斯过程,收集不同相机图片的批归一化参数,并加入到批归一化高斯过程中,同时进行批归一化操作,具体如下:
步骤6.1、为所有相机创建一个可学习、自优化的批归一化高斯过程,批归一化高斯过程由amu,arho,bmu,brho这四个可学习参数控制;
步骤6.2、为每个相机创建一个Batch Normalization层;
步骤6.3、将当前batch内某一特定相机的图片输入进该相机所对应的BatchNormalization层,获得Batch Normalization层的μB、β以及γ参数,将其加入到批归一化高斯过程,计算形式如下:
其中,c表示相机ID,T表示batch内样本数量。
进一步地,步骤7所述的从批归一化高斯过程中,采样新的参数,作为此次训练的批归一化的参数,其计算形式如下:
步骤7.1、从批归一化高斯过程BNGauss中采样得到a′,b′;
步骤7.2、利用步骤7.1得到的a′,b′进行统计增强后的批归一化,其计算形式如下:
进一步地,步骤8所述的再次提取图片的特征,输入分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和批归一化高斯过程的超参数,具体如下:
所述批归一化高斯过程的超参数指的是批归一化高斯过程的超参数amu,arho,bmu,brho;
所述交叉熵损失的公式如下所示:
其中T为当前batch样本数量,N为类别数。
本发明与现有技术相比,其显著优点为:(1)从特征增强的角度出发,利用实例归一化的参数和批归一化的参数分别构造自学习的高斯过程,使模型对不同的风格和统计鲁棒;(2)针对批归一化在域泛化中的偏差问题,使用高斯过程来构造多样的统计来避免批归一化的统计对源域过拟合,且推理时使用高斯过程的平均路径,减少了批归一化在域泛化中的偏差问题;(3)提高了行人再识别模型的跨域识别泛化能力和识别性能。
附图说明
图1是本发明一种基于特征增强的跨域行人再识别方法的流程示意图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步的详细说明。
结合图1,本发明一种基于特征增强的跨域行人再识别方法,包括以下步骤:
步骤1、建立跨域行人再识别的深度卷积神经网络模型,具体如下:
以ResNet50作为网络基础,将原有的自适应平均池化替换为GeM池化层,同时在池化层后分类器前整合添加了一维Batch Normalization层,建立跨域行人再识别的深度卷积神经网络模型。
步骤2、获取行人再识别数据集,输入到深度卷积神经网络模型中。
步骤3、建立每一个相机的实例归一化高斯过程,收集不同相机图片的实例归一化的统计,加入到不同相机的实例归一化高斯过程中,具体如下:
步骤3.1、为每个相机创建一个可学习、自优化的实例归一化高斯过程,实例归一化高斯过程由amu,arho,bmu,brho四个可学习参数控制;
其中,c表示相机ID,Tc表示batch内的第c个相机的样本数量,W表示特征的宽度,H表示特征的高度,xctilm表示一个相机为c的大小为[C,H,W]的特征。
步骤4、从实例归一化高斯过程中,采样出新的实例归一化统计,作为此次训练的实例归一化的再平移和再缩放参数,具体如下:
步骤4.1、对于当前batch的每一张图片,随机从[1-n]中选取m个相机,n为当前batch的相机个数;
步骤4.2、分别从该m个相机对应的实例归一化高斯过程camcINGauss中采样μ和σ,从而得到一组μ和一组σ;
步骤5、提取图片的特征,输入进分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数。
步骤6、建立所有相机的批归一化高斯过程,收集不同相机图片的批归一化参数,并加入到批归一化高斯过程中,同时进行批归一化操作,具体如下:
步骤6.1、为所有相机创建一个可学习、自优化的批归一化高斯过程,批归一化高斯过程由amu,arho,bmu,brho这四个可学习参数控制;
步骤6.2、为每个相机创建一个Batch Normalization层;
步骤6.3、将当前batch内某一特定相机的图片输入进该相机所对应的BatchNormalization层,获得Batch Normalization层的μB、β以及γ参数,将其加入到批归一化高斯过程,计算形式如下:
其中,c表示相机ID,T表示batch内样本数量。
步骤7、从批归一化高斯过程中,采样新的参数,作为此次训练的批归一化的参数,其计算形式如下:
步骤7.1、从批归一化高斯过程BNGauss中采样得到a′,b′;
步骤7.2、利用步骤7.1得到的a′,b′进行统计增强后的批归一化,其计算形式如下:
步骤8、再次提取图片的特征,输入分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和批归一化高斯过程的超参数,具体如下:
所述批归一化高斯过程的超参数指的是批归一化高斯过程的超参数amu,arho,bmu,brho;
所述交叉熵损失的公式如下所示:
其中T为当前batch样本数量,N为类别数。
步骤9、迭代步骤2至8,直至模型收敛,得到最终的跨域行人再识别的深度卷积神经网络模型;
步骤10、使用最终的跨域行人再识别的深度卷积神经网络模型,进行跨域行人再识别。
进一步地,步骤3中所述的实例归一化为Instance Normalization层;步骤4中所述的批归一化为Batch Normalization层。
进一步地,步骤5和步骤8中所述的分类器是输入channel为2048,输出channel为数据集的训练集的行人ID数量的全连接层。
Claims (10)
1.一种基于特征增强的跨域行人再识别方法,其特征在于,包括以下步骤:
步骤1、建立跨域行人再识别的深度卷积神经网络模型;
步骤2、获取行人再识别数据集,输入到深度卷积神经网络模型中;
步骤3、建立每一个相机的实例归一化高斯过程,收集不同相机图片的实例归一化的统计,加入到不同相机的实例归一化高斯过程中;
步骤4、从实例归一化高斯过程中,采样出新的实例归一化统计,作为此次训练的实例归一化的再平移和再缩放参数;
步骤5、提取图片的特征,输入进分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和实例归一化高斯过程的超参数;
步骤6、建立所有相机的批归一化高斯过程,收集不同相机图片的批归一化参数,并加入到批归一化高斯过程中,同时进行批归一化操作;
步骤7、从批归一化高斯过程中,采样新的参数,作为此次训练的批归一化的参数;
步骤8、再次提取图片的特征,输入分类器进行分类,计算交叉熵损失,并进行反向传播,更新深度卷积神经网络模型的参数和批归一化高斯过程的超参数;
步骤9、迭代步骤2至步骤8,直至模型收敛,得到最终的跨域行人再识别的深度卷积神经网络模型;
步骤10、使用最终的跨域行人再识别的深度卷积神经网络模型,进行跨域行人再识别。
2.根据权利要求1所述的基于特征增强的跨域行人再识别方法,其特征在于,步骤1中所述的建立跨域行人再识别的深度卷积神经网络模型,具体如下:
以ResNet50作为网络基础,将原有的自适应平均池化替换为GeM池化层,同时在池化层后分类器前整合添加了一维Batch Normalization层,建立跨域行人再识别的深度卷积神经网络模型。
3.根据权利要求1所述的基于特征增强的跨域行人再识别方法,其特征在于,步骤3中所述的实例归一化为Instance Normalization层。
4.根据权利要求1所述的基于特征增强的跨域行人再识别方法,其特征在于,步骤4中所述的批归一化为Batch Normalization层。
5.根据权利要求1所述的基于特征增强的跨域行人再识别方法,其特征在于,步骤5和步骤8中所述的分类器是输入channel为2048、输出channel为数据集的训练集的行人ID数量的全连接层。
6.根据权利要求1所述的基于特征增强的跨域行人再识别方法,其特征在于,步骤3所述的建立每一个相机的实例归一化高斯过程,收集不同相机图片的实例归一化的统计,加入到不同相机的实例归一化高斯过程中,具体如下:
步骤3.1、为每个相机创建一个可学习、自优化的实例归一化高斯过程,实例归一化高斯过程由amu,arho,bmu,brho四个可学习参数控制;
其中,c表示相机ID,Tc表示batch内的第c个相机的样本数量,W表示特征的宽度,H表示特征的高度,xctilm表示一个相机为c的大小为[C,H,W]的特征。
8.根据权利要求1所述的基于特征增强的跨域行人再识别的方法,其特征在于,步骤6所述的建立所有相机的批归一化高斯过程,收集不同相机图片的批归一化参数,并加入到批归一化高斯过程中,同时进行批归一化操作,具体如下:
步骤6.1、为所有相机创建一个可学习、自优化的批归一化高斯过程,批归一化高斯过程由amu,arho,bmu,brho这四个可学习参数控制;
步骤6.2、为每个相机创建一个Batch Normalization层;
步骤6.3、将当前batch内某一特定相机的图片输入进该相机所对应的BatchNormalization层,获得Batch Normalization层的μB、β以及γ参数,将其加入到批归一化高斯过程,计算形式如下:
其中,c表示相机ID,T表示batch内样本数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423292.0A CN115909398A (zh) | 2022-11-15 | 2022-11-15 | 一种基于特征增强的跨域行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211423292.0A CN115909398A (zh) | 2022-11-15 | 2022-11-15 | 一种基于特征增强的跨域行人再识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115909398A true CN115909398A (zh) | 2023-04-04 |
Family
ID=86487280
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211423292.0A Pending CN115909398A (zh) | 2022-11-15 | 2022-11-15 | 一种基于特征增强的跨域行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115909398A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173477A (zh) * | 2023-09-05 | 2023-12-05 | 北京交通大学 | 一种基于多层级数据扰动策略的域泛化行人再识别方法 |
-
2022
- 2022-11-15 CN CN202211423292.0A patent/CN115909398A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117173477A (zh) * | 2023-09-05 | 2023-12-05 | 北京交通大学 | 一种基于多层级数据扰动策略的域泛化行人再识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107273800B (zh) | 一种基于注意机制的卷积递归神经网络的动作识别方法 | |
CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
CN110348357B (zh) | 一种基于深度卷积神经网络的快速目标检测方法 | |
CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
CN103854016B (zh) | 基于方向性共同发生特征的人体行为分类识别方法及系统 | |
CN107301382B (zh) | 基于时间依赖约束下深度非负矩阵分解的行为识别方法 | |
CN107066951B (zh) | 一种人脸自发表情的识别方法及系统 | |
CN112862849B (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
CN110390308B (zh) | 一种基于时空对抗生成网络的视频行为识别方法 | |
CN113627266A (zh) | 基于Transformer时空建模的视频行人重识别方法 | |
CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
CN115909398A (zh) | 一种基于特征增强的跨域行人再识别方法 | |
CN114333062B (zh) | 基于异构双网络和特征一致性的行人重识别模型训练方法 | |
CN107220607B (zh) | 基于3d平稳小波的运动轨迹行为识别方法 | |
CN115393944A (zh) | 一种基于多维特征融合的微表情识别方法 | |
CN111242028A (zh) | 基于U-Net的遥感图像地物分割方法 | |
CN104200202B (zh) | 一种基于累加感知机的人体上半身检测方法 | |
CN111310838A (zh) | 一种基于深度Gabor网络的药效图像分类识别方法 | |
CN113591607B (zh) | 一种车站智能疫情防控系统及方法 | |
CN115439690A (zh) | 一种结合CNN和Transformer的烤烟烟叶图像分级方法 | |
CN114445691A (zh) | 模型训练方法、装置、电子设备及存储介质 | |
Wang et al. | A fall detection system based on convolutional neural networks | |
CN111898473A (zh) | 一种基于深度学习的司机状态实时监测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |