CN114627496B - 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 - Google Patents

基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 Download PDF

Info

Publication number
CN114627496B
CN114627496B CN202210193826.9A CN202210193826A CN114627496B CN 114627496 B CN114627496 B CN 114627496B CN 202210193826 A CN202210193826 A CN 202210193826A CN 114627496 B CN114627496 B CN 114627496B
Authority
CN
China
Prior art keywords
pedestrian
scene
representing
batch
operation unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210193826.9A
Other languages
English (en)
Other versions
CN114627496A (zh
Inventor
查正军
刘嘉威
黄志鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210193826.9A priority Critical patent/CN114627496B/zh
Publication of CN114627496A publication Critical patent/CN114627496A/zh
Application granted granted Critical
Publication of CN114627496B publication Critical patent/CN114627496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于高斯过程的去偏批量归一化的鲁棒行人重识别方法，其步骤包括：1、构建基于去偏批量归一化模块的行人重识别网络；2、输入行人图像，计算行人重识别损失；3、基于特征统计建模的高斯过程，采样随机路径作为去偏批量归一化模块的计算参数，输入行人图像，计算去偏损失；4、利用行人重识别损失和去偏损失更新行人重识别网络；5、根据检索库和被检索库的行人特征计算相似度矩阵，并得到检索结果。本发明能将来自有限源场景的特征统计建模为高斯过程，利用随机采样路径作为潜在场景对应的批量归一化层的参数估计，从而缓解在未知目标场景上的偏差问题，以提升网络的鲁棒性和泛化能力，同时维持低水平的计算消耗。

Description

基于高斯过程的去偏批量归一化的鲁棒行人重识别方法
技术领域
本发明涉及行人重识别领场景，尤其涉及利用批量归一化操作实现鲁棒行人重识别技术领场景。
背景技术
行人重识别(Person Re-Identification)旨在从多个不同的相机视图中识别与目标行人身份一致的行人图像。该技术能够广泛应用于各种潜在场景，如目标跟踪、行为分析及智能零售等。随着深度学习技术的发展，大量复杂的行人重识别方法相继被提出，这些方法专注于处理杂乱背景、部分遮挡、视角和姿势变化等挑战，并在封闭场景的数据集上表现良好，取得了不错的性能。然而，当将训练好的模型应用在未知的复杂场景(数据场景)时，由于跨场景数据分布差异、风格差异，模型本身泛化能力不足，导致出现显著的性能下降，严重制约在实际场景中应用落地。因此，如何提升模型的泛化性与鲁棒性成为行人重识别技术亟待解决的关键问题。
现有鲁棒行人重识别方法主要分为两大类：单一模型方法和基于集成学习的方法。前者收集所有源场景数据训练单个模型以提取场景不变性特征表达。他们主要聚焦设计特定的损失函数(如设计最大平均差异损失以对齐不同场景间的特征分布)，特定架构(如模型中集成批量归一化(Batch Normalization)和实例归一化(InstanceNormalization)操作以缓解由于场景差异引起的外观风格变化)，或新的训练策略(如元学习策略模仿真实场景的训练-测试场景漂移现象)。然而，该类方法忽视了不同源场景所独有的统计信息及场景间相互关系，导致泛化能力不如人意。这种领场景蕴含的特定统计信息能够提供充分的区分性线索，指导推断未知目标场景的数据分布，从而提高模型的泛化能力。
而基于集成学习的方法旨在利用不同源场景蕴含的特定统计信息为每个源场景训练特定的场景模型，结合这些特定的场景模型增强泛化能力。这类方法假设任一数据样本都可以视作已有源场景样本的线性组合。然而，这类工作存在两个主要缺点：(1)源场景的数量极其有限，直接集成有限的源场景会导致对未知目标场景分布(真实数据分布)的高度偏差，从而损害模型的泛化能力；(2)由于训练和测试多个特定的场景模型，集成学习显著增加了计算成本。因此，如何有效地利用有限数量的源场景来提高泛化能力，并保持低水平的计算成本是鲁棒行人重识别任务的核心问题。
为了处理上述两类方法存在的缺陷，本发明提出了一种基于高斯过程的去偏批量归一化的轻量级网络模型，提升模型在未知场景下的泛化能力，同时维持低水平的计算消耗。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于高斯过程的去偏批量归一化的鲁棒行人重识别方法，以期将来自有限源场景的特征统计建模为高斯过程，利用随机采样路径作为潜在场景对应的批量归一化层的参数估计，从而缓解在未知目标场景上的偏差问题，从而提升网络的鲁棒性和泛化能力，同时维持低水平的计算消耗。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于高斯过程的去偏批量归一化的鲁棒行人重识别方法的特点在于，包括如下步骤：
步骤一、不同场景下的行人数据收集和预处理：
使用监控摄像头分别采集多个不同场景下的行人监控视频并逐帧进行行人检测和尺寸归一化预处理，得到第k个场景下的行人图像集从而由所有场景下的行人图像集构成训练数据集；其中，k是场景编号，k∈{1,2,3,…,K},K表示总的场景数量，/>表示第k个场景下第i张行人图像，/>表示第k个场景下第i张行人图像的身份ID，且 表示第m个场景中的身份ID数量；表示第k个场景中的身份ID数量；
步骤二、每个场景构建对应的批量归一化层：
步骤2.1、从所述训练数据集的每个场景中分别采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由K×p×t张图像组成当前批处理数据其中，/>表示批处理数据中第k个场景的第j张图像，/>表示批处理数据中第k个场景的第j张图像/>的身份ID；
步骤2.2、构建以ResNet-50深度学习网络为基础的并列批量归一化处理的特征提取网络；
所述ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积操作单元组成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积操作单元组成，每个卷积操作单元依次包括：一层卷积层，一层批量归一化处理层和一层ReLU激活函数层；其中任意第s个卷积操作单元的卷积层的卷积核为Ks×Ks；第1个阶段Stage 0中的卷积操作单元的卷积层的卷积核为n1×n1；
构建去偏批量归一化模块，并将所述ResNet-50深度学习网络中每个阶段的批量归一化处理层替换为所述去偏批量归一化模块，从而构建特征提取网络，其中，所述去偏批量归一化模块有两种运算模式：
在模式一下，去偏批量归一化模块作为并列的K个归一化处理层，并分别与训练数据集中的K个场景图像一一对应，将各阶段中并列的K个批量归一化处理层按照自身卷积操作单元的顺序依次进行编号，令表示第l个去偏批量归一化模块所对应的第k个并列归一化处理层，l∈{1，2，3，...，L}，L表示网络中所有去偏批量归一化模块的数量；
在模式二下，去偏批量归一化模块作为一个线性运算层，将各阶段中线性运算层按照自身卷积操作单元的顺序依次进行编号，令Linearl表示第l个去偏批量归一化模块所对应的线性运算层；
步骤2.3、当l＝1时，所述当前批处理数据输入所述特征提取网络中，并依次经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过模式一下的去偏批量归一化模块，从而利用式(1)得到第l个去偏批量归一化模块所对应的第k个并列归一化处理层的输出/>从而得到并列的K个批量归一化处理层的输出并进行拼接后，再经过ReLU激活函数层的处理，得到第l个卷积操作单元输出的K个场景下所有图像的中间特征集合/> 表示第l个卷积操作单元输出的第k个场景下第j张图像的中间特征：
式(1)和式(2)中，表示输入第l个去偏批量归一化模块的批处理数据中属于第k个场景的输入数据，/>表示/>层的输出函数，/>和/>分别是/>的权重参数和偏置参数，并通过损失函数的梯度下降进行更新，/>阳/>分别是/>的统计均值和统计方差，/>阳/>分别是/>的历史统计均值参数和历史统计方差参数，←表示滑动更新后的赋值操作，∈是常数；
当l＝2，3，...，L时，第l-1个卷积操作单元输出的K个场景下所有图像的中间特征集合作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到/>从而由第L个卷积操作单元输出最终的行人特征/>并记为 表示第k个场景下第j张图像的最终的行人特征；
步骤2.4、在所述特征提取网络后连接一个全连接层和softmax函数以构成行人重识别网络，使得行人特征经过所述全连接层的分类处理后，输出的结果再经过所述softmax函数后得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像被分类为第mp个身份ID的概率；/>表示训练数据集中的行人身份总和；
步骤2.5、利用式(3)构建当前批处理数据的身份损失Lide：
式(3)中，表示批处理数据/>中第k个场景的第j张图像被分类为身份ID为/>的概率，/>表示批处理数据/>中第k个场景的第j张图像的身份ID；
利用式(4)构建当前批处理数据的三元组损失Ltri：
式(4)中，ρ是边距参数，[*]+＝max(*，0)表示取最大值函数，表示当前批处理数据中与/>身份ID相同的正样本，/>表示批处理数据中与/>身份ID不同的负样本；
利用式(5)构建当前批处理数据的行人重识别损失Lre-id：
Lre-id＝Lid+Ltri (5)
步骤三、拟合场景场景分布高斯过程；
利用式(6)和式(7)对第l个去偏批量归一化模块所对应的第k个的权重参数、偏置参数、历史统计均值参数和历史统计方差参数进行重新组合，得到第l个去偏批量归一化模块的第k个的重组权重参数阳重组偏置参数/>
利用式(8)-式(10)计算拟合的高斯过程的两个均值数列和/>以及两个方差数列/>和/>
步骤四、从高斯过程中采样随机路径，作为网络参数进行训练：
步骤4.1、利用式(11)和式(12)从高斯过程中采样随机路径，得到随机路径中第l组采样权重参数cl和采样偏置参数dl：
式(11)和式(12)中，λ1，λ2是两个采样率，zl是从多维标准正态分布中采样得到第l个的随机数；
步骤4.2、从所述训练数据集的每个场景中分别另外采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由K×p×t张图像组成另外一批处理数据；
步骤4.3、另外一批处理数据按照步骤2.3的过程输入特征提取网络中，当l＝1时，经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过第l个卷积操作单元中模式二下的去偏批量归一化模块，从而利用式(2)得到第l个卷积操作单元输出的线形特征Linearl(xl)后，再经过ReLU激活函数层的处理，得到第l个卷积操作单元输出的K个场景下所有图像的线形中间特征集合 表示第l个卷积操作单元输出的第k个场景下第j张图像的线形中间特征：
Linearl(x′l)＝cl×x′l+dl (2)
式(2)中，x′l表示第l个去偏批量归一化模块的输入数据，Linearl(*)表示Linearl层的操作函数；
当l＝2，3，...，L时，第l-1个卷积操作单元输出的K个场景下所有图像的线形中间特征集合作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到/>从而由第L个卷积操作单元输出最终的行人特征/>及其分类概率；/>表示第k个场景下第j张图像的最终的线形行人特征；
步骤4.4、按照步骤2.4的过程对及其分类概率进行处理，得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像再次被分类为第mp个身份ID的概率；
步骤4.5、按照步骤2.5的过程建立行人重识别损失Lde-bias；
步骤五、基于训练数据集，按照步骤二、步骤三和步骤四的过程对行人重识别网络进行训练，并计算Lre-id，Lde-bias，用于更新网络参数，直到迭代次数达到设定的次数或损失误差达小于所设定的阈值时，停止训练，从而得到最优的行人重识别网络；
步骤六、检索过程：
步骤6.1、按照步骤一的方式建立查询库query和被查询库gallery，再分别输入最优的行人重识别网络，并按照步骤4.3的过程进行处理，其中，最优的行人重识别网络中第l个卷积操作单元中模式二下的去偏批量归一化模块是利用式(3)得到第l个卷积操作单元输出的线形特征Linear′l(x″l)，从而得到查询库query的行人特征和被查询库gallery的行人特征/>其中，/>表示第q个查询图像，Nq表示查询图像的数量，表示被查询库中的第g个图像，Ng表示被查询库的图像数量；
式(3)中，x″l表示输入第l个去偏批量归一化模块的输入数据，Linear′l(*)表示线性运算层Linear′l的操作函数；
步骤6.2、根据行人特征和/>计算相似度矩阵，并将相似度矩阵逐行降序排序后得到最终的检索结果。
与现有技术相比，本发明的有益效果在于：
1、本发明提出的去偏归一化模块将来自有限源场景的批量归一化层的特定特征统计建模为动态自调整的高斯过程，利用随机采样路径作为潜在新场景对应的批量归一化层的参数估计，促进模型学习更多源场景的数据规律，缓解了在未知目标场景上的偏差问题，提升了泛化能力。同时，测试过程采用平均路径作为网络参数进行串行运算，维持了低水平的计算成本。
2、本发明去偏归一化模块在训练过程中一方面将来自有限源场景的批量归一化层的特定特征统计建模为动态自调整的高斯过程，可以精准地模拟实际场景中的数据分布，另一方面利用随机采样路径作为潜在新场景对应的批量归一化层的参数估计，促进了模型学习更多源场景的数据规律，缓解了在未知目标场景上的偏差问题，提升了泛化能力。
3、本发明去偏归一化模块在测试过程中相当于一个线性运算层，相较于背景技术中的基于模型集成的方法，可以维持维持低水平的计算成本。
附图说明
图1为本发明方法的流程图。
具体实施方式
本实施例中，一种基于高斯过程的去偏批量归一化的鲁棒行人重识别方法，参照图1，具体的说，包括如下步骤：
步骤一、不同场景下的行人数据收集和预处理：
使用监控摄像头分别采集多个不同场景下的行人监控视频并逐帧进行行人检测和尺寸归一化预处理，得到第k个场景下的行人图像集从而由所有场景下的行人图像集构成训练数据集；其中，k是场景编号，k∈{1，2，3，...，K}，K表示总的场景数量，/>表示第k个场景下第i张行人图像，/>表示第k个场景下第i张行人图像的身份ID，且 表示第m个场景中的身份ID数量；表示第k个场景中的身份ID数量；本实施例中，K＝5，N1＝126，441，P1＝4，101，N2＝36，411，P2＝1，812，N3＝32，668，P3＝1，501，N4＝28，192，P4＝1，467，N5＝7，267，P5＝1，816。
步骤二、每个场景构建对应的批量归一化层：
步骤2.1、从训练数据集的每个场景中分别采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由K×p×t张图像组成当前批处理数据其中，/>表示批处理数据中第k个场景的第j张图像，/>表示批处理数据中第k个场景的第j张图像/>的身份ID；本实施例中，p＝8，k＝4。
步骤2.2、构建以ResNet-50深度学习网络为基础的并列批量归一化处理的特征提取网络；
ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积操作单元组成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积操作单元组成，每个卷积操作单元依次包括：一层卷积层，一层批量归一化处理层和一层ReLU激活函数层；其中任意第s个卷积操作单元的卷积层的卷积核为Ks×Ks；第1个阶段Stage 0中的卷积操作单元的卷积层的卷积核为n1×n1；本实施例中，S＝3，K1＝1，K2＝3，K3＝1，n_1＝7。
构建去偏批量归一化模块，并将ResNet-50深度学习网络中每个阶段的批量归一化处理层替换为去偏批量归一化模块，从而构建特征提取网络，其中，去偏批量归一化模块有两种运算模式：
在模式一下，去偏批量归一化模块作为并列的K个归一化处理层，并分别与训练数据集中的K个场景图像一一对应，将各阶段中并列的K个批量归一化处理层按照自身卷积操作单元的顺序依次进行编号，令表示第l个去偏批量归一化模块所对应的第k个并列归一化处理层，l∈{1，2，3，...，L}，L表示网络中所有去偏批量归一化模块的数量；本实施例中，L＝49。
在模式二下，去偏批量归一化模块作为一个线性运算层，将各阶段中线性运算层按照自身卷积操作单元的顺序依次进行编号，令Linearl表示第l个去偏批量归一化模块所对应的线性运算层；
步骤2.3、当l＝1时，当前批处理数据输入特征提取网络中，并依次经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过模式一下的去偏批量归一化模块，从而利用式(1)得到第l个去偏批量归一化模块所对应的第k个并列归一化处理层的输出/>从而得到并列的K个批量归一化处理层的输出/>并进行拼接后，再经过ReLU激活函数层的处理，得到/> 表示第l个卷积操作单元输出的第k个场景下第j张图像的中间特征：
式(1)和式(2)中，表示输入第l个去偏批量归一化模块的批处理数据中属于第k个场景的输入数据，/>表示/>层的输出函数，/>和/>分别是/>的权重参数和偏置参数，并通过损失函数的梯度下降进行更新，/>阳/>分别是/>的统计均值和统计方差，/>阳/>分别是/>的历史统计均值参数和历史统计方差参数，←表示滑动更新后的赋值操作，∈是常数；本实施例中，∈＝0.00001。
当l＝2，3，...，L时，作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到/>从而由第L个卷积操作单元输出最终的行人特征并简化其表达为/> 表示第k个场景下第j张图像的最终的行人特征；
步骤2.4、在特征提取网络后连接一个全连接层和softmax函数以构成行人重识别网络，使得行人特征经过全连接层的分类处理后，输出的结果再经过softmax函数后得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像被分类为第mp个身份ID的概率；/>表示训练数据集中的行人身份总和。
步骤2.5、利用式(3)构建当前批处理数据的身份损失Lide：
式(3)中，表示批处理数据/>中第k个场景的第j张图像被分类为身份ID为/>的概率，/>表示批处理数据/>中第k个场景的第j张图像的身份ID；
利用式(4)构建当前批处理数据的三元组损失Ltri：
式(4)中，ρ是边距参数，[*]+＝max(*，0)表示取最大值函数，表示当前批处理数据中与/>身份ID相同的正样本，/>表示批处理数据中与/>身份ID不同的负样本；本实施例中，ρ＝0.3。
利用式(5)构建当前批处理数据的行人重识别损失Lre-id：
Lre-id＝Lid+Ltri (5)
步骤三、拟合场景场景分布高斯过程；
权重参数、偏置参数、历史统计均值参数和历史统计方差参数的分布可以表示为真实数据的超分布假设去偏归一化模块中参数的分布遵循高斯过程(模型中沿不同深度位置批量归一化层的高斯分布的集合)。该策略从特定源域的批量归一化层学习参数，以此为基础推导动态高斯过程，拟合真实数据的超分布/>为了减少高斯过程和超分布之间的偏差，设计了一种自我改进机制，从估计的高斯过程中随机抽取几条路径作为源域之外潜在新域的批量归一化层的参数估计，以扩大数据规模。通过优化这些参数，反过来推断出更为准确的高斯过程，从而使其趋向于真实的超分布，减小估计误差。为简单起见，将批量归一化操作重新表示为线性变换。
利用式(6)和式(7)对第l个去偏批量归一化模块所对应的第k个的权重参数、偏置参数、历史统计均值参数和历史统计方差参数进行重新组合，得到第l个去偏批量归一化模块的第k个的重组权重参数和重组偏置参数/>
以此计算所有源域的每个域特定批量归一化层中参数的均值和方差，获得模型沿不同深度位置中不同批量归一化层的高斯分布集合。
利用式(8)-式(10)计算拟合的高斯过程的两个均值数列和/>以及两个方差数列/>阳/>
步骤四、从高斯过程中采样随机路径，作为网络参数进行训练：
步骤4.1、为学习对真实超分布无偏估计的高斯过程，该策略从高斯过程中随机采样几条路径作为潜在新源域对应的批量归一化层的参数估计，突破有限源域数量的限制，通过自我改进机制进一步训练和更新这些学习参数，反过来促使模型估计更为精准的高斯过程。该策略利用重参数化技巧绕过离散采样过程，从而允许模型端到端优化。
利用式(11)和式(12)从高斯过程中采样随机路径，得到随机路径中第l组采样权重参数cl和采样偏置参数dl：
式(11)和式(12)中，λ1，λ2是两个采样率，zl是从多维标准正态分布中采样得到第l个的随机数；
步骤4.2、从训练数据集的每个场景中分别另外采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由K×p×t张图像组成另外一批处理数据；
步骤4.3、另外一批处理数据按照步骤2.3的过程输入特征提取网络中，当l＝1时，经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过第l个卷积操作单元中模式二下的去偏批量归一化模块，从而利用式(2)得到第l个卷积操作单元输出的线形特征Linearl(xl)后，再经过ReLU激活函数层的处理，得到 表示第l个卷积操作单元输出的第k个场景下第j张图像的中间特征：
Linearl(x′l)＝cl×x′l+dl (2)
式(2)中，x′l表示第l个去偏批量归一化模块的输入数据，Linearl(*)表示Linearl层的操作函数；
当l＝2，3，...，L时，作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到/>从而由第L个卷积操作单元输出最终的行人特征和分类概率；
步骤4.4、按照步骤2.4的过程对和分类概率进行处理，得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像被分类为第mp个身份ID的概率；
步骤4.5、按照步骤2.5的过程建立行人重识别损失Lde-bias；
步骤五、基于训练数据集,利用步骤二、三和四对行人重识别网络进行训练，并计算Lre-id，Lde-bias，用于更新网络参数，直到迭代次数达到设定的次数或损失误差达小于所设定的阈值时，停止训练，从而得到最优的行人重识别网络；
步骤六、检索过程：
步骤6.1、按照步骤一的方式建立查询库query和被查询库gallery，并分别输入最优的行人重识别网络，并按照步骤4.3的过程进行处理，
在测试阶段，基于训练好的模型直接利用最终学习到的去偏高斯过程的平均路径作为模型中的每个批量归一化层的最终参数。输入不同的行人图像，模型能够自动判断图像中行人的身份。与集成学习方法相比，该发明仅需要单一模型进行前向推断，能够显著地减少计算成本，提升运算效率。其中，最优的行人重识别网络中第l个卷积操作单元中模式二下的去偏批量归一化模块是利用式(3)得到第l个卷积操作单元输出的线形特征Linear′l(x″l)，从而得到查询库query的行人特征和被查询库gallery的行人特征/>其中，/>表示第q个查询图像，Nq表示查询图像的数量，/>表示被查询库中的第g个图像，Ng表示被查询库的图像数量；本实施例中，Nq＝1，264，Ng＝1，134。
式(3)中，x″l表示输入第l个去偏批量归一化模块的输入数据，Linear′l(*)表示线性运算层Linear′l的操作函数；
步骤6.2、根据行人特征和/>计算相似度矩阵，并将相似度矩阵逐行降序排序后得到最终的检索结果。/>

Claims (1)

1.一种基于高斯过程的去偏批量归一化的鲁棒行人重识别方法，其特征在于，包括如下步骤：
步骤一、不同场景下的行人数据收集和预处理：
使用监控摄像头分别采集多个不同场景下的行人监控视频并逐帧进行行人检测和尺寸归一化预处理，得到第k个场景下的行人图像集从而由所有场景下的行人图像集构成训练数据集；其中，k是场景编号，k∈{1,2,3,…,K},K表示总的场景数量，表示第k个场景下第i张行人图像，/>表示第k个场景下第i张行人图像的身份ID，且/> 表示第m个场景中的身份ID数量；/>表示第k个场景中的身份ID数量；
步骤二、每个场景构建对应的批量归一化层：
步骤2.1、从所述训练数据集的每个场景中分别采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由K×p×t张图像组成当前批处理数据其中，/>表示批处理数据中第k个场景的第j张图像，/>表示批处理数据中第k个场景的第j张图像/>的身份ID；
步骤2.2、构建以ResNet-50深度学习网络为基础的并列批量归一化处理的特征提取网络；
所述ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积操作单元组成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积操作单元组成，每个卷积操作单元依次包括：一层卷积层，一层批量归一化处理层和一层ReLU激活函数层；其中任意第s个卷积操作单元的卷积层的卷积核为Ks×Ks；第1个阶段Stage 0中的卷积操作单元的卷积层的卷积核为n1×n1；
构建去偏批量归一化模块，并将所述ResNet-50深度学习网络中每个阶段的批量归一化处理层替换为所述去偏批量归一化模块，从而构建特征提取网络，其中，所述去偏批量归一化模块有两种运算模式：
在模式一下，去偏批量归一化模块作为并列的K个归一化处理层，并分别与训练数据集中的K个场景图像一一对应，将各阶段中并列的K个批量归一化处理层按照自身卷积操作单元的顺序依次进行编号，令表示第l个去偏批量归一化模块所对应的第k个并列归一化处理层，l∈{1,2,3,…,L},L表示网络中所有去偏批量归一化模块的数量；
在模式二下，去偏批量归一化模块作为一个线性运算层，将各阶段中线性运算层按照自身卷积操作单元的顺序依次进行编号，令Linearl表示第l个去偏批量归一化模块所对应的线性运算层；
步骤2.3、当l＝1时，所述当前批处理数据输入所述特征提取网络中，并依次经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过模式一下的去偏批量归一化模块，从而利用式(1)得到第l个去偏批量归一化模块所对应的第k个并列归一化处理层的输出/>从而得到并列的K个批量归一化处理层的输出/>并进行拼接后，再经过ReLU激活函数层的处理，得到第l个卷积操作单元输出的K个场景下所有图像的中间特征集合/> 表示第l个卷积操作单元输出的第k个场景下第j张图像的中间特征：
式(1)和式(2)中，表示输入第l个去偏批量归一化模块的批处理数据中属于第k个场景的输入数据，/>表示/>层的输出函数，/>和/>分别是/>的权重参数和偏置参数，并通过损失函数的梯度下降进行更新，/>和/>分别是/>的统计均值和统计方差，/>和分别是/>的历史统计均值参数和历史统计方差参数，←表示滑动更新后的赋值操作，∈是常数；
当l＝2,3,…,L时，第l-1个卷积操作单元输出的K个场景下所有图像的中间特征集合作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到从而由第L个卷积操作单元输出最终的行人特征/>并记为 表示第k个场景下第j张图像的最终的行人特征；
步骤2.4、在所述特征提取网络后连接一个全连接层和softmax函数以构成行人重识别网络，使得行人特征经过所述全连接层的分类处理后，输出的结果再经过所述softmax函数后得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像被分类为第mp个身份ID的概率；/>表示训练数据集中的行人身份总和；
步骤2.5、利用式(3)构建当前批处理数据的身份损失Lide：
式(3)中，表示批处理数据/>中第k个场景的第j张图像被分类为身份ID为/>的概率，/>表示批处理数据/>中第k个场景的第j张图像的身份ID；
利用式(4)构建当前批处理数据的三元组损失Ltri：
式(4)中，ρ是边距参数，[*]+＝max(*,0)表示取最大值函数，表示当前批处理数据中与/>身份ID相同的正样本，/>表示批处理数据中与/>身份ID不同的负样本；
利用式(5)构建当前批处理数据的行人重识别损失Lre-id：
Lre-id＝Lid+Ltri (5)
步骤三、拟合场景场景分布高斯过程；
利用式(6)和式(7)对第l个去偏批量归一化模块所对应的第k个的权重参数、偏置参数、历史统计均值参数和历史统计方差参数进行重新组合，得到第l个去偏批量归一化模块的第k个的重组权重参数和重组偏置参数/>
利用式(8)-式(10)计算拟合的高斯过程的两个均值数列和/>以及两个方差数列和/>
步骤四、从高斯过程中采样随机路径，作为网络参数进行训练：
步骤4.1、利用式(11)和式(12)从高斯过程中采样随机路径，得到随机路径中第l组采样权重参数cl和采样偏置参数dl：
式(11)和式(12)中，λ1,λ2是两个采样率，zl是从多维标准正态分布中采样得到第l个的随机数；
步骤4.2、从所述训练数据集的每个场景中分别另外采集p个行人身份ID，且每个行人身份ID分别采集t张红外行人图像，从而由张图像组成另外一批处理数据；
步骤4.3、另外一批处理数据按照步骤2.3的过程输入特征提取网络中，当l＝1时，经过第1个阶段Stage 0中第l个卷积操作单元的卷积层处理，再经过第l个卷积操作单元中模式二下的去偏批量归一化模块，从而利用式(2)得到第l个卷积操作单元输出的线形特征Linearl(xl)后，再经过ReLU激活函数层的处理，得到第l个卷积操作单元输出的K个场景下所有图像的线形中间特征集合 表示第l个卷积操作单元输出的第k个场景下第j张图像的线形中间特征：
Linearl(x′l)＝cl×x′l+dl (2)
式(2)中，x′l表示第l个去偏批量归一化模块的输入数据，Linearl(*)表示Linearl层的操作函数；
当l＝2，3，...，L时，第l-1个卷积操作单元输出的K个场景下所有图像的线形中间特征集合作为第l个卷积操作单元的输入，并经过第l个卷积操作单元的处理，得到/>从而由第L个卷积操作单元输出最终的行人特征/>及其分类概率；/>表示第k个场景下第j张图像的最终的线形行人特征；
步骤4.4、按照步骤2.4的过程对及其分类概率进行处理，得到对应的行人身份的分类概率/> 表示批处理数据中第k个场景的第j张图像再次被分类为第mp个身份ID的概率；
步骤4.5、按照步骤2.5的过程建立行人重识别损失Lde-bias；
步骤五、基于训练数据集，按照步骤二、步骤三和步骤四的过程对行人重识别网络进行训练，并计算Lre-id，Lde-bias，用于更新网络参数，直到迭代次数达到设定的次数或损失误差达小于所设定的阈值时，停止训练，从而得到最优的行人重识别网络；
步骤六、检索过程：
步骤6.1、按照步骤一的方式建立查询库query和被查询库gallery，再分别输入最优的行人重识别网络，并按照步骤4.3的过程进行处理，其中，最优的行人重识别网络中第l个卷积操作单元中模式二下的去偏批量归一化模块是利用式(3)得到第l个卷积操作单元输出的线形特征Ltnear′l(x″l)，从而得到查询库query的行人特征和被查询库gallery的行人特征/>其中，/>表示第q个查询图像，Nq表示查询图像的数量，表示被查询库中的第g个图像，Ng表示被查询库的图像数量；
式(3)中，x″l表示输入第l个去偏批量归一化模块的输入数据，Linear′l(*)表示线性运算层Linear′l的操作函数；
步骤6.2、根据行人特征和/>计算相似度矩阵，并将相似度矩阵逐行降序排序后得到最终的检索结果。
CN202210193826.9A 2022-03-01 2022-03-01 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法 Active CN114627496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210193826.9A CN114627496B (zh) 2022-03-01 2022-03-01 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210193826.9A CN114627496B (zh) 2022-03-01 2022-03-01 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法

Publications (2)

Publication Number Publication Date
CN114627496A CN114627496A (zh) 2022-06-14
CN114627496B true CN114627496B (zh) 2023-10-20

Family

ID=81900677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210193826.9A Active CN114627496B (zh) 2022-03-01 2022-03-01 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法

Country Status (1)

Country Link
CN (1) CN114627496B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115147774B (zh) * 2022-07-05 2024-04-02 中国科学技术大学 一种基于特征对齐的退化环境下的行人重识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178284A (zh) * 2019-12-31 2020-05-19 珠海大横琴科技发展有限公司 基于地图数据的时空联合模型的行人重识别方法及系统
CN113313055A (zh) * 2021-06-15 2021-08-27 大连海事大学 一种非重叠视域跨摄像头网络行人重识别方法
CN113989844A (zh) * 2021-10-29 2022-01-28 南京理工大学 一种基于卷积神经网络的行人检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102143349B1 (ko) * 2019-03-27 2020-08-11 엘지전자 주식회사 이동 로봇의 제어 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111178284A (zh) * 2019-12-31 2020-05-19 珠海大横琴科技发展有限公司 基于地图数据的时空联合模型的行人重识别方法及系统
CN113313055A (zh) * 2021-06-15 2021-08-27 大连海事大学 一种非重叠视域跨摄像头网络行人重识别方法
CN113989844A (zh) * 2021-10-29 2022-01-28 南京理工大学 一种基于卷积神经网络的行人检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Embracing Uncertainty： Decoupling and De-bias for Robust Temporal Grounding》;Zhou H et al;《IEEE》;全文 *
《基于视频流的多目标追踪技术研究》;唐聪;《中国优秀硕士学位论文全文数据库 信息科技辑》;全文 *
《视频监控中的行人再识别算法研究》;刘嘉威;《中国博士学位论文全文数据库 信息科技辑》;I136-55 *

Also Published As

Publication number Publication date
CN114627496A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
CN111553193B (zh) 一种基于轻量级深层神经网络的视觉slam闭环检测方法
US11195051B2 (en) Method for person re-identification based on deep model with multi-loss fusion training strategy
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN111611924B (zh) 一种基于深度迁移学习模型的蘑菇识别方法
CN109101938B (zh) 一种基于卷积神经网络的多标签年龄估计方法
CN110598543B (zh) 基于属性挖掘和推理的模型训练方法及行人再识别方法
CN111967343A (zh) 基于简单神经网络和极端梯度提升模型融合的检测方法
Saleem et al. A performance-optimized deep learning-based plant disease detection approach for horticultural crops of New Zealand
CN109299707A (zh) 一种基于模糊深度聚类的无监督行人再识别方法
Zhang et al. Dual mutual learning for cross-modality person re-identification
CN110070116B (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN112434599A (zh) 一种基于噪声通道的随机遮挡恢复的行人重识别方法
Yu et al. Recognition method of soybean leaf diseases using residual neural network based on transfer learning
CN114627496B (zh) 基于高斯过程的去偏批量归一化的鲁棒行人重识别方法
CN112732921A (zh) 一种虚假用户评论检测方法及系统
Sulistyo et al. Building a globally optimized computational intelligent image processing algorithm for on-site inference of nitrogen in plants
CN115713786A (zh) 一种猪只重识别方法及系统
Yu et al. A diagnosis model of soybean leaf diseases based on improved residual neural network
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
CN114550210B (zh) 基于模态自适应混合和不变性卷积分解的行人重识别方法
Li et al. Identification of Crop Diseases Based on Improved Genetic Algorithm and Extreme Learning Machine.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant