CN114724182A - 基于时序补偿引导的强化学习图像-视频行人重识别方法 - Google Patents

基于时序补偿引导的强化学习图像-视频行人重识别方法 Download PDF

Info

Publication number
CN114724182A
CN114724182A CN202210362412.4A CN202210362412A CN114724182A CN 114724182 A CN114724182 A CN 114724182A CN 202210362412 A CN202210362412 A CN 202210362412A CN 114724182 A CN114724182 A CN 114724182A
Authority
CN
China
Prior art keywords
video
pedestrian
network
image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210362412.4A
Other languages
English (en)
Other versions
CN114724182B (zh
Inventor
查正军
刘嘉威
吴蔚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210362412.4A priority Critical patent/CN114724182B/zh
Publication of CN114724182A publication Critical patent/CN114724182A/zh
Application granted granted Critical
Publication of CN114724182B publication Critical patent/CN114724182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时序补偿引导的强化学习图像‑视频行人重识别方法，包括：1、构建序列特征提取网络；2、将行人视频与图像输入序列特征提取网络，提取由时序补偿的视频特征、图像特征，计算身份损失和三元组损失对网络参数进行更新；3、基于强化学习理论构建序列决策模块网络，设计奖励
Figure DDA0003584434850000011
计算该模块中的actor网络和critic网络的损失以更新网络参数；4、根据图像查询库和视频待检索库的行人特征计算相似度矩阵，获得检索结果。本发明利用强化学习理论动态地选择所必需行人视频帧数，能降低行人视频中冗余信息和噪声对网络的干扰，从而在使用较少的帧数情况下实现高效、准确地行人图像‑视频匹配。

Description

基于时序补偿引导的强化学习图像-视频行人重识别方法
技术领域
本发明涉及行人重识别场景，具体而言是一种基于时序信息补偿引导的强化学习图像- 视频跨模态行人重识别方法。
背景技术
行人重识别(Person Re-Identification)旨在从多个不同的相机视图中识别目标行人身份。 该技术在智能监控系统，行为分析和人机交互等诸多领域中拥有的巨大潜力，近年来引起了 越来越多的关注。由于背景杂乱，部分遮挡，拍摄角度、照明和身体姿势变化等因素，行人 重识别非常具有挑战性。现有的大多数方法主要关注基于图像或视频的单模态行人重识别， 即基于图像-图像或视频-视频的行人匹配技术，极大地限制了行人重识别在很多实际场景中 的应用。这就引出了图像-视频跨模态行人重识别(Image-to-Video Person Re-Identification)。 该任务的目标在于给定一张行人图像，从多个不同的相机视图中识别与检索包含同一行人身 份的视频。相较于基于图像或视频的单模态行人重识别而言，该任务的主要难点在于需要解 决图像和视频之间信息不对等问题。视频中蕴含大量空间和时间信息而图像中只含有空间信 息，这使视频和图像在特征空间存在巨大的差异，难以衡量图像特征和视频特征的相似度， 导致图像-视频跨模态行人检索性能不足以支撑实际场景的应用落地。为此，视频和图像信 息不对等问题成为图像-视频行人重识别技术亟待解决的关键。
为解决上述问题，现有图像-视频行人重识别方法主要分为两大类：1)利用距离度量方 法将图像和视频特征投影同一特征空间；2)利用知识蒸馏方法使图像特征提取网络具备视频 特征提取网络学习时序信息的能力。两者均将图像-视频行人重识别视作跨模态检索任务， 驱使网络模型从视频和图像中学习相似的特征表达，忽略了视频和图像之间由于时空信息不 对等问题引起的巨大差异。第二类方法还需要分别构建图像特征提取网络与视频特征提取网 络，极大程度上提高了网络模型的复杂度。此外，视频序列通常包含大量冗余的外观信息和 噪声，而现有的两类方法直接从所有视频帧中提取特征，未考虑噪声和冗余信息对网络模型 造成的影响，导致视频特征表达的鲁棒性和有效性不如人意。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种基于时序补偿引导的强化学 习图像-视频行人重识别方法，以期能减少视频序列中时空冗余信息与噪声的干扰，从而实 现从图像到视频的行人匹配以达到高效、精确的身份识别。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于时序补偿引导的强化学习图像-视频行人重识别方法的特点在于，包括 如下步骤：
步骤一、行人数据收集和预处理：
分别采集不同场景的行人视频数据并逐帧使用行人检测方法和尺寸归一化法进行预处理， 获得训练数据集
Figure BDA0003584434830000021
其中，x′i表示第i段行人视频，且第i段行人视频x′i所包 含的帧数为ti，即
Figure BDA0003584434830000022
Figure BDA0003584434830000023
表示第i段行人视频x′i内第t帧图像，y′i表示第i段行人视 频x′i对应的行人身份ID，且
Figure BDA0003584434830000024
m表示任意一个行人的身份ID，
Figure BDA0003584434830000025
表示 训练数据集中D的身份ID数量；N表示训练数据集D中的行人视频的数量；
步骤二、构建批处理视频数据：
步骤2.1、从所述训练数据集D中随机采集p个行人身份ID，且根据每个行人身份ID分 别随机选取n段相应行人身份ID的行人视频，再从每段行人视频中采样T帧图像，从而由p×n段视频序列构成当前批的处理数据
Figure BDA0003584434830000026
其中，xj表示批处理数据X中时间长度为T的第j段视频，且
Figure BDA0003584434830000027
Figure BDA0003584434830000028
表示第j段视频xj中的第t帧图像，yj表示批处理数 据X中第j段视频xj中对应的行人身份ID；
步骤2.2、构建以ResNet-50深度学习网络为基础的序列特征提取网络；
所述ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积核为 k1×k1的卷积层，一个批量归一化处理层和一个ReLU激活函数层构成，其余4个阶段均由 Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括 4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积层组成，每个卷积层后均连接一个批量归一化处理层和一个ReLU激活函数层；其中第s个卷积层的卷积核为Ks×Ks；
所述序列特征提取模块包含一个由ResNet-50网络前四个阶段构成的基础特征提取模块， 一个多头注意力模块及T个补偿残差检测器；
其中，所述多头注意力模块包含两个卷积层，每个补充残差检测器包含一个由ResNet- 50网络第五阶段构造的补偿特征学习模块；
步骤2.3、将当前批的处理数据X中的第j段视频xj输入所述序列特征提取网络，经过所 述基础特征提取模块的处理后，得到第j个基础特征
Figure BDA0003584434830000029
Figure BDA00035844348300000210
表示第j段视频xj中的第 t帧图像
Figure BDA00035844348300000211
对应的基础特征；
当t＝1时，第t帧图像
Figure BDA00035844348300000212
对应的基础特征
Figure BDA00035844348300000213
经过第t个补偿残差检测模块的提取后，得 到第t帧图像
Figure BDA0003584434830000031
对应的特征
Figure BDA0003584434830000032
并令第t帧图像
Figure BDA0003584434830000033
对应的包含时序补偿信息的序列特征
Figure BDA0003584434830000034
其中，
Figure BDA0003584434830000035
表示前t-1帧图像对应的包含时序补偿信息的序列特征，且
Figure BDA0003584434830000036
当t≥2时，前t-1帧图像对应的序列特征
Figure BDA0003584434830000037
经由卷积核为1×1的降维卷积层和一个多 头注意力模块的处理后，获得前t-1帧图像对应的维度为k2×c的显著性特征
Figure BDA0003584434830000038
其中， k2表示显著区域的数量；
在第t个补偿残差检测器中，将显著性特征
Figure BDA0003584434830000039
作为维度为k×k×c的卷积核，并与第t 帧基础特征
Figure BDA00035844348300000310
进行卷积学习后获取前t-1帧图像对应的显著性特征
Figure BDA00035844348300000311
在第t帧图像
Figure BDA00035844348300000312
上对 应的显著区域的掩图
Figure BDA00035844348300000313
并利用式(1)得到第t帧图像
Figure BDA00035844348300000314
蕴含的补偿残差信息
Figure BDA00035844348300000315
Figure BDA00035844348300000316
所述补偿残差信息
Figure BDA00035844348300000317
经过第t个补偿特征学习模块的处理后得到补偿特征
Figure BDA00035844348300000318
将
Figure BDA00035844348300000319
与前t-1帧对应的包含时序补偿信息的序列特征
Figure BDA00035844348300000320
相加后获得前t帧对应的包含时 序补偿信息的序列特征
Figure BDA00035844348300000321
第j段视频xj的所有帧图像对应的包含时序补偿信息的序列特征
Figure BDA00035844348300000322
经过一个时空平均池 化层后输出第j个特征集合
Figure BDA00035844348300000323
从而得到当前批的处理数据X的特征集合
Figure BDA00035844348300000324
其中，
Figure BDA00035844348300000325
表示第j段视频xj的前t帧图像提取的含时序补偿信息的序列特征向量；
步骤2.4、构建由actor网络和critic网络组成的智能体，并作为序列决策模块网络；其中， critic网络包括三个全连接层，actor网络包括三个全连接层和一个Sigmoid函数层；
步骤2.4.1、从当前批的处理数据X中获取与行人视频xj不同的行人视频x′j，行人视频x′j对应行人ID为y′j，将行人视频x′j中的第一帧记为行人图像Ii，行人图像Ii经过所述序列特征 提取网络后得到对应的图像特征向量v′i；
步骤2.4.2、在t时刻将第j段行人视频xj中第t帧图像
Figure BDA00035844348300000326
对应的基础特征
Figure BDA00035844348300000327
经池化层后 获得基础特征向量
Figure BDA00035844348300000328
步骤2.4.3、第j段行人视频xj中前t帧图像
Figure BDA00035844348300000329
对应的包含时序补偿信息的序列特征、第 t帧图像
Figure BDA00035844348300000330
对应的基础特征向量
Figure BDA00035844348300000331
以及图像Ii对应的图像特征向量v′i输入所述actor网络中进 行运算，并输出t时刻的动作at，且at∈(0，1)；若at≥0.5，则将
Figure BDA0003584434830000041
为第j段行人视频xj对 应的视频特征向量
Figure BDA0003584434830000042
若at＜0.5，则将t+1赋值给t后，返回步骤2.4.2顺序执行；
步骤三、使用行人重识别损失更新序列特征提取网络：
步骤3.1、所述序列特征向量
Figure BDA0003584434830000043
经过一个全连接层的分类处理后，输出的结果再经过 Softmax函数后得到对应行人身份ID的分类概率
Figure BDA0003584434830000044
其中，
Figure BDA0003584434830000045
表示行人视频xj每一帧被 为正确行人身份ID为yj的概率集合，且
Figure BDA0003584434830000046
Figure BDA0003584434830000047
表示行人视频xj中第t帧被分类为 正确行人身份ID yj的概率，利用式(2)计算身份损失函数Lide：
Figure BDA0003584434830000048
步骤3.2、利用式(3)计算当前批的处理数据X的三元组损失Ltri：
Figure BDA0003584434830000049
式(3)中，ρ是边距参数，[*]+＝max(*，0)表示取最大值函数，
Figure BDA00035844348300000410
表示第j段视频xj中前 t帧序列特征向量，
Figure BDA00035844348300000411
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID相同 的正样本视频xp中前t帧图像对应的序列特征向量，yp表示行人视频xp对应的行人身份ID，
Figure BDA00035844348300000414
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID不同的负样本视频xe中前 t帧图像对应的序列特征向量，ye表示行人视频xe对应的行人身份ID；
步骤3.3、利用式(4)计算当前批的处理数据X的行人重识别损失Lre-id：
Lre-id＝Lide+Ltri (4)
步骤3.4、基于所述训练数据集，使用Adam优化策略对序列特征提取网络进行训练优 化，直至网络损失函数Lre-id收敛为止，从而得到最优的序列特征提取网络；
步骤四、使用强化学习损失更新所述序列决策模块网络：
步骤4.1、利用式(5)构建t时刻奖励
Figure BDA00035844348300000412
Figure BDA00035844348300000413
式(5)中，β为超参，
Figure BDA0003584434830000051
表示在t时刻根据actor网络选择动作设置对应的奖励，r0表示固 定奖励参数；
若at≥0.5，则在两种情况下判定为正确，并按式(5)计算奖励
Figure BDA0003584434830000052
1)图像Ii与视频xj对应 同一行人身份ID，且v′i与
Figure BDA0003584434830000053
的相似度比之前所有的相似度大；2)图像Ii与视频xj对应不同行 人身份ID，且v′i与
Figure BDA0003584434830000054
的相似度比之前所有相似度小；其余情况判定为错误，并按式(5)计算 奖励
Figure BDA0003584434830000055
若at＜0.5，则计算
Figure BDA0003584434830000056
与v′i的相似度，并按式(5)计算奖励
Figure BDA0003584434830000057
将t+1赋值给t，并使用 actor网络中重新进行判定；
步骤4.2、利用式(6)和式(7)分别计算actor网络的损失函数Lact和critic网络的损失函数 Lcrt：
Figure BDA0003584434830000058
Figure BDA0003584434830000059
式(6)和式(7)中，
Figure BDA00035844348300000510
代表actor网络输出，C(*)代表critic网络输出，|*|表示求绝对值， ||*||2表示平方差函数；
步骤4.3、基于所述训练数据集，使用Adam优化策略对序列决策模块网络的actor网络 和critic网络进行交替训练，直至损失函数Lact和Lcrt收敛为止，从而得到最优的序列决策模 块网络；
步骤五、检索过程：
步骤5.1、按照步骤一的方式构建视频查询库和视频待检索库，并取视频查询库内所有 视频的第一帧构成图像查询库，将图像查询库和视频待检索库分别记作query和gallery，并 一起输入最优的序列特征提取网络和最优的序列决策模块网络对应的actor网络中进行处理， 从而由actor网络输出视频待检索库gallery的对应的视频特征
Figure BDA00035844348300000511
由序列特征提取 网络输出图像查询库query对应的图像特征
Figure BDA00035844348300000512
其中，
Figure BDA00035844348300000513
表示图像查询库query 中的第q个查询图像对应的特征，Nq表示查询图像中的数量，
Figure BDA00035844348300000514
表示视频待检索库 gallery中的第g个视频对应的特征，Ng表示视频待检索库gallery中的视频数量；
步骤5.2、根据图像特征
Figure BDA00035844348300000515
和视频特征
Figure BDA00035844348300000516
计算相似度矩阵，并将相似 度矩阵逐行降序排序输出得到最终的检索结果。
与现有技术相比，本发明的有益效果在于：
1、本发明首次将图像-视频跨模态行人重识别任务视为点到集的匹配问题，通过序列特 征提取网络学习视频帧间的互补信息，增强了视频特征表达，利用强化学习理论构造了根据 行人查询图像内容，动态地选择所需视频帧数的智能体，极大地提高了图像-视频行人检索 的效率和准确率。
2、本发明将点到集的匹配问题建模为马尔可夫过程，基于强化学习理论设计了一个 actor-critic智能体(称为序列决策模块网络)，并设计特定的奖励机制，促使模型能根据不 同的行人查询图像，自适应地从全部视频帧选择合适的帧数，累积充分的时序补偿区分线索， 从而提升了图像-视频行人检索的效率，同时避免了额外视频帧内噪声的引入，获得更为可 靠的视频行人特征。
3、本发明使用序列特征提取网络可动态抑制连续视频帧内已激活的显著信息，深入挖掘 视频帧间未探索的、潜在的互补线索，避免了视频内蕴含的大量时空冗余信息对网络造成干 扰，从而提高了视频特征的鲁棒性以及图像-视频行人检索的准确率。
附图说明
图1为本发明方法的流程图。
具体实施方式
本实施例中，一种基于时序信息补偿引导的强化学习图像-视频行人重识别方法，是为 了解决视频和图像之间由于时空信息不对等差异问题，该方法将图像-视频跨模态行人检索 视为点到集的匹配问题，深入挖掘视频序列所蕴含的互补信息，减少视频序列中时空冗余信 息与噪声的干扰，利用强化学习理论根据行人查询图像内容动态地使用较少的视频帧数，累 积充分的时序补偿区分线索，完成从图像到视频的行人匹配，实现高效、精确的身份识别。
参照图1，具体地说，包括如下步骤：
步骤一、行人数据收集和预处理：
分别采集不同场景的行人视频数据并逐帧使用行人检测方法和尺寸归一化法进行预处理， 获得训练数据集
Figure BDA0003584434830000061
其中，x′i表示第i段行人视频，且第i段行人视频x′i所包 含的帧数为ti，即
Figure BDA0003584434830000062
Figure BDA0003584434830000063
表示第i段行人视频x′i内第t帧图像，y′i表示第i段行人视 频x′i对应的行人身份ID，且
Figure BDA0003584434830000064
m表示任意一个行人的身份ID，
Figure BDA0003584434830000065
表示 训练数据集中D的身份ID数量；N表示训练数据集D中的行人视频的数量；本实施例中， N＝8298，
Figure BDA0003584434830000066
ti平均值为61.5。
步骤二、构建批处理视频数据：
步骤2.1、从训练数据集D中随机采集p个行人身份ID，且根据每个行人身份ID分别随 机选取n段相应行人身份ID的行人视频，再从每段行人视频中采样T帧图像，从而由p×n段视频序列构成当前批的处理数据
Figure BDA0003584434830000071
其中，xj表示批处理数据X中时间长度为 T的第j段视频，且
Figure BDA0003584434830000072
Figure BDA0003584434830000073
表示第j段视频xj中的第t帧图像，yj表示批处理数据X中 第j段视频xj中对应的行人身份ID；本实施例中，p＝4，n＝4，T＝6。
步骤2.2、构建以ResNet-50深度学习网络为基础的序列特征提取网络；
ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积核为k1×k1的卷积层，一个批量归一化处理层和一个ReLU激活函数层构成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积层组成，每个卷积层后均 连接一个批量归一化处理层和一个ReLU激活函数层；其中第s个卷积层的卷积核为Ks×Ks； 本实施例中，k1＝7，S＝3，K1＝1，K2＝3，K3＝1；
序列特征提取模块包含一个由ResNet-50网络前四个阶段构成的基础特征提取模块，一 个多头注意力模块及T个补偿残差检测器；本实施例中，T＝6；
其中，多头注意力模块包含两个卷积层，每个补充残差检测器包含一个由ResNet-50网 络第五阶段构造的补偿特征学习模块；本实施例中，T个补偿残差检测器中的补偿特征学习 模块均为ResNet-50网络的第五阶段，为减少网络参数量，其T个补偿残差检测器的前两个 Bottleneck模块的参数共享，最后一个Bottleneck模块的参数各不相同。不同补偿特征学习 模块用于挖掘不同帧内的互补信息，对其进行累计能够获取更为有效的行人特征。当构建序 列特征提取模块用于提取行人查询图像对应的特征时，仅使用基础特征提取模块和第一个补 偿残差检测器，避免了针对图像和视频数据需要搭建不同的网络，极大程度地降低了网络的 复杂度。
步骤2.3、将当前批的处理数据X中的第j段视频xj输入序列特征提取网络，经过基础特 征提取模块的处理后，得到第j个基础特征
Figure BDA0003584434830000074
Figure BDA0003584434830000075
表示第j段视频xj中的第t帧图像
Figure BDA0003584434830000076
对应的基础特征；
当t＝1时，第t帧图像
Figure BDA0003584434830000077
对应的基础特征
Figure BDA0003584434830000078
经过第t个补偿残差检测模块的提取后，得 到第t帧图像
Figure BDA0003584434830000079
对应的特征
Figure BDA00035844348300000710
并令第t帧图像
Figure BDA00035844348300000711
对应的包含时序补偿信息的序列特征
Figure BDA00035844348300000712
其中，
Figure BDA00035844348300000713
表示前t-1帧图像对应的包含时序补偿信息的序列特征，且
Figure BDA00035844348300000714
当t≥2时，前t-1帧图像对应的序列特征
Figure BDA0003584434830000081
经由卷积核为1×1的降维卷积层和一个多 头注意力模块的处理后，获得前t-1帧图像对应的维度为k2×c的显著性特征
Figure BDA0003584434830000082
其中， k2表示显著区域的数量；本实例中k＝3，c＝1024；
在第t个补偿残差检测器中，将显著性特征
Figure BDA0003584434830000083
作为维度为k×k×c的卷积核，并与第t 帧基础特征
Figure BDA0003584434830000084
进行卷积学习后获取前t-1帧图像对应的显著性特征
Figure BDA0003584434830000085
在第t帧图像
Figure BDA0003584434830000086
上对 应的显著区域的掩图
Figure BDA0003584434830000087
并利用式(1)得到第t帧图像
Figure BDA0003584434830000088
蕴含的补偿残差信息
Figure BDA0003584434830000089
Figure BDA00035844348300000810
补偿残差信息
Figure BDA00035844348300000811
经过第t个补偿特征学习模块的处理后得到补偿特征
Figure BDA00035844348300000812
将
Figure BDA00035844348300000813
与前t-1帧对应的包含时序补偿信息的序列特征
Figure BDA00035844348300000814
相加后获得前t帧对应的包含时 序补偿信息的序列特征
Figure BDA00035844348300000815
第j段视频xj的所有帧图像对应的包含时序补偿信息的序列特征
Figure BDA00035844348300000816
经过一个时空平均池 化层后输出第j个特征集合
Figure BDA00035844348300000817
从而得到当前批的处理数据X的特征集合
Figure BDA00035844348300000818
其中，
Figure BDA00035844348300000819
表示第j段视频xj的前t帧图像提取的含时序补偿信息的序列特征向量；本实例中， 当k＝1时，
Figure BDA00035844348300000820
可以被视作大小为1×1×c的卷积核，将
Figure BDA00035844348300000821
与
Figure BDA00035844348300000822
卷积等价于计算
Figure BDA00035844348300000823
中每 个特征向量与
Figure BDA00035844348300000824
之间的相似度。
步骤2.4、构建由actor网络和critic网络组成的智能体，被称为序列决策模块网络。其 中，critic网络包括三个全连接层，actor网络含三个全连接层和一个Sigmoid函数层；本实 例中，actor网络用于判断是否需要视频序列中下一帧的互补信息辅助识别，从而决定最终 行人视频对应的特征表达，critic网络用于预测状态动作值；
步骤2.4.1、从当前批的处理数据X中获取与行人视频xj不同的行人视频x′j，行人视频x′j对应行人ID为y′j，将行人视频x′j中的第一帧记为行人图像Ii，行人图像Ii经过序列特征提取 网络后得到对应的图像特征向量v′i；
步骤2.4.2、在t时刻将第j段行人视频xj中第t帧图像
Figure BDA00035844348300000825
对应的基础特征
Figure BDA00035844348300000826
经池化层后 获得基础特征向量
Figure BDA00035844348300000827
步骤2.4.3、第j段行人视频xj中前t帧图像
Figure BDA00035844348300000828
对应的包含时序补偿信息的序列特征、第t帧图像
Figure BDA0003584434830000091
对应的基础特征向量
Figure BDA0003584434830000092
以及图像Ii对应的图像特征向量v′i输入actor网络中进行运 算，并输出t时刻的动作at，且at∈(0，1)；若at≥0.5，则将
Figure BDA0003584434830000093
为第j段行人视频xj对应的 视频特征向量
Figure BDA0003584434830000094
若at＜0.5，则将t+1赋值给t后，返回步骤2.4.2顺序执行；视频特征向 量
Figure BDA0003584434830000095
由agent根据视频xj中前t帧图像
Figure BDA0003584434830000096
对应的包含时序补偿信息的序列特征，第t帧图像
Figure BDA0003584434830000097
对应的基础特征向量
Figure BDA0003584434830000098
以及图像Ii对应的图像特征向量v′i确定；
步骤三、使用行人重识别损失更新序列特征提取网络：
步骤3.1、序列特征向量
Figure BDA0003584434830000099
经过一个全连接层的分类处理后，输出的结果再经过Softmax函数后得到对应行人身份ID的分类概率
Figure BDA00035844348300000910
其中，
Figure BDA00035844348300000911
表示行人视频xj每一帧被为正确行人身份ID为yj的概率集合，且
Figure BDA00035844348300000912
Figure BDA00035844348300000913
表示行人视频xj中第t帧被分类为正确行人身份ID yj的概率，利用式(2)计算身份损失函数Lide：
Figure BDA00035844348300000914
步骤3.2、利用式(3)计算当前批的处理数据X的三元组损失Ltri：
Figure BDA00035844348300000915
式(3)中，ρ是边距参数，[*]+＝max(*，0)表示取最大值函数，
Figure BDA00035844348300000916
表示第j段视频xj中前 t帧序列特征向量，
Figure BDA00035844348300000917
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID相同 的正样本视频xp中前t帧图像对应的序列特征向量，yp表示行人视频xp对应的行人身份ID，
Figure BDA00035844348300000918
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID不同的负样本视频xe中前 t帧图像对应的序列特征向量，ye表示行人视频xe对应的行人身份ID；
步骤3.3、利用式(4)计算当前批的处理数据X的行人重识别损失Lre-id：
Lre-id＝Lide+Ltri (4)
该损失函数能够驱使序列特征提取网络中每个补偿残差检测器都能从视频各帧内学习鲁 棒的互补信息。
步骤3.4、基于训练数据集，使用Adam优化策略对序列特征提取网络进行训练优化， 直至网络损失函数Lre-id收敛为止，从而得到最优的序列特征提取网络；
步骤四、使用强化学习损失更新序列决策模块网络：
步骤4.1、利用式(5)构建t时刻奖励
Figure BDA0003584434830000101
Figure BDA0003584434830000102
式(5)中，β为超参，
Figure BDA0003584434830000103
表示在t时刻根据actor网络选择动作设置对应的奖励，r0表示固 定奖励参数；本实施例中，β＝1.9，r0＝1.0；
若at≥0.5，则在两种情况下判定为正确，并按式(5)计算奖励
Figure BDA0003584434830000104
1)图像Ii与视频xj对应 同一行人身份ID，且v′i与
Figure BDA0003584434830000105
的相似度比之前所有的相似度大；2)图像Ii与视频xj对应不同行 人身份ID，且v′i与
Figure BDA0003584434830000106
的相似度比之前所有相似度小；其余情况判定为错误，并按式(5)计算 奖励
Figure BDA0003584434830000107
若at＜0.5，则计算
Figure BDA0003584434830000108
与v′i的相似度，并按式(5)计算奖励
Figure BDA0003584434830000109
将t+1赋值给t，并使用 actor网络中重新进行判定；
步骤4.2、利用式(6)和式(7)分别计算actor网络的损失函数Lact和critic网络的损失函数 Lcrt：
Figure BDA00035844348300001010
Figure BDA00035844348300001011
式(6)和式(7)中，
Figure BDA00035844348300001012
代表actor网络输出，C(*)代表critic网络输出，|*|表示求绝对值， ||*||2表示平方差函数；
步骤4.3、基于训练数据集，使用Adam优化策略对序列决策模块网络的actor网络和 critic网络进行交替训练，直至损失函数Lact和Lcrt收敛为止，从而得到最优的序列决策模块 网络；
步骤五、检索过程：
步骤5.1、按照步骤一的方式构建视频查询库和视频待检索库，并取视频查询库内所有 视频的第一帧构成图像查询库，将图像查询库和视频待检索库分别记作query和gallery，并 一起输入最优的序列特征提取网络和最优的序列决策模块网络对应的actor网络中进行处理， 从而由actor网络输出视频待检索库gallery的对应的视频特征
Figure BDA00035844348300001013
由序列特征提取 网络输出图像查询库query对应的图像特征
Figure BDA00035844348300001014
其中，
Figure BDA00035844348300001015
表示图像查询库query 中的第q个查询图像对应的特征，Nq表示查询图像中的数量，
Figure BDA0003584434830000111
表示视频待检索库 gallery中的第g个视频对应的特征，Ng表示视频待检索库gallery中的视频数量；本实施例 中，Nq＝1980，Ng＝10200；
步骤5.2、根据图像特征
Figure BDA0003584434830000112
和视频特征
Figure BDA0003584434830000113
计算相似度矩阵，并将相似 度矩阵逐行降序排序输出得到最终的检索结果。

Claims (1)

1.一种基于时序补偿引导的强化学习图像-视频行人重识别方法，其特征在于，包括如下步骤：
步骤一、行人数据收集和预处理：
分别采集不同场景的行人视频数据并逐帧使用行人检测方法和尺寸归一化法进行预处理，获得训练数据集
Figure FDA0003584434820000011
其中，x'i表示第i段行人视频，且第i段行人视频x'i所包含的帧数为ti，即
Figure FDA0003584434820000012
Figure FDA0003584434820000013
表示第i段行人视频x'i内第t帧图像，y'i表示第i段行人视频x'i对应的行人身份ID，且
Figure FDA0003584434820000014
m表示任意一个行人的身份ID，
Figure FDA0003584434820000015
表示训练数据集中D的身份ID数量；N表示训练数据集D中的行人视频的数量；
步骤二、构建批处理视频数据：
步骤2.1、从所述训练数据集D中随机采集p个行人身份ID，且根据每个行人身份ID分别随机选取n段相应行人身份ID的行人视频，再从每段行人视频中采样T帧图像，从而由p×n段视频序列构成当前批的处理数据
Figure FDA0003584434820000016
其中，xj表示批处理数据X中时间长度为T的第j段视频，且
Figure FDA0003584434820000017
Figure FDA0003584434820000018
表示第j段视频xj中的第t帧图像，yj表示批处理数据X中第j段视频xj中对应的行人身份ID；
步骤2.2、构建以ResNet-50深度学习网络为基础的序列特征提取网络；
所述ResNet-50深度学习网络包括5个阶段，其中，第1个阶段Stage 0由一个卷积核为k1×k1的卷积层，一个批量归一化处理层和一个ReLU激活函数层构成，其余4个阶段均由Bottleneck模块组成；第2个阶段Stage 1包含3个Bottleneck模块，剩下3个阶段分别包括4个、6个、3个Bottleneck模块，每个Bottleneck模块由S个卷积层组成，每个卷积层后均连接一个批量归一化处理层和一个ReLU激活函数层；其中第s个卷积层的卷积核为Ks×Ks；
所述序列特征提取模块包含一个由ResNet-50网络前四个阶段构成的基础特征提取模块，一个多头注意力模块及T个补偿残差检测器；
其中，所述多头注意力模块包含两个卷积层，每个补充残差检测器包含一个由ResNet-50网络第五阶段构造的补偿特征学习模块；
步骤2.3、将当前批的处理数据X中的第j段视频xj输入所述序列特征提取网络，经过所述基础特征提取模块的处理后，得到第j个基础特征
Figure FDA0003584434820000019
Figure FDA00035844348200000110
表示第j段视频xj中的第t帧图像
Figure FDA00035844348200000111
对应的基础特征；
当t＝1时，第t帧图像
Figure FDA00035844348200000112
对应的基础特征
Figure FDA00035844348200000113
经过第t个补偿残差检测模块的提取后，得到第t帧图像
Figure FDA0003584434820000021
对应的特征
Figure FDA0003584434820000022
并令第t帧图像
Figure FDA0003584434820000023
对应的包含时序补偿信息的序列特征
Figure FDA0003584434820000024
其中，
Figure FDA0003584434820000025
表示前t-1帧图像对应的包含时序补偿信息的序列特征，且
Figure FDA0003584434820000026
当t≥2时，前t-1帧图像对应的序列特征
Figure FDA0003584434820000027
经由卷积核为1×1的降维卷积层和一个多头注意力模块的处理后，获得前t-1帧图像对应的维度为k2×c的显著性特征
Figure FDA0003584434820000028
其中，k2表示显著区域的数量；
在第t个补偿残差检测器中，将显著性特征
Figure FDA0003584434820000029
作为维度为k×k×c的卷积核，并与第t帧基础特征
Figure FDA00035844348200000210
进行卷积学习后获取前t-1帧图像对应的显著性特征
Figure FDA00035844348200000211
在第t帧图像
Figure FDA00035844348200000212
上对应的显著区域的掩图
Figure FDA00035844348200000213
并利用式(1)得到第t帧图像
Figure FDA00035844348200000214
蕴含的补偿残差信息
Figure FDA00035844348200000215
Figure FDA00035844348200000216
所述补偿残差信息
Figure FDA00035844348200000217
经过第t个补偿特征学习模块的处理后得到补偿特征
Figure FDA00035844348200000218
将
Figure FDA00035844348200000219
与前t-1帧对应的包含时序补偿信息的序列特征
Figure FDA00035844348200000220
相加后获得前t帧对应的包含时序补偿信息的序列特征
Figure FDA00035844348200000221
第j段视频xj的所有帧图像对应的包含时序补偿信息的序列特征
Figure FDA00035844348200000222
经过一个时空平均池化层后输出第j个特征集合
Figure FDA00035844348200000223
从而得到当前批的处理数据X的特征集合
Figure FDA00035844348200000224
其中，
Figure FDA00035844348200000225
表示第j段视频xj的前t帧图像提取的含时序补偿信息的序列特征向量；
步骤2.4、构建由actor网络和critic网络组成的智能体，并作为序列决策模块网络；其中，critic网络包括三个全连接层，actor网络包括三个全连接层和一个Sigmoid函数层；
步骤2.4.1、从当前批的处理数据X中获取与行人视频xj不同的行人视频x'j，行人视频x'j对应行人ID为y'j，将行人视频x'j中的第一帧记为行人图像Ii，行人图像Ii经过所述序列特征提取网络后得到对应的图像特征向量v'i；
步骤2.4.2、在t时刻将第j段行人视频xj中第t帧图像
Figure FDA00035844348200000226
对应的基础特征
Figure FDA00035844348200000227
经池化层后获得基础特征向量
Figure FDA00035844348200000228
步骤2.4.3、第j段行人视频xj中前t帧图像
Figure FDA00035844348200000229
对应的包含时序补偿信息的序列特征、第t帧图像
Figure FDA00035844348200000230
对应的基础特征向量
Figure FDA00035844348200000231
以及图像Ii对应的图像特征向量v'i输入所述actor网络中进行运算，并输出t时刻的动作at，且at∈(0,1)；若at≥0.5，则将
Figure FDA0003584434820000031
为第j段行人视频xj对应的视频特征向量
Figure FDA0003584434820000032
若at<0.5，则将t+1赋值给t后，返回步骤2.4.2顺序执行；
步骤三、使用行人重识别损失更新序列特征提取网络：
步骤3.1、所述序列特征向量
Figure FDA0003584434820000033
经过一个全连接层的分类处理后，输出的结果再经过Softmax函数后得到对应行人身份ID的分类概率
Figure FDA0003584434820000034
其中，
Figure FDA0003584434820000035
表示行人视频xj每一帧被为正确行人身份ID为yj的概率集合，且
Figure FDA0003584434820000036
Figure FDA0003584434820000037
表示行人视频xj中第t帧被分类为正确行人身份ID yj的概率，利用式(2)计算身份损失函数Lide：
Figure FDA0003584434820000038
步骤3.2、利用式(3)计算当前批的处理数据X的三元组损失Ltri：
Figure FDA0003584434820000039
式(3)中，ρ是边距参数，[*]+＝max(*,0)表示取最大值函数，
Figure FDA00035844348200000310
表示第j段视频xj中前t帧序列特征向量，
Figure FDA00035844348200000311
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID相同的正样本视频xp中前t帧图像对应的序列特征向量，yp表示行人视频xp对应的行人身份ID，
Figure FDA00035844348200000312
表示当前批的处理数据X中与第j段视频xj所对应的行人身份ID不同的负样本视频xe中前t帧图像对应的序列特征向量，ye表示行人视频xe对应的行人身份ID；
步骤3.3、利用式(4)计算当前批的处理数据X的行人重识别损失Lre-id：
Lre-id＝Lide+Ltri (4)
步骤3.4、基于所述训练数据集，使用Adam优化策略对序列特征提取网络进行训练优化，直至网络损失函数Lre-id收敛为止，从而得到最优的序列特征提取网络；
步骤四、使用强化学习损失更新所述序列决策模块网络：
步骤4.1、利用式(5)构建t时刻奖励
Figure FDA00035844348200000313
Figure FDA00035844348200000314
式(5)中，β为超参，
Figure FDA0003584434820000041
表示在t时刻根据actor网络选择动作设置对应的奖励，r0表示固定奖励参数；
若at≥0.5，则在两种情况下判定为正确，并按式(5)计算奖励
Figure FDA0003584434820000042
1)图像Ii与视频xj对应同一行人身份ID，且v'i与
Figure FDA0003584434820000043
的相似度比之前所有的相似度大；2)图像Ii与视频xj对应不同行人身份ID，且v'i与
Figure FDA0003584434820000044
的相似度比之前所有相似度小；其余情况判定为错误，并按式(5)计算奖励
Figure FDA0003584434820000045
若at<0.5，则计算
Figure FDA0003584434820000046
与v'i的相似度，并按式(5)计算奖励
Figure FDA0003584434820000047
将t+1赋值给t，并使用actor网络中重新进行判定；
步骤4.2、利用式(6)和式(7)分别计算actor网络的损失函数Lact和critic网络的损失函数Lcrt：
Figure FDA0003584434820000048
Figure FDA0003584434820000049
式(6)和式(7)中，
Figure FDA00035844348200000410
代表actor网络输出，C(*)代表critic网络输出,|*|表示求绝对值，||*||2表示平方差函数；
步骤4.3、基于所述训练数据集，使用Adam优化策略对序列决策模块网络的actor网络和critic网络进行交替训练，直至损失函数Lact和Lcrt收敛为止，从而得到最优的序列决策模块网络；
步骤五、检索过程：
步骤5.1、按照步骤一的方式构建视频查询库和视频待检索库，并取视频查询库内所有视频的第一帧构成图像查询库，将图像查询库和视频待检索库分别记作query和gallery，并一起输入最优的序列特征提取网络和最优的序列决策模块网络对应的actor网络中进行处理，从而由actor网络输出视频待检索库gallery的对应的视频特征
Figure FDA00035844348200000411
由序列特征提取网络输出图像查询库query对应的图像特征
Figure FDA00035844348200000412
其中，
Figure FDA00035844348200000413
表示图像查询库query中的第q个查询图像对应的特征，Nq表示查询图像中的数量，
Figure FDA00035844348200000414
表示视频待检索库gallery中的第g个视频对应的特征，Ng表示视频待检索库gallery中的视频数量；
步骤5.2、根据图像特征
Figure FDA00035844348200000415
和视频特征
Figure FDA00035844348200000416
计算相似度矩阵，并将相似度矩阵逐行降序排序输出得到最终的检索结果。
CN202210362412.4A 2022-04-07 2022-04-07 基于时序补偿引导的强化学习图像-视频行人重识别方法 Active CN114724182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210362412.4A CN114724182B (zh) 2022-04-07 2022-04-07 基于时序补偿引导的强化学习图像-视频行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210362412.4A CN114724182B (zh) 2022-04-07 2022-04-07 基于时序补偿引导的强化学习图像-视频行人重识别方法

Publications (2)

Publication Number Publication Date
CN114724182A true CN114724182A (zh) 2022-07-08
CN114724182B CN114724182B (zh) 2024-04-02

Family

ID=82241545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210362412.4A Active CN114724182B (zh) 2022-04-07 2022-04-07 基于时序补偿引导的强化学习图像-视频行人重识别方法

Country Status (1)

Country Link
CN (1) CN114724182B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
WO2021017303A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN113221641A (zh) * 2021-04-01 2021-08-06 哈尔滨工业大学（深圳） 基于生成对抗网络和注意力机制的视频行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709449A (zh) * 2016-12-22 2017-05-24 深圳市深网视界科技有限公司 一种基于深度学习和强化学习的行人重识别方法及系统
WO2021017303A1 (zh) * 2019-07-30 2021-02-04 平安科技（深圳）有限公司 行人重识别方法、装置、计算机设备及存储介质
CN113221641A (zh) * 2021-04-01 2021-08-06 哈尔滨工业大学（深圳） 基于生成对抗网络和注意力机制的视频行人重识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张伟信;刘斌;: "基于残差网络的特征加权行人重识别研究", 微电子学与计算机, no. 04, 30 April 2020 (2020-04-30), pages 26 - 31 *

Also Published As

Publication number Publication date
CN114724182B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN108133188B (zh) 一种基于运动历史图像与卷积神经网络的行为识别方法
CN110909673B (zh) 一种基于自然语言描述的行人再识别方法
CN114972418B (zh) 基于核自适应滤波与yolox检测结合的机动多目标跟踪方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN110120064B (zh) 一种基于互强化与多注意机制学习的深度相关目标跟踪算法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN110728694A (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN113159066B (zh) 基于类间相似度的分布式标签的细粒度图像识别算法
CN112200020A (zh) 一种行人重识别方法、装置、电子设备及可读存储介质
CN112308921A (zh) 一种基于语义和几何的联合优化动态slam方法
CN116798070A (zh) 一种基于光谱感知和注意力机制的跨模态行人重识别方法
Huang et al. Efficient attention network: Accelerate attention by searching where to plug
CN115578568A (zh) 一种小规模可靠数据集驱动的噪声修正算法
CN115346207A (zh) 一种基于实例结构相关性的二维图像中三维目标检测方法
CN116740418A (zh) 一种基于图重构网络的目标检测方法
CN112001280B (zh) 一种实时、可在线优化的人脸识别系统和方法
CN117333948A (zh) 一种融合时空注意力机制的端到端多目标肉鸡行为识别方法
CN113361475A (zh) 一种基于多阶段特征融合信息复用的多光谱行人检测方法
CN117315556A (zh) 改进的Vision Transformer昆虫细粒度识别方法
CN113326738A (zh) 基于深度网络和字典学习的行人目标检测与重识别方法
CN114724182A (zh) 基于时序补偿引导的强化学习图像-视频行人重识别方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN116245913A (zh) 基于层次化上下文引导的多目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant