CN111259837A - 一种基于部位注意力的行人重识别方法及系统 - Google Patents

一种基于部位注意力的行人重识别方法及系统 Download PDF

Info

Publication number
CN111259837A
CN111259837A CN202010067243.2A CN202010067243A CN111259837A CN 111259837 A CN111259837 A CN 111259837A CN 202010067243 A CN202010067243 A CN 202010067243A CN 111259837 A CN111259837 A CN 111259837A
Authority
CN
China
Prior art keywords
features
local
video
network
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010067243.2A
Other languages
English (en)
Other versions
CN111259837B (zh
Inventor
陈羽中
黄腾达
柯逍
林洋洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010067243.2A priority Critical patent/CN111259837B/zh
Publication of CN111259837A publication Critical patent/CN111259837A/zh
Application granted granted Critical
Publication of CN111259837B publication Critical patent/CN111259837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于部位注意力的行人重识别方法及系统，该方法包括以下步骤：A、输入训练集各行人视频到特征提取深度网络，得到中间特征并输入部位推断深度网络，得到K个部位的注意力热力图；B、做哈达玛积运算得到局部中间特征，再输入K个局部提取深度网络得到K个部位的局部特征；C、计算各部位的有效系数，对局部特征进行加权融合得到融合局部特征；D、计算全局特征，拼接全局特征和融合局部特征得到视频特征，输入全连接层得到分类向量；E、计算联合损失，计算各网络参数的梯度，后更新各网络参数，完成各网络训练过程；F、输入查询视频和检索集各视频到训练完成的各网络进行行人重识别。该方法及系统有利于提高行人重识别的性能。

Description

一种基于部位注意力的行人重识别方法及系统
技术领域
本发明属于模式识别与计算机视觉领域，具体涉及一种基于部位注意力的行人重识别方法及系统。
背景技术
行人重识别是指在多个镜头组成的监控网络拍摄得到的行人视频数据集中检索出感兴趣目标行人的技术，可应用到安防、嫌疑人追踪、行人行为分析等领域中，具有较高的理论和应用价值。
要完成自动化的行人重识别系统，需要面对以下重要问题：第一，受行人姿态变化、摄像头角度不同等因素的影响，导致对比的视频出现空间错位的问题，即相同的空间位置对应不同的行人身体部位，该问题导致视频所提取特征的判别性不足，进一步降低了重识别的性能；第二，受物体遮挡的影响，行人遮挡部位所提取的局部特征往往是无效的，常用的行人重识别方法忽略了该问题，所以其提取的特征包含了较多的无关噪声，使得特征匹配的准确性降低；第三，常用的基于深度网络的行人重识别方法使用分类损失进行网络模型的训练，但该分类损失不考虑样本对之间的关联信息，容易导致难负样本分类准确性较低的问题，使得分类精度降低。
发明内容
本发明的目的在于提供一种基于部位注意力的行人重识别方法及系统，该方法及系统有利于提高行人重识别的性能。
为实现上述目的，本发明采用的技术方案是：一种基于部位注意力的行人重识别方法，包括以下步骤：
步骤A：输入训练集各行人视频到特征提取深度网络，得到中间特征，将中间特征输入到部位推断深度网络，得到K个部位对应的注意力热力图；
步骤B：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征；
步骤C：根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征；
步骤D：将中间特征输入到全局提取深度网络，计算全局特征，拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，得到分类向量；
步骤E：对视频特征计算三元组损失，对分类向量计算分类损失，然后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，而后更新各网络参数，完成各网络训练过程；
步骤F：输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
进一步地，所述步骤A具体包括以下步骤：
步骤A1：输入训练集各行人视频到特征提取深度网络，所述特征提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为中间特征；
步骤A2：将中间特征输入到部位推断深度网络，所述部位推断深度网络由若干个卷积层、反卷积层以及线性整流函数层组成，网络的输出为K个部位对应的注意力热力图。
进一步地，所述步骤B具体包括以下步骤：
步骤B1：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，公式如下：
Ei＝M°Pi
其中，M为中间特征，Pi为第i个部位对应的注意力热力图，°为哈达玛积，Ei为第i个部位对应的局部中间特征；
步骤B2：分别将K个部位对应的局部中间特征输入到K个局部提取深度网络，所述局部提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为各部位对应的局部特征。
进一步地，所述步骤C具体包括以下步骤：
步骤C1：根据K个部位对应的注意力热力图计算各部位对应的有效系数，公式如下：
Figure BDA0002376343000000021
Figure BDA0002376343000000031
其中，λ为置信阈值，max(·)为最大值函数，||·||0和||·||1分别为L0范数和L1范数，vi为第i个部位的注意力热力图均值，exp(·)为指数函数，ξi为第i个部位对应的有效系数；
步骤C2：根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征，公式如下：
Figure BDA0002376343000000032
其中，Li为第i个部位对应的局部特征，Q为融合局部特征。
进一步地，所述步骤D具体包括以下步骤：
步骤D1：将中间特征输入到全局提取深度网络，所述全局提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为全局特征；
步骤D2：拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，全连接层的输出为分类向量。
进一步地，所述步骤E具体包括以下步骤：
步骤E1：对视频特征计算三元组损失，公式如下：
LossTRI＝max(0,margin+||Sa-Sp||2-||Sa-Sn||2)
其中，Sa为三元组中锚样本的视频特征，Sp为三元组中负样本的视频特征，Sn为三元组中正样本的视频特征，||·||2为向量的2范数，margin为三元组损失的边距，LossTRI为三元组损失；
步骤E2：对分类向量计算分类损失，公式如下：
LossCLS＝-log(cy)
其中，c为分类向量，cy表示分类向量中第y个元素，而y为行人视频对应的类标签，log(·)为对数函数，LossCLS为分类损失；
步骤E3：使用不确定学习的方式计算联合损失，公式如下：
Figure BDA0002376343000000033
其中，ε1和ε2分别是分类损失和三元组损失对应的观测误差，Loss为联合损失；
步骤E4：根据联合损失，使用误差逆向传播算法计算各网络参数的梯度，然后根据该梯度，使用随机梯度下降的方法更新各网络参数，当联合损失达到收敛条件后，完成各网络的训练过程。
本发明还提供了一种采用上述方法的行人重识别系统，包括：
特征提取深度网络模块，用于使用特征提取深度网络，利用卷积层、最大池化层以及线性整流函数层，提取待重识别视频的中间特征，用于后续的局部和全局特征提取；
部位推断深度网络模块，用于将中间特征输入到部位推断深度网络，利用卷积层、反卷积层以及线性整流函数层，计算K个部位对应的注意力热力图；
局部提取深度网络模块，用于将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征；
局部特征融合模块，用于根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征；
全局提取深度网络模块，用于将中间特征输入到全局提取深度网络，利用卷积层、最大池化层以及线性整流函数层，计算全局特征；
联合损失计算模块，用于对视频特征计算三元组损失，对分类向量计算分类损失，后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，后更新各网络参数，完成各网络训练过程；以及
重识别模块，用于输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
相较于现有技术，本发明具有以下有益效果：提供了一种基于部位注意力的行人重识别方法及系统，首先通过深度神经网络提取行人各身体部位的局部特征，以完成空间对齐，更好地解决了空间错位的问题。然后通过部位注意力热力图进行有效系数的计算，并根据该有效系数对各局部特征进行融合，从一定程度上解决由部位遮挡引起的误识别问题，获得噪声较少、更具判别性的特征。最后通过提出的不确定学习下的联合损失训练方法，结合三元组损失和分类损失进行网络模型的训练，既考虑了样本对之间的关联，又兼顾考虑了分类信息，使得网络可以学习到更鲁棒的特征空间，同时减小网络模型对于不同任务的输出不确定性。因此，本发明可进一步提升行人重识别的性能，具有很强的实用性和广阔的应用前景。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例的系统结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细说明。
本发明提供一种基于部位注意力的行人重识别方法，如图1所示，包括以下步骤：
步骤A：输入训练集各行人视频到特征提取深度网络，得到中间特征，将中间特征输入到部位推断深度网络，得到K个部位对应的注意力热力图。具体包括以下步骤：
步骤A1：输入训练集各行人视频到特征提取深度网络，所述特征提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为中间特征；
步骤A2：将中间特征输入到部位推断深度网络，所述部位推断深度网络由若干个卷积层、反卷积层以及线性整流函数层组成，网络的输出为K个部位对应的注意力热力图。
步骤B：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征。具体包括以下步骤：
步骤B1：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，公式如下：
Ei＝M°Pi
其中，M为中间特征，Pi为第i个部位对应的注意力热力图，°为哈达玛积，Ei为第i个部位对应的局部中间特征；
步骤B2：分别将K个部位对应的局部中间特征输入到K个局部提取深度网络，所述局部提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为各部位对应的局部特征。
步骤C：根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征。具体包括以下步骤：
步骤C1：根据K个部位对应的注意力热力图计算各部位对应的有效系数，公式如下：
Figure BDA0002376343000000061
Figure BDA0002376343000000062
其中，λ为置信阈值，max(·)为最大值函数，||·||0和||·||1分别为L0范数和L1范数，vi为第i个部位的注意力热力图均值，exp(·)为指数函数，ξi为第i个部位对应的有效系数；
步骤C2：根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征，公式如下：
Figure BDA0002376343000000063
其中，Li为第i个部位对应的局部特征，Q为融合局部特征。
步骤D：将中间特征输入到全局提取深度网络，计算全局特征，拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，得到分类向量。具体包括以下步骤：
步骤D1：将中间特征输入到全局提取深度网络，所述全局提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为全局特征；
步骤D2：拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，全连接层的输出为分类向量。
步骤E：对视频特征计算三元组损失，对分类向量计算分类损失，然后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，而后更新各网络参数，完成各网络训练过程。具体包括以下步骤：
步骤E1：对视频特征计算三元组损失，公式如下：
LossTRI＝max(0,margin+||Sa-Sp||2-||Sa-Sn||2)
其中，Sa为三元组中锚样本的视频特征，Sp为三元组中负样本的视频特征，Sn为三元组中正样本的视频特征，||·||2为向量的2范数，margin为三元组损失的边距，LossTRI为三元组损失；
步骤E2：对分类向量计算分类损失，公式如下：
LossCLS＝-log(cy)
其中，c为分类向量，cy表示分类向量中第y个元素，而y为行人视频对应的类标签，log(·)为对数函数，LossCLS为分类损失；
步骤E3：使用不确定学习的方式计算联合损失，公式如下：
Figure BDA0002376343000000071
其中，ε1和ε2分别是分类损失和三元组损失对应的观测误差，Loss为联合损失；
步骤E4：根据联合损失，使用误差逆向传播算法计算各网络参数的梯度，然后根据该梯度，使用随机梯度下降的方法更新各网络参数，当联合损失达到收敛条件后，完成各网络的训练过程。
步骤F：输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
本发明还提供了采用上述方法的行人重识别系统，如图2所示，包括：特征提取深度网络模块、部位推断深度网络模块、局部提取深度网络模块、局部特征融合模块、全局提取深度网络模块、联合损失计算模块和重识别模块。
所述特征提取深度网络模块用于使用特征提取深度网络，利用卷积层、最大池化层以及线性整流函数层，提取待重识别视频的中间特征，用于后续的局部和全局特征提取。
所述部位推断深度网络模块用于将中间特征输入到部位推断深度网络，利用卷积层、反卷积层以及线性整流函数层，计算K个部位对应的注意力热力图。
所述局部提取深度网络模块用于将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征。
所述局部特征融合模块用于根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征。
所述全局提取深度网络模块用于将中间特征输入到全局提取深度网络，利用卷积层、最大池化层以及线性整流函数层，计算全局特征。
所述联合损失计算模块用于对视频特征计算三元组损失，对分类向量计算分类损失，后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，后更新各网络参数，完成各网络训练过程。
所述重识别模块用于输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (7)

1.一种基于部位注意力的行人重识别方法，其特征在于，包括以下步骤：
步骤A：输入训练集各行人视频到特征提取深度网络，得到中间特征，将中间特征输入到部位推断深度网络，得到K个部位对应的注意力热力图；
步骤B：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征；
步骤C：根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征；
步骤D：将中间特征输入到全局提取深度网络，计算全局特征，拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，得到分类向量；
步骤E：对视频特征计算三元组损失，对分类向量计算分类损失，然后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，而后更新各网络参数，完成各网络训练过程；
步骤F：输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
2.根据权利要求1所述的一种基于部位注意力的行人重识别方法，其特征在于，所述步骤A具体包括以下步骤：
步骤A1：输入训练集各行人视频到特征提取深度网络，所述特征提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为中间特征；
步骤A2：将中间特征输入到部位推断深度网络，所述部位推断深度网络由若干个卷积层、反卷积层以及线性整流函数层组成，网络的输出为K个部位对应的注意力热力图。
3.根据权利要求1所述的一种基于部位注意力的行人重识别方法，其特征在于，所述步骤B具体包括以下步骤：
步骤B1：将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，公式如下：
Ei＝M°Pi,i＝1,2,...,K
其中，M为中间特征，Pi为第i个部位对应的注意力热力图，°为哈达玛积，Ei为第i个部位对应的局部中间特征；
步骤B2：分别将K个部位对应的局部中间特征输入到K个局部提取深度网络，所述局部提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为各部位对应的局部特征。
4.根据权利要求3所述的一种基于部位注意力的行人重识别方法，其特征在于，所述步骤C具体包括以下步骤：
步骤C1：根据K个部位对应的注意力热力图计算各部位对应的有效系数，公式如下：
Figure FDA0002376342990000021
Figure FDA0002376342990000022
其中，λ为置信阈值，max(·)为最大值函数，||·||0和||·||1分别为L0范数和L1范数，vi为第i个部位的注意力热力图均值，exp(·)为指数函数，ξi为第i个部位对应的有效系数；
步骤C2：根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征，公式如下：
Figure FDA0002376342990000023
其中，Li为第i个部位对应的局部特征，Q为融合局部特征。
5.根据权利要求1所述的一种基于部位注意力的行人重识别方法，其特征在于，所述步骤D具体包括以下步骤：
步骤D1：将中间特征输入到全局提取深度网络，所述全局提取深度网络由若干个卷积层、最大池化层以及线性整流函数层组成，网络的输出为全局特征；
步骤D2：拼接全局特征和融合局部特征得到视频特征，将视频特征输入到全连接层，全连接层的输出为分类向量。
6.根据权利要求1所述的一种基于部位注意力的行人重识别方法，其特征在于，所述步骤E具体包括以下步骤：
步骤E1：对视频特征计算三元组损失，公式如下：
LossTRI＝max(0,margin+||Sa-Sp||2-||Sa-Sn||2)
其中，Sa为三元组中锚样本的视频特征，Sp为三元组中负样本的视频特征，Sn为三元组中正样本的视频特征，||·||2为向量的2范数，margin为三元组损失的边距，LossTRI为三元组损失；
步骤E2：对分类向量计算分类损失，公式如下：
LossCLS＝-log(cy)
其中，c为分类向量，cy表示分类向量中第y个元素，而y为行人视频对应的类标签，log(·)为对数函数，LossCLS为分类损失；
步骤E3：使用不确定学习的方式计算联合损失，公式如下：
Figure FDA0002376342990000031
其中，ε1和ε2分别是分类损失和三元组损失对应的观测误差，Loss为联合损失；
步骤E4：根据联合损失，使用误差逆向传播算法计算各网络参数的梯度，然后根据该梯度，使用随机梯度下降的方法更新各网络参数，当联合损失达到收敛条件后，完成各网络的训练过程。
7.一种采用如权利要求1-6任一项所述方法的行人重识别系统，其特征在于，包括：
特征提取深度网络模块，用于使用特征提取深度网络，利用卷积层、最大池化层以及线性整流函数层，提取待重识别视频的中间特征，用于后续的局部和全局特征提取；
部位推断深度网络模块，用于将中间特征输入到部位推断深度网络，利用卷积层、反卷积层以及线性整流函数层，计算K个部位对应的注意力热力图；
局部提取深度网络模块，用于将中间特征和K个部位对应的注意力热力图做哈达玛积运算，得到K个部位对应的局部中间特征，再输入K个局部提取深度网络，得到K个部位对应的局部特征；
局部特征融合模块，用于根据K个部位对应的注意力热力图计算各部位对应的有效系数，根据有效系数，对K个部位对应的局部特征进行加权融合，得到融合局部特征；
全局提取深度网络模块，用于将中间特征输入到全局提取深度网络，利用卷积层、最大池化层以及线性整流函数层，计算全局特征；
联合损失计算模块，用于对视频特征计算三元组损失，对分类向量计算分类损失，后使用不确定学习的方式计算联合损失，根据联合损失计算各网络参数的梯度，后更新各网络参数，完成各网络训练过程；以及
重识别模块，用于输入查询视频和检索集各视频到训练完成的各网络，得到视频特征，计算查询视频和检索集各视频的特征距离，按照特征距离进行递增排序，得到查询视频的近邻列表，完成行人重识别。
CN202010067243.2A 2020-01-20 2020-01-20 一种基于部位注意力的行人重识别方法及系统 Active CN111259837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010067243.2A CN111259837B (zh) 2020-01-20 2020-01-20 一种基于部位注意力的行人重识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010067243.2A CN111259837B (zh) 2020-01-20 2020-01-20 一种基于部位注意力的行人重识别方法及系统

Publications (2)

Publication Number Publication Date
CN111259837A true CN111259837A (zh) 2020-06-09
CN111259837B CN111259837B (zh) 2022-10-04

Family

ID=70950878

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010067243.2A Active CN111259837B (zh) 2020-01-20 2020-01-20 一种基于部位注意力的行人重识别方法及系统

Country Status (1)

Country Link
CN (1) CN111259837B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215136A (zh) * 2020-10-10 2021-01-12 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112580694A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七0九研究所 基于联合注意力机制的小样本图像目标识别方法及系统
CN112966673A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN113901889A (zh) * 2021-09-17 2022-01-07 广州紫为云科技有限公司 一种基于时间和空间建立行为识别热度图的方法
WO2024152267A1 (zh) * 2023-01-18 2024-07-25 康佳集团股份有限公司 一种基于多度量的行人重识别方法、装置及终端

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110363233A (zh) * 2019-06-28 2019-10-22 西安交通大学 一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
US20190362199A1 (en) * 2018-05-25 2019-11-28 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法
US20200004777A1 (en) * 2017-06-28 2020-01-02 Google Llc Image Retrieval with Deep Local Feature Descriptors and Attention-Based Keypoint Descriptors

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200004777A1 (en) * 2017-06-28 2020-01-02 Google Llc Image Retrieval with Deep Local Feature Descriptors and Attention-Based Keypoint Descriptors
US20190362199A1 (en) * 2018-05-25 2019-11-28 Adobe Inc. Joint blur map estimation and blur desirability classification from an image
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN110399799A (zh) * 2019-06-26 2019-11-01 北京迈格威科技有限公司 图像识别和神经网络模型的训练方法、装置和系统
CN110363233A (zh) * 2019-06-28 2019-10-22 西安交通大学 一种基于块检测器及特征融合的卷积神经网络的细粒度图像识别方法及系统
CN110555434A (zh) * 2019-09-03 2019-12-10 浙江科技学院 一种局部对比和全局指导的立体图像视觉显著性检测方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DI WU等: "Attention Deep Model With Multi-Scale Deep Supervision for Person Re-Identification", 《ARXIV》 *
HANTAO YAO等: "Deep Representation Learning With Part Loss for Person Re-Identification", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
NIALL MCLAUGHLIN等: "Recurrent Convolutional Network for Video-Based Person Re-identification", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
XINGZHEN TAO等: "A lightweight convolutional neural network for", 《SPRINGER》 *
周华捷等: "深度学习下的行人再识别问题研究", 《信息与电脑(理论版)》 *
孔言等: "基于视觉注意力的人体行为识别", 《计算机系统应用》 *
徐龙壮等: "基于多尺度卷积特征融合的行人重识别", 《激光与光电子学进展》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112215136A (zh) * 2020-10-10 2021-01-12 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112215136B (zh) * 2020-10-10 2023-09-05 北京奇艺世纪科技有限公司 一种目标人物识别方法、装置、电子设备及存储介质
CN112580694A (zh) * 2020-12-01 2021-03-30 中国船舶重工集团公司第七0九研究所 基于联合注意力机制的小样本图像目标识别方法及系统
CN112580694B (zh) * 2020-12-01 2024-04-19 中国船舶重工集团公司第七0九研究所 基于联合注意力机制的小样本图像目标识别方法及系统
CN112966673A (zh) * 2021-05-19 2021-06-15 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN112966673B (zh) * 2021-05-19 2021-07-23 南京视察者智能科技有限公司 一种行人重识别模型的构建方法及行人重识别方法
CN113901889A (zh) * 2021-09-17 2022-01-07 广州紫为云科技有限公司 一种基于时间和空间建立行为识别热度图的方法
WO2024152267A1 (zh) * 2023-01-18 2024-07-25 康佳集团股份有限公司 一种基于多度量的行人重识别方法、装置及终端

Also Published As

Publication number Publication date
CN111259837B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN108960140B (zh) 基于多区域特征提取和融合的行人再识别方法
CN111259837B (zh) 一种基于部位注意力的行人重识别方法及系统
CN111126360B (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN112651262B (zh) 一种基于自适应行人对齐的跨模态行人重识别方法
CN113221625B (zh) 一种利用深度学习的局部特征对齐行人重识别方法
CN114419671B (zh) 一种基于超图神经网络的遮挡行人重识别方法
CN111950372B (zh) 一种基于图卷积网络的无监督行人重识别方法
CN110728694B (zh) 一种基于持续学习的长时视觉目标跟踪方法
CN111274958B (zh) 一种网络参数自纠正的行人重识别方法及系统
CN112084895B (zh) 一种基于深度学习的行人重识别方法
CN111695460B (zh) 一种基于局部图卷积网络的行人再识别方法
CN111079847A (zh) 一种基于深度学习的遥感影像自动标注方法
CN112508014A (zh) 一种基于注意力机制的改进YOLOv3目标检测方法
CN113723238B (zh) 一种人脸轻量网络模型构建方法和人脸识别方法
CN113947636B (zh) 一种基于深度学习的激光slam定位系统及方法
CN109697236A (zh) 一种多媒体数据匹配信息处理方法
CN113920472A (zh) 一种基于注意力机制的无监督目标重识别方法及系统
CN113763417A (zh) 一种基于孪生网络和残差结构的目标跟踪方法
CN117975267A (zh) 一种基于孪生多尺度交叉注意的遥感影像变化检测方法
CN113761995A (zh) 一种基于双变换对齐与分块的跨模态行人重识别方法
CN115049833A (zh) 一种基于局部特征增强和相似性度量的点云部件分割方法
CN116597177B (zh) 一种基于双分支并行深度交互协同的多源图像块匹配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant