CN112686200A - 一种基于多方案并联关注机制的行人重识别方法及系统 - Google Patents
一种基于多方案并联关注机制的行人重识别方法及系统 Download PDFInfo
- Publication number
- CN112686200A CN112686200A CN202110032682.4A CN202110032682A CN112686200A CN 112686200 A CN112686200 A CN 112686200A CN 202110032682 A CN202110032682 A CN 202110032682A CN 112686200 A CN112686200 A CN 112686200A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- picture
- euclidean distance
- feature
- comparing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000007246 mechanism Effects 0.000 title claims abstract description 30
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 239000013598 vector Substances 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 38
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多方案并联关注机制的行人重识别方法及系统，该方法包括：将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。该系统包括：特征向量提取模块、类别提取模块和特征比对模块。通过使用本发明，能够放大关注机制的特征增强作用，在行人重识别任务中有较好的识别性能。本发明作为一种基于多方案并联关注机制的行人重识别方法及系统，可广泛应用于计算机视觉中的行人图像处理领域。
Description
技术领域
本发明涉及计算机视觉中的行人图像处理领域，尤其涉及一种基于多方案并联关注机制的行人重识别方法及系统。
背景技术
跨摄像头下的行人重识别是计算机视觉领域的一大研究热点。它是在非重叠视角域多摄像头网络下进行行人匹配，即确认不同位置的摄像头在不同时刻拍摄所得的行人目标是否为同一人。拍摄场景中的光线亮暗、摄像头机位的视角差异、行人自身的姿势变化等因素，会造成视觉模糊性，给行人重识别带来一大难点；与此同时，行人出现的时间和地点也是随机不定的，这种时空不确定性同样给行人重识别带来挑战。
当前主流的行人重识别技术可以分为表征学习和度量学习。假如数据集中存在两张图片是关于同一行人的不同图片，则它们被称为正样本对；假如存在两张图片是关于不同行人的，则它们是负样本对。基于度量学习的行人重识别方法是把重识别过程看作聚类问题，目标是直接将同一行人的若干图片映射到高维空间中，形成聚类效应。此类方法的本质是训练模型使得高维空间中的正样本对距离尽可能小、负样本对距离尽可能大。关注机制的使用能对图片行人的局部特征加以突出并加强，让系统忽略无关信息，只关注有用的信息。目前，学术界一些较为经典关注机制设计方法，均使得模型性能有所提升，但是这样单一方案的关注机制对局部特征的这种处理是不够全面和细粒度的。
发明内容
为了解决上述技术问题，本发明的目的是提供一种基于多方案并联关注机制的行人重识别方法及系统，解决现有使用关注机制的技术对行人重识别性能不足的问题。
本发明所采用的第一技术方案是：一种基于多方案并联关注机制的行人重识别方法，包括以下步骤：
将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
进一步，所述将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg这一步骤之前，还包括对特征提取网络和特征增强网络进行训练，具体包括以下步骤：
获取行人图片训练集和在库图片训练集；
将行人图片训练集和在库图片训练集输入待训练的特征提取网络和待训练的特征增强网络，得到训练用的行人类别；
将训练用的行人类别与行人图片训练集和在库图片训练集中的类别标签进行比较并计算欧氏距离损失函数；
根据损失函数对待训练的特征提取网络和待训练的特征增强网络进行参数调整，训练完成，得到特征提取网络和特征增强网络。
进一步，所述特征提取网络包括4个综合卷积层。
进一步，所述欧氏距离损失函数的表达式如下：
L＝||ca-cg||2
上式中，L表示欧氏距离损失函数，||·||2为求2-范数运算。
进一步，所述将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg这一步骤，其计算公式如下：
ca＝FC(ta)＝Wata+ba
cg＝FC(tg)＝Wgtg+bg
上式中，Wa、Wg分别表示待识别图片和在库图片的全连接层的权重参数，ba、bg分别表示偏置参数。
进一步，所述阈值的具体设置步骤包括：
基于训练用的行人类别分别计算欧氏距离，依次将其设为初始阈值；
依次求取在各个初始阈值下所有训练行人图片对的识别准确率，最后选取准确率最高的初始阈值作为最终阈值。
进一步，所述对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果这一步骤，其具体包括：
对行人类别ca和cg进行特征比对，求取欧氏距离并将欧氏距离与阈值进行比较；
判断到欧氏距离小于阈值则判定行人图片g和g具有同一身份；
判断到欧氏距离不小于阈值判定行人图片a和g具有不同身份。
本发明所采用的第二技术方案是：一种基于多方案并联关注机制的行人重识别系统，包括：
特征向量提取模块，用于将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
类别提取模块，用于将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
特征比对模块，用于对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
本发明方法及系统的有益效果是：本发明以并联的方式同时进行特征提取和特征增强，从而能在全局和局部两个层面上对特征加以最大程度的关注，以更有判别力的表征提高模型在不同场景下的鲁棒性，进而提高行人重识别的效果。
附图说明
图1是本发明一种基于多方案并联关注机制的行人重识别方法的处理示意图；
图2是本发明一种基于多方案并联关注机制的行人重识别方法的步骤流程图；
图3是本发明一种基于多方案并联关注机制的行人重识别系统的结构框图；
图4是本发明多方案并联关注机制的结构图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1和图2，本发明提供了一种基于多方案并联关注机制的行人重识别方法，该方法包括以下步骤：
将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
进一步作为本方法的优选实施例，所述将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg这一步骤之前，还包括对特征提取网络和特征增强网络进行训练，具体包括以下步骤：
获取行人图片训练集和在库图片训练集；
将行人图片训练集和在库图片训练集输入待训练的特征提取网络和待训练的特征增强网络，得到训练用的行人类别；
将训练用的行人类别与行人图片训练集和在库图片训练集中的类别标签进行比较并计算欧氏距离损失函数；
根据损失函数对待训练的特征提取网络和待训练的特征增强网络进行参数调整，训练完成，得到特征提取网络和特征增强网络。
进一步作为本方法的优选实施例，所述特征提取网络包括4个综合卷积层。
具体地，可以将输入行人图片中的身份信息提取到行人特征中，为保证特征提取方式的一致性，用于提取图像a、g特征的两个特征提取网络的权值共享。
进一步作为本方法的优选实施例，所述欧氏距离损失函数的表达式如下：
L＝||ca-cg||2
上式中，L表示欧氏距离损失函数，||·||2为求2-范数运算。
进一步作为本方法优选实施例，所述将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg这一步骤，其计算公式如下：
ca＝FC(ta)＝Wata+ba
cg＝FC(tg)＝Wgtg+bg
上式中，Wa、Wg分别表示待识别图片和在库图片的全连接层的权重参数，ba、bg分别表示偏置参数。
进一步作为本方法优选实施例，所述阈值的具体设置步骤包括：
基于训练用的行人类别分别计算欧氏距离，依次将其设为初始阈值；
依次求取在各个初始阈值下所有训练行人图片对的识别准确率，最后选取准确率最高的初始阈值作为最终阈值。
进一步作为本方法优选实施例，所述对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果这一步骤，其具体包括：
对行人类别ca和cg进行特征比对，求取欧氏距离并将欧氏距离与阈值进行比较；
判断到欧氏距离小于阈值则判定行人图片a和g具有同一身份；
判断到欧氏距离不小于阈值判定行人图片a和g具有不同身份。
本发明通过对多种方案的关注机制进行并联融合，参照图4，创新设计了关注机制的结合和使用方式，充分利用每种被并联关注机制的优点，帮助提升模型性能。
本发明方法还具备以下有益效果，采用端到端的训练方式，降低了模型的训练难度，增加了模型的适用范围。模型总体参数量较少，同时特征提取网络的权值共享策略进一步降低了模型的复杂度，模型对运行算法的硬件要求低。
如图3所示，一种基于多方案并联关注机制的行人重识别系统，包括：
特征向量提取模块，用于将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
类别提取模块，用于将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
特征比对模块，用于对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。
以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (8)
1.一种基于多方案并联关注机制的行人重识别方法，其特征在于，包括以下步骤：
将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
2.根据权利要求1所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg这一步骤之前，还包括对特征提取网络和特征增强网络进行训练，具体包括以下步骤：
获取行人图片训练集和在库图片训练集；
将行人图片训练集和在库图片训练集输入待训练的特征提取网络和待训练的特征增强网络，得到训练用的行人类别；
将训练用的行人类别与行人图片训练集和在库图片训练集中的类别标签进行比较并计算欧氏距离损失函数；
根据损失函数对待训练的特征提取网络和待训练的特征增强网络进行参数调整，训练完成，得到特征提取网络和特征增强网络。
3.根据权利要求2所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述特征提取网络包括4个综合卷积层。
4.根据权利要求3所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述欧氏距离损失函数的表达式如下：
L＝||ca-cg||2
上式中，L表示欧氏距离损失函数，||·||2为求2-范数运算。
5.根据权利要求4所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg这一步骤，其计算公式如下：
ca＝FC(ta)＝Wata+ba
cg＝FC(tg)＝Wgtg+bg
上式中，Wa、Wg分别表示待识别图片和在库图片的全连接层的权重参数，ba、bg分别表示偏置参数。
6.根据权利要求5所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述阈值的具体设置步骤包括：
基于训练用的行人类别分别计算欧氏距离，依次将其设为初始阈值；
依次求取在各个初始阈值下所有训练行人图片对的识别准确率，最后选取准确率最高的初始阈值作为最终阈值。
7.根据权利要求6所述一种基于多方案并联关注机制的行人重识别方法，其特征在于，所述对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果这一步骤，其具体包括：
对行人类别ca和cg进行特征比对，求取欧氏距离并将欧氏距离与阈值进行比较；
判断到欧氏距离小于阈值，判定行人图片a和g具有同一身份；
判断到欧氏距离不小于阈值，判定行人图片a和g具有不同身份。
8.一种基于多方案并联关注机制的行人重识别系统，其特征在于，包括以下模块：
特征向量提取模块，用于将待识别的行人图片a和在库图片g分别输入到特征提取网络以及特征增强网络，提取得到对应的原始行人特征向量ta和tg；
类别提取模块，用于将原始行人特征向量ta和tg各自输入到全连接层，得出行人类别ca和cg；
特征比对模块，用于对行人类别ca和cg进行特征比对，求取欧氏距离，并与阈值进行比较，得到判断结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032682.4A CN112686200A (zh) | 2021-01-11 | 2021-01-11 | 一种基于多方案并联关注机制的行人重识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032682.4A CN112686200A (zh) | 2021-01-11 | 2021-01-11 | 一种基于多方案并联关注机制的行人重识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112686200A true CN112686200A (zh) | 2021-04-20 |
Family
ID=75457303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110032682.4A Pending CN112686200A (zh) | 2021-01-11 | 2021-01-11 | 一种基于多方案并联关注机制的行人重识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686200A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536985A (zh) * | 2021-06-29 | 2021-10-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于景深注意力网络的客流分布统计方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492528A (zh) * | 2018-09-29 | 2019-03-19 | 天津卡达克数据有限公司 | 一种基于高斯和深度特征的行人再识别方法 |
| CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
| CN109934104A (zh) * | 2019-01-29 | 2019-06-25 | 武汉烽火众智数字技术有限责任公司 | 基于行人重识别的跨镜头的行人检索方法及系统 |
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN110516533A (zh) * | 2019-07-11 | 2019-11-29 | 同济大学 | 一种基于深度度量的行人再辨识方法 |
| CN110942025A (zh) * | 2019-11-26 | 2020-03-31 | 河海大学 | 一种基于聚类的无监督跨域行人重识别方法 |
-
2021
- 2021-01-11 CN CN202110032682.4A patent/CN112686200A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492528A (zh) * | 2018-09-29 | 2019-03-19 | 天津卡达克数据有限公司 | 一种基于高斯和深度特征的行人再识别方法 |
| CN109800710A (zh) * | 2019-01-18 | 2019-05-24 | 北京交通大学 | 行人重识别系统及方法 |
| CN109934104A (zh) * | 2019-01-29 | 2019-06-25 | 武汉烽火众智数字技术有限责任公司 | 基于行人重识别的跨镜头的行人检索方法及系统 |
| CN110110642A (zh) * | 2019-04-29 | 2019-08-09 | 华南理工大学 | 一种基于多通道注意力特征的行人重识别方法 |
| CN110516533A (zh) * | 2019-07-11 | 2019-11-29 | 同济大学 | 一种基于深度度量的行人再辨识方法 |
| CN110942025A (zh) * | 2019-11-26 | 2020-03-31 | 河海大学 | 一种基于聚类的无监督跨域行人重识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 邱锡鹏，飞桨教材编写组: "神经网络与深度学习", 北京：机械工业出版社, pages: 201 - 203 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113536985A (zh) * | 2021-06-29 | 2021-10-22 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于景深注意力网络的客流分布统计方法及装置 |
| CN113536985B (zh) * | 2021-06-29 | 2024-05-31 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 基于景深注意力网络的客流分布统计方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109740413B (zh) | 行人重识别方法、装置、计算机设备及计算机存储介质 | |
| CN107529650B (zh) | 闭环检测方法、装置及计算机设备 | |
| CN108960211B (zh) | 一种多目标人体姿态检测方法以及系统 | |
| US9020195B2 (en) | Object tracking device, object tracking method, and control program | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| US11443454B2 (en) | Method for estimating the pose of a camera in the frame of reference of a three-dimensional scene, device, augmented reality system and computer program therefor | |
| TW201828158A (zh) | 視頻目標跟蹤方法和裝置 | |
| CN112085055B (zh) | 一种基于迁移模型雅克比阵特征向量扰动的黑盒攻击方法 | |
| CN110853074B (zh) | 一种利用光流增强目标的视频目标检测网络系统 | |
| TWI777731B (zh) | 從圖像中提取特徵的方法、裝置及計算機可讀介質 | |
| CN113159043B (zh) | 基于语义信息的特征点匹配方法及系统 | |
| EP3874404A1 (en) | Video recognition using multiple modalities | |
| CN110826411B (zh) | 一种基于无人机图像的车辆目标快速识别方法 | |
| CN112084895B (zh) | 一种基于深度学习的行人重识别方法 | |
| CN111241943B (zh) | 基于背景目标与三元组损失的场景识别与回环检测方法 | |
| CN116798070A (zh) | 一种基于光谱感知和注意力机制的跨模态行人重识别方法 | |
| CN114463619B (zh) | 基于集成融合特征的红外弱小目标检测方法 | |
| CN112686200A (zh) | 一种基于多方案并联关注机制的行人重识别方法及系统 | |
| CN117373062A (zh) | 一种基于联合学习的实时端到端跨分辨率行人重识别方法 | |
| CN106650814B (zh) | 一种基于车载单目视觉室外道路自适应分类器生成方法 | |
| CN115601791B (zh) | 基于Multiformer及离群样本重分配的无监督行人重识别方法 | |
| WO2015078007A1 (zh) | 一种快速人脸对齐方法 | |
| CN111008555B (zh) | 一种无人机图像弱小目标增强提取方法 | |
| Elmezain et al. | A novel system for automatic hand gesture spotting and recognition in stereo color image sequences | |
| Li et al. | Fast monocular vision-based railway localization for situations with varying speeds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |