CN113486815B - 一种行人重识别系统和方法、计算机设备及存储介质 - Google Patents
一种行人重识别系统和方法、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN113486815B CN113486815B CN202110776261.2A CN202110776261A CN113486815B CN 113486815 B CN113486815 B CN 113486815B CN 202110776261 A CN202110776261 A CN 202110776261A CN 113486815 B CN113486815 B CN 113486815B
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- module
- sfem
- layer
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 38
- 230000001629 suppression Effects 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 24
- 230000005764 inhibitory process Effects 0.000 claims abstract description 23
- 238000005520 cutting process Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000002401 inhibitory effect Effects 0.000 claims 1
- 238000013461 design Methods 0.000 abstract description 5
- 230000011218 segmentation Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000016776 visual perception Effects 0.000 description 3
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 239000009891 weiqi Substances 0.000 description 2
- 238000010923 batch production Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行人重识别系统和方法、计算机设备及存储介质。所述系统包括：特征提取模块，用于提取图像F的特征；级联排布的N层SFEM和(N‑1)层级联抑制模块，第一层SFEM与特征提取模块连接，每两级SFEM之间连接有一层级联抑制模块；每一层SFEM用于对输入特征进行条状切割，提取显著性特征；每一层级联抑制模块用于分离输入特征的显著性特征与抑制显著性特征；融合模块，与N层SFEM连接，用于融合N层输出；预测模块，与融合模块连接，用于预测F的行人编号。本发明充分利用了条状切割以及显著性提取得到更具区分性的显著性信息，并设计级联抑制网络探索强度不显著的强判别特征，提高了行人重识别的准确性。
Description
技术领域
本发明实施例涉及计算机视觉领域，尤其涉及一种行人重识别系统和方法、计算机设备及存储介质。
背景技术
自人类职业围棋选手被人工智能机器人阿尔法围棋(AlphaGo)击败以来，其使用的深度学习受到越来越多科研工作者的广泛关注，大量的研究促使人工智能领域涌现出丰硕的成果。作为人工智能领域的一个重要部分，计算机视觉是一类使用计算机和相关多媒体设备模拟生物视觉功能的研究，计算机视觉的主要任务是通过对采集的视频和图像进行处理以获取相应的信息。深度学习研究的火热开展促使众多计算机视觉问题得到了解决，更使得行人重识别任务的准确率显著提升。
行人重识别任务在广义上被认为是一种图像检索或者视频检索的子任务，行人重识别的特点在于：跨摄像头、跨场景下行人的识别与检索且难以使用人脸识别技术。该技术能够根据行人的穿着、体态、发型等信息认知行人，适用于更多新的应用场景，将人工智能的认知水平提高到一个新阶段。然而，跨摄像头可能会导致不同相机的分辨率不同、拍摄角度不一致、图像难对齐等一些列难题，而无法使用人脸检测技术则又说明行人重识别技术是一个更加困难的检索任务。
发明内容
为解决现有技术中存在的上述问题，本发明提供一种行人重识别系统和基于行人重识别系统的行人重识别方法，通过多尺度注意力机制的图卷积对3D点云进行处理，提高对图像在三维空间进行的目标检测的精度。
第一方面，本发明实施例提供了一种行人重识别系统一种行人重识别系统，包括：
特征提取模块，用于获取待识别图像F，对F进行特征提取，输出F的图像特征；
级联排布的N层显著特征提取模块(Significant Feature Extraction Module，简称为“SFEM”)和(N-1)层级联抑制模块，其中，第一层SFEM与所述特征提取模块连接，所述特征提取模块的输出为所述第一层SFEM的输入；每两级SFEM之间连接有一层级联抑制模块，前一层SFEM的输出为所述一层级联抑制模块的输入，所述一层级联抑制模块的输出为后一层SFEM的输入；每一层SFEM用于对输入所述每一层SEFM的特征F1进行条状切割，并对条状分割后的特征并进行显著性特征提取，输出F1的显著性特征SplitA(F1)；每一层级联抑制模块用于分离输入所述每一层抑制模块的特征F2的显著性特征与F2的抑制显著性特征Fca，输出Fca；
融合模块，与所述N层SFEM连接，每一层SFEM的输出均为所述融合模块的输入；所述融合模块用于将所述N层SFEM的输出进行融合，输出融合特征Ff；
预测模块，与所述融合模块连接，所述融合模块的输出为所述预测模块的输入；所述预测模块用于基于Ff预测F的行人编号(Identifier，简称为“ID”)。
在一实施例中，每一层SFEM包括：
分割单元，与所述每一层SFEM的前一层模块连接，所述分割单元用于对F1进行条状切割，输出F1的k份条状特征F1、F2……Fk，其中，F1的维度为C×W×H，F1、F2……Fk的维度均为C×W×(H/k)；
k个卷积单元，分别与所述分割单元连接，所述k个卷积单元分别用于对F1、F2……Fk进行卷积操作，得到卷积后的特征F'1、F'2……F'k，其中，F'1、F'2……F'k维度为均1×W×(H/k)；
k个全局平均池化(Global Average Pooling，简称为“GAP”)单元，每个GAP与一个卷积单元连接，所述k个GAP单元分别用于对F'1、F'2……F'k分别进行全局平均池化；
非线性单元，与所述k个全局平均池化GAP单元连接，所述非线性单元用于对池化后的k个特征进行softmax激活，生成权重向量V，其中，V的维度为k×1；
显著特征提取单元，与所述非线性单元和所述每一层SFEM的前一层模块连接，所述显著特征提取单元用于将V的第x维与F1的第x份条状特征相乘，将相乘后的k个条状特征拼接为SplitA(F1)，其中，x＝1、2、…k。
在一实施例中，每一层级联抑制模块包括：
掩码生成单元，与所述每一层级联抑制模块的前一层SFEM模块连接，所述分离单元用于对于F2的每个像素位置，在像素值大于或等于设定阈值的情况下，将所述像素值设置为0，在所述像素值小于所述设定阈值的情况下，将所述像素值设置为1，从而生成显著性掩码M；
抑制单元，与所述掩码生成单元和所述每一层级联抑制模块的前一层SFEM模块连接，所述抑制单元用于将F2与M按像素位置相乘，输出Fca。
在一实施例中，所述融合模块包括：
N个卷积单元，分别与所述N层SFEM连接，每个卷积单元用于将一层SFEM输出的SplitA(F1)进行1×1卷积，输出S(F1)；
拼接单元，与所述N个卷积单元连接，所述拼接单元用于将所述N个卷积单元输出的N层S(F1)进行拼接，输出Ff。
在一实施例中，所述特征提取模块为卷积神经网络Resnet50。
在一实施例中，所述预测模块是用于使用全连接操作，将Ff映射为预测向量，将所述预测向量中数值最大的元素作为F的行人ID。
第二方面，本发明实施例还提供了一种基于行人重识别系统的行人重识别方法。该方法包括：
S10：获取训练图像集，其中，所述训练图像集中包括多个训练图像；对每个训练图像进行行人ID标注；
S20：构建本发明实施例提供任一行人重识别系统；
S30：利用所述训练图像集对所述行人重识别系统进行训练；
S40：采集待识别图像F，将F输入训练好的行人重识别系统，预测F的行人编号。
在一实施例中，在步骤S30中，所使用的目标优化函数L为：
L＝Lid+α×Ltriplet
其中，Lid表示ID预测损失，用于计算行人ID的预测值与真值之间的差别；
N表示总的行人数量，y表示行人标签，ε表示设定错误率，pi表示预测行人属于标签i的概率；
Ltriplet表示加强三元损失，用于计算正样本对与负样本对的相对差别，并添加正样本对的绝对差别；Ltriplet＝∑Ndp+[dp-dn]+，其中，dp表示正样本对的绝对差别，dn表示负样本对的绝对差别，[dp-dn]+表示正样本对与负样本对的相对差别；
α表示超参数。
第三方面，本发明实施例还提供了一种计算机设备。该设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现本发明实施例提供的任一行人重识别系统，或实现本发明实施例提供的任一行人重识别方法。
第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机可读的程序，该程序被执行时实现本发明实施例提供的任一行人重识别系统，或实现本发明实施例提供的任一行人重识别方法。
本发明的有益效果为：
1.本发明实现了端到端的基于条状切割显著性引导级联抑制网络的行人重识别方法，充分利用了条状切割以及显著性提取得到更具区分性的显著性信息，并设计级联抑制网络探索强度不显著的强判别特征，在提高行人重识别的准确性的同时，还使得深度网络的可解释性更强；
2.本发明的基于条状分割的显著性特征提取模块不同于常规的显著性特征提取，条状分割将图像特征沿垂直方向分成若干份，这种切割方式更符合人们对人体识别的直观感受，以这种方式提取出来的局部特征能够更好的表征人体不同部位的细节；
3.本发明的级联抑制模块不同于常规提取显著性特征的方法，级联抑制模块针对显著性强度不高但极具判别性的特征，能够更好地挖掘被掩盖的显著性信息；
4.本发明通过特征聚合的方式，将不同的显著性信息进行融合，尽可能地将包含更多显著性信息的特征汇聚起来，使用总特征进行最终的预测，进一步提高行人重识别的准确性；
5.本发明使用的难样本三元组损失函数不同于普通的三元组损失，难样本三元组损失重点关注最难正样本和最难负样本，会拉近锚点与所有正样本的距离，且不会与正样本过远，同理使所有负样本远离锚点且不会与锚点过近。
附图说明
图1是本发明实施例提供的一种行人重识别系统的结构示意图。
图2是本发明实施例提供的一种行人重识别系统的信号流示意图。
图3是本发明实施例提供的一种基于条状分割的SFEM的示意图。
图4是本发明实施例提供的一种行人重识别方法的流程图。
图5为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图与实施例对本发明做进一步说明。在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
行人重识别的方法可以分为基于注意力的方法和基于局部特征的方法。基于注意力的方法希望提取出辨别性强的人体外观，一般使用注意力机制探寻显著性特征。但是这些方法往往学习到最简单的特征，只关注于特征的表面分布，这导致检索性能不佳。基于局部特征的方法将输入图像划分为不同区域，即图像切割，该切割方法依赖一些先验知识，如人体姿势、骨架关键点等，并希望通过学习不同切割后区域的特征来进行预测。这些方法由于将图像划分地过于零散，导致每个部分的语义信息丢失，因此有可能导致切割后预测准确率的降低。
实施例一
本实施例提出一种行人重识别系统，引入基于条状分割的显著性特征提取，同时为了充分利用被掩盖的低强度高显著性特征，设计了级联抑制网络以自适应提取所有潜在特征。图1是本发明实施例提供的一种行人重识别系统的结构示意图。图2是本发明实施例提供的一种行人重识别系统的信号流示意图。如图1和图2所示，该系统包括：特征提取模块、级联排布的N层显著特征提取模块SFEM和(N-1)层级联抑制模块、融合模块和预测模块。在图2中，N＝4。
特征提取模块用于获取待识别图像F，对F进行特征提取，输出F的图像特征。通过特征提取模块，可以将原始图像转换为图像特征。
在级联排布的N层显著特征提取模块SFEM和(N-1)层级联抑制模块中，第一层SFEM与所述特征提取模块连接，所述特征提取模块的输出为所述第一层SFEM的输入；每两级SFEM之间连接有一层级联抑制模块，前一层SFEM的输出为所述一层级联抑制模块的输入，所述一层级联抑制模块的输出为后一层SFEM的输入。
每一层SFEM用于对输入所述每一层SEFM的特征F1进行条状切割，并对条状分割后的特征并进行显著性特征提取，输出F1的显著性特征SplitA(F1)。每一层SFEM也可以理解为一个基于条状分割的显著性特征提取器。
每一层级联抑制模块用于分离输入所述每一层抑制模块的特征F2的显著性特征与F2的抑制显著性特征Fca，输出Fca。每一层级联抑制模块将输入的条状分割后的显著性特征SplitA(F2)(指显著性强的特征)与显著性弱的特征分离开来，将显著性弱的特征送入下一层SFEM，继续提取所述显著性弱的特征中的较强的显著性特征，即提取F2的潜在的显著性特征。
融合模块与所述N层SFEM连接，每一层SFEM的输出均为所述融合模块的输入。所述融合模块用于将所述N层SFEM的输出进行融合，输出融合特征Ff。
预测模块与所述融合模块连接，所述融合模块的输出为所述预测模块的输入。所述预测模块用于基于Ff预测F的行人编号。
在一实施例中，所述特征提取模块为卷积神经网络Resnet50。使用卷积神经网络处理图像，并将骨干网络设置为Resnet50，通过将输入的图片进行卷积、池化等操作，得到图像特征。该特征包含图像的高级语义特征。
在一实施例中，每一层SFEM包括：分割单元、k个卷积单元、k个GAP单元、非线性单元和显著特征提取单元。图3是本发明实施例提供的一种基于条状分割的SFEM的示意图，图3显示了SFEM的中的基本结构和信号流。
分割单元与所述每一层SFEM的前一层模块连接。所述分割单元用于对F1进行条状切割，输出F1的k份条状特征F1、F2……Fk，其中，F1的维度为C×W×H，F1、F2……Fk的维度均为C×W×(H/k)。使用条状分割的好处在于：一般行人图片从上到下依次是头、躯干和腿，而条状分割就是将图像特征进行水平切割，这样切割出来的特征也基本对应身体的各个位置，而各个位置之间的对比也是有意义的(如，头和头比，躯干和躯干比，不同的行人的头是不同的，所以这种条状特征的比较是有意义的)。
k个卷积单元分别与所述分割单元连接，所述k个卷积单元分别用于对F1、F2……Fk进行卷积操作，得到卷积后的特征F'1、F'2……F'k，其中，F'1、F'2……F'k维度为均1×W×(H/k)。
k个全局平均池化GAP单元，每个GAP与一个卷积单元连接，所述k个GAP单元分别用于对F'1、F'2……F'k分别进行全局平均池化。GAP的作用是对整个网络从结构上做正则化防止过拟合，同时减少参数数量，减少计算量。
非线性单元，与所述k个全局平均池化GAP单元连接，所述非线性单元用于对池化后的k个特征进行softmax激活，生成权重向量V。Softmax的作用是增加结构的非线性。V的维度为k×1，权重向量中的每个元素(或每个维度)为一份条状特征的权重。可选地，对池化后的k个特征进行softmax激活生成权重向量V，包括：对每个个池化后的特征进行softmax激活，将得到的k个结果后拼接成V。
显著特征提取单元，与所述非线性单元和所述每一层SFEM的前一层模块连接，所述显著特征提取单元用于将V的第x维与F1的第x份条状特征相乘，将相乘后的k个条状特征拼接为SplitA(F1)，其中，x＝1、2、…k。V的维度是k*1，F的维度是C*W*H，但是F进行了条状分割分成了k个条状特征，也就是F的特征表示为C*W*(H/k)*k。“相乘”指是V的第x维与第x个条状特征相乘。V是一个向量，因此V的某一维是一个数，相乘是将这个数与对应条状特征的张量相乘(就是简单的乘法)。相乘后，整个F1变换为SplitA(F1)。
在一实施例中，每一层级联抑制模块包括：掩码生成单元和抑制单元。
掩码生成单元与所述每一层级联抑制模块的前一层SFEM模块连接。所述分离单元用于对于F2的每个像素位置，在像素值大于或等于设定阈值的情况下，将所述像素值设置为0，在所述像素值小于所述设定阈值的情况下，将所述像素值设置为1，从而生成显著性掩码M。可选地，设定阈值由经验值确定，可以视为一个超参数，例如可以对F2中的所有像素位置按照像素值的大小排序，将排名在前20％的像素位置中的最后一个像素对应的像素值作为设定阈值，也可以将设定阈值设置为0.8。
抑制单元，与所述掩码生成单元和所述每一层级联抑制模块的前一层SFEM模块连接。所述抑制单元用于将F2与M按像素位置相乘，输出Fca。Fca将被送入下一层SFEM。
在一实施例中，所述融合模块包括：N个卷积单元和拼接单元。
N个卷积单元分别与所述N层SFEM连接。每个卷积单元用于将一层SFEM输出的SplitA(F1)进行1×1卷积，输出S(F1)。
拼接单元与所述N个卷积单元连接。所述拼接单元用于将所述N个卷积单元输出的N层S(F1)进行拼接，输出Ff。
可选地，如图2所示，将级联抑制网络的不同层SFEM输出的基于条状分割的显著性特征SplitA(Fca1)、SplitA(Fca2)……SplitA(Fca4)进行1×1卷积，得到S(Fca1)、S(Fca2)……S(Fca4)，之后进行拼接操作，即Ff＝δ(S(Fca1),S(Fca2),…,S(Fca4))，得到总显著性特征Ff。第一层SFEM提取显著性特征，第二层SFEM提取的是第一层级联抑制模块输出的抑制显著性特征中的显著性特征……，以此类推。δ(·)表示一个简单的拼接操作，将S(Fca1),S(Fca2),S(Fca3),S(Fca4)这几个结果串联为一个特征。
在一实施例中，所述预测模块是用于使用全连接操作，将Ff映射为预测向量，将所述预测向量中数值最大的元素作为F的行人ID。
本发明实施例提供的行人重识别系统可以实现以下有益效果：
1.本发明实现了端到端的基于条状切割显著性引导级联抑制网络的行人重识别方法，充分利用了条状切割以及显著性提取得到更具区分性的显著性信息，并设计级联抑制网络探索强度不显著的强判别特征，在提高行人重识别的准确性的同时，还使得深度网络的可解释性更强；
2.本发明的基于条状分割的显著性特征提取模块不同于常规的显著性特征提取，条状分割将图像特征沿垂直方向分成若干份，这种切割方式更符合人们对人体识别的直观感受，以这种方式提取出来的局部特征能够更好的表征人体不同部位的细节；
3.本发明的级联抑制模块不同于常规提取显著性特征的方法，级联抑制模块针对显著性强度不高但极具判别性的特征，能够更好地挖掘被掩盖的显著性信息；
4.本发明通过特征聚合的方式，将不同的显著性信息进行融合，尽可能地将包含更多显著性信息的特征汇聚起来，使用总特征进行最终的预测，进一步提高行人重识别的准确性。
值得注意的是，上述实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
实施例二
本实施例提供一种基于行人重识别系统的行人重识别方法。该方法基于实施例1所述的行人重识别系统。图4为本发明实施例提供的一种行人重识别方法的流程图。如图4所示，该方法包括步骤S10-S40。
S10：获取训练图像集，其中，所述训练图像集中包括多个训练图像；对每个训练图像进行行人ID标注。
S20：构建上述实施例提供的行人重识别系统。
S30：利用所述训练图像集对所述行人重识别系统进行训练。
S40：采集待识别图像F，将F输入训练好的行人重识别系统，预测F的行人编号。
在一实施例中，在步骤S30中，所使用的目标优化函数L为：
L＝Lid+α×Ltriplet
其中，Lid表示ID预测损失，用于计算行人ID的预测值与真值之间的差别；
N表示总的行人数量，y表示行人标签，ε表示设定错误率，pi表示预测行人属于标签i的概率；
Ltriplet表示加强三元损失，用于计算正样本对与负样本对的相对差别，并添加正样本对的绝对差别；Ltriplet＝∑Ndp+[dp-dn]+，其中，dp表示正样本对的绝对差别，dn表示负样本对的绝对差别，[dp-dn]+表示正样本对与负样本对的相对差别；
α表示超参数。
在本发明实施例中，步骤S40和S50代表了利用行人重识别系统进行行人重识别的具体过程，可以包括如下步骤：
(1)图像采集：在图像采集阶段，根据实际的应用需要，使用相应采集设备(如相机、网络等)获取。
(2)神经网络特征提取：在神经网络特征提取阶段，根据实际的应用需要，可以使用CNN。
(3)基于条状切割显著性引导的级联抑制网络方法：在生成预测行人编号阶段，通过真实行人编号信息等来建立优化目标函数，本实施例提出一个优化问题如下：
L＝Lid+α×Ltriplet
在以上目标函数中，Lid表示ID预测损失，用于计算行人ID的预测值与真值之间的差别；
N表示总的行人数量，y表示行人标签，ε表示设定错误率，pi表示预测行人属于标签i的概率。
Ltriplet表示加强三元损失，用于计算正样本对与负样本对的相对差别，并添加正样本对的绝对差别；Ltriplet＝∑Ndp+[dp-dn]+，其中，dp表示正样本对的绝对差别，dn表示负样本对的绝对差别，[dp-dn]+表示正样本对与负样本对的相对差别。
α表示超参数。可选地，将α设置为1，训练过程中采用了随机梯度下降实现优化，其中初始学习率设置为10-3，使用大小为8的批量处理，使用权重衰减迭代120轮。
评价指标选取行人重识别工作的通用指标平均精度均值，用于评估被比较的准确性。此外，还使用Rank1精度来表明检索时最高返回值的精度。
本发明实施例提供的行人重识别方法可以实现以下有益效果：
1.本发明实现了端到端的基于条状切割显著性引导级联抑制网络的行人重识别方法，充分利用了条状切割以及显著性提取得到更具区分性的显著性信息，并设计级联抑制网络探索强度不显著的强判别特征，在提高行人重识别的准确性的同时，还使得深度网络的可解释性更强；
2.本发明的基于条状分割的显著性特征提取模块不同于常规的显著性特征提取，条状分割将图像特征沿垂直方向分成若干份，这种切割方式更符合人们对人体识别的直观感受，以这种方式提取出来的局部特征能够更好的表征人体不同部位的细节；
3.本发明的级联抑制模块不同于常规提取显著性特征的方法，级联抑制模块针对显著性强度不高但极具判别性的特征，能够更好地挖掘被掩盖的显著性信息；
4.本发明通过特征聚合的方式，将不同的显著性信息进行融合，尽可能地将包含更多显著性信息的特征汇聚起来，使用总特征进行最终的预测，进一步提高行人重识别的准确性；
5.本发明使用的难样本三元组损失函数不同于普通的三元组损失，难样本三元组损失重点关注最难正样本和最难负样本，会拉近锚点与所有正样本的距离，且不会与正样本过远，同理使所有负样本远离锚点且不会与锚点过近。
本发明实施例的行人重识别方法与实施例一中的行人重识别系统具有相同的技术原理和有益效果。未在本实施例中详尽描述的技术细节，请参照实施例一中的行人重识别系统。
实施例三
图5为本发明实施例提供的一种计算机设备的结构示意图。如图5所示，该设备包括处理器510和存储器520。处理器510的数量可以是一个或多个，图5中以一个处理器510为例。
存储器520作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的基于行人重识别系统的行人重识别方法的程序指令/模块。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，实现上述行人重识别系统，或实现上述行人重识别方法。
存储器520可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器520可进一步包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至设备/终端/服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例四
本发明的实施例还提供了一种存储介质。可选地，在本实施例中，上述存储介质可以被设置为存储用于执行上述行人重识别系统，或执行上述行人重识别方法。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种行人重识别系统，其特征在于，包括：
特征提取模块，用于获取待识别图像F，对F进行特征提取，输出F的图像特征；
级联排布的N层SFEM和（N-1）层级联抑制模块，其中，第一层SFEM与所述特征提取模块连接，所述特征提取模块的输出为所述第一层SFEM的输入；每两层SFEM之间连接有一层级联抑制模块，前一层SFEM的输出为所述一层级联抑制模块的输入，所述一层级联抑制模块的输出为后一层SFEM的输入；每一层SFEM用于对输入到所述每一层SFEM 的特征F1进行条状切割，并对条状分割后的特征进行显著性特征提取，输出F1的显著性特征SplitA(F1)；每一层级联抑制模块用于将输入到所述每一层级联抑制模块的特征F2的显著性特征与抑制显著性特征进行分离，并输出所述抑制显著性特征F ca ；
融合模块，与所述N层SFEM连接，每一层SFEM的输出均为所述融合模块的输入；所述融合模块用于将所述N层SFEM的输出进行融合，输出融合特征F f ；
预测模块，与所述融合模块连接，所述融合模块的输出为所述预测模块的输入；所述预测模块用于基于F f 预测F的行人ID。
2.如权利要求1所述的行人重识别系统，其特征在于，每一层SFEM包括：
分割单元，与所述每一层SFEM的前一层模块连接，所述分割单元用于对F1进行条状切割，输出F1的
份条状特征
，其中，F1的维度为
，
的维度均为
；
非线性单元，与所述
个GAP单元连接，所述非线性单元用于对池化后的
个特征进行softmax激活，生成权重向量V，其中，V的维度为
；
显著特征提取单元，与所述非线性单元和所述每一层SFEM的前一层模块连接，所述显著特征提取单元用于将V的第x维与F1的第x份条状特征相乘，将相乘后的k个条状特征拼接为SplitA(F1)，其中，x=1、2、…k。
3.如权利要求1所述的行人重识别系统，其特征在于，每一层级联抑制模块包括：
掩码生成单元，与所述每一层级联抑制模块的前一层SFEM模块连接，用于对于F2的每个像素位置，在像素值大于或等于设定阈值的情况下，将所述像素值设置为0，在所述像素值小于所述设定阈值的情况下，将所述像素值设置为1，从而生成显著性掩码
；
抑制单元，与所述掩码生成单元和所述每一层级联抑制模块的前一层SFEM模块连接，所述抑制单元用于将F2与
按像素位置相乘，输出
。
4.如权利要求1所述的行人重识别系统，其特征在于，所述融合模块包括：
N个卷积单元，分别与所述N层SFEM连接，每个卷积单元用于将一层SFEM输出的SplitA(F1)进行
卷积，输出S(F1)；
拼接单元，与所述N个卷积单元连接，所述拼接单元用于将所述N个卷积单元输出的N层S(F1)进行拼接，输出
。
5.如权利要求1所述的行人重识别系统，其特征在于，所述特征提取模块为卷积神经网络Resnet50。
6.如权利要求1所述的行人重识别系统，其特征在于，所述预测模块是用于使用全连接操作，将F f 映射为预测向量，将所述预测向量中数值最大的元素作为F的行人ID。
7.一种行人重识别方法，其特征在于，包括：
S10：获取训练图像集，其中，所述训练图像集中包括多个训练图像；对每个训练图像进行行人ID标注；
S20：构建如权利要求1-6任意一项所述的行人重识别系统；
S30：利用所述训练图像集对所述行人重识别系统进行训练；
S40：采集待识别图像F，将F输入训练好的行人重识别系统，预测F的行人ID。
8.如权利要求7所述的行人重识别方法，其特征在于，在步骤S30中，所使用的目标优化函数
为：
其中，
表示ID预测损失，用于计算行人ID的预测值与真值之间的差别；
，N表示总的行人数量，y表示行人标签，
表示设定错误率，p i 表示预测行人属于标签i的概率；
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求7-8中任意一项所述的行人重识别方法。
10.一种存储介质，其上存储有计算机可读的程序，其特征在于，该程序被执行时实现如权利要求7-8中任意一项所述的行人重识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776261.2A CN113486815B (zh) | 2021-07-09 | 2021-07-09 | 一种行人重识别系统和方法、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110776261.2A CN113486815B (zh) | 2021-07-09 | 2021-07-09 | 一种行人重识别系统和方法、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113486815A CN113486815A (zh) | 2021-10-08 |
| CN113486815B true CN113486815B (zh) | 2022-10-21 |
Family
ID=77938260
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110776261.2A Active CN113486815B (zh) | 2021-07-09 | 2021-07-09 | 一种行人重识别系统和方法、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113486815B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
| CN111178178A (zh) * | 2019-12-16 | 2020-05-19 | 汇纳科技股份有限公司 | 结合区域分布的多尺度行人重识别方法、系统、介质及终端 |
| CN111523470A (zh) * | 2020-04-23 | 2020-08-11 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241895B (zh) * | 2018-08-28 | 2021-06-04 | 北京航空航天大学 | 密集人群计数方法及装置 |
| CN110688951B (zh) * | 2019-09-26 | 2022-05-31 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111160350B (zh) * | 2019-12-23 | 2023-05-16 | Oppo广东移动通信有限公司 | 人像分割方法、模型训练方法、装置、介质及电子设备 |
-
2021
- 2021-07-09 CN CN202110776261.2A patent/CN113486815B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657249A (zh) * | 2017-10-26 | 2018-02-02 | 珠海习悦信息技术有限公司 | 多尺度特征行人重识别的方法、装置、存储介质及处理器 |
| CN111178178A (zh) * | 2019-12-16 | 2020-05-19 | 汇纳科技股份有限公司 | 结合区域分布的多尺度行人重识别方法、系统、介质及终端 |
| CN111523470A (zh) * | 2020-04-23 | 2020-08-11 | 苏州浪潮智能科技有限公司 | 特征融合块、卷积神经网络、行人重识别方法及相关设备 |
Non-Patent Citations (6)
| Title |
|---|
| Convolutional Neural Networks for Large-Scale Remote Sensing Image Classification;Emmanuel Maggiori等;《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》;20170313;全文 * |
| Deep Fusion of Localized Spectral Features and Multi-scale Spatial Features for Effective Classification of Hyperspectral Images;GenyunSun等;《International Journal of Applied Earth Observation and Geoinformation》;20200930;第91卷;全文 * |
| MFCSNet: Multi-Scale Deep Features Fusion and Cost-Sensitive Loss Function Based Segmentation Network for Remote Sensing Images;Ende Wang等;《Applied Science》;20190927;全文 * |
| U-GAnet多通道特征重构人群密度检测模型;赵新宇;《电脑知识与技术》;20191215(第35期);全文 * |
| 基于域自适应迁移学习的行人重识别算法;张凯;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20210215(第02期);全文 * |
| 多尺度特征融合与极限学习机结合的交通标志识别;马永杰等;《液晶与显示》;20200615(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113486815A (zh) | 2021-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | RSNet: The search for remote sensing deep neural networks in recognition tasks | |
| Li et al. | Sbgar: Semantics based group activity recognition | |
| CN107527318B (zh) | 一种基于生成对抗式网络模型的发型更换方法 | |
| Agustsson et al. | Interactive full image segmentation by considering all regions jointly | |
| CN112906720B (zh) | 基于图注意力网络的多标签图像识别方法 | |
| CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 | |
| Zhang et al. | Video object co-segmentation by regulated maximum weight cliques | |
| CN107145862B (zh) | 一种基于霍夫森林的多特征匹配多目标跟踪方法 | |
| US11640714B2 (en) | Video panoptic segmentation | |
| Huang et al. | RGBD salient object detection using spatially coherent deep learning framework | |
| CN106815323B (zh) | 一种基于显著性检测的跨域视觉检索方法 | |
| Wang et al. | Progressive local filter pruning for image retrieval acceleration | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| US20220383639A1 (en) | System and Method for Group Activity Recognition in Images and Videos with Self-Attention Mechanisms | |
| CN110163117B (zh) | 一种基于自激励判别性特征学习的行人重识别方法 | |
| CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
| CN112801063B (zh) | 神经网络系统和基于神经网络系统的图像人群计数方法 | |
| CN112036379A (zh) | 基于注意力时间池化图卷积的骨架动作识别方法 | |
| Khorrami et al. | Multiple animal species detection using robust principal component analysis and large displacement optical flow | |
| Elharrouss et al. | FSC-set: counting, localization of football supporters crowd in the stadiums | |
| CN113239885A (zh) | 一种人脸检测与识别方法及系统 | |
| Wu et al. | Spatiotemporal self-supervised learning for point clouds in the wild | |
| İmamoğlu et al. | Saliency detection by forward and backward cues in deep-CNN | |
| CN113486815B (zh) | 一种行人重识别系统和方法、计算机设备及存储介质 | |
| Zhang et al. | Visual Object Tracking via Cascaded RPN Fusion and Coordinate Attention. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP02 | Change in the address of a patent holder |
Address after: Room 1409, Floor 14, Building 1, High tech Zone Entrepreneurship Center, No. 177, Gaoxin 6th Road, Rizhao, Shandong 276801 Patentee after: Shandong Liju Robot Technology Co.,Ltd. Address before: 276808 No.99, Yuquan 2nd Road, antonwei street, Lanshan District, Rizhao City, Shandong Province Patentee before: Shandong Liju Robot Technology Co.,Ltd. |
|
| CP02 | Change in the address of a patent holder | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Yue Inventor after: Ding Dongrui Inventor after: Huang Jin Inventor after: Wang Xiaohan Inventor after: Zhang Kai Inventor after: Yang Guangyuan Inventor after: Fang Tipin Inventor before: Ding Dongrui Inventor before: Huang Jin Inventor before: Wang Xiaohan Inventor before: Zhang Kai Inventor before: Yang Guangyuan Inventor before: Fang Tipin |
|
| CB03 | Change of inventor or designer information |