CN111709311A - 一种基于多尺度卷积特征融合的行人重识别方法 - Google Patents

一种基于多尺度卷积特征融合的行人重识别方法 Download PDF

Info

Publication number
CN111709311A
CN111709311A CN202010460003.9A CN202010460003A CN111709311A CN 111709311 A CN111709311 A CN 111709311A CN 202010460003 A CN202010460003 A CN 202010460003A CN 111709311 A CN111709311 A CN 111709311A
Authority
CN
China
Prior art keywords
pedestrian
distance
image
feature
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010460003.9A
Other languages
English (en)
Other versions
CN111709311B (zh
Inventor
廖开阳
邓轩
郑元林
章明珠
曹从军
李妮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010460003.9A priority Critical patent/CN111709311B/zh
Publication of CN111709311A publication Critical patent/CN111709311A/zh
Application granted granted Critical
Publication of CN111709311B publication Critical patent/CN111709311B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种多尺度卷积特征融合的行人重识别方法，首先对行人图片预处理；将Resnet‑50卷积神经网络作为骨干网络构建多层卷积神经网络，将处理后的图像作为样本数据输入到多层卷积神经网络中，得到卷积后的特征图；构建多尺度卷积神经单元；利用多尺度卷积神经单元计算原始特征距离，给定查询图像，通过将其k‑倒数最近邻编码为单个向量来计算k‑倒数特征，该单个矢量用于在雅克比距离下重新排序，最终距离计算为原始距离与雅克比距离的组合；本发明方法大幅度提高行人重识别的精度，并能广泛应用于行人重识别领域；本发明基于多尺度卷积特征融合的行人重识别算法也适合于图像检索领域，能大幅提高图像检索的精度。

Description

一种基于多尺度卷积特征融合的行人重识别方法
技术领域
本发明属于图像分析及图像识别技术领域，具体涉及一种基于多尺度卷积特征融合的行人重识别方法。
背景技术
行人重识别的目的是识别在不同位置以及不同摄像机视图中拍摄到的相同的行人并广泛应用于行人检索和摄像机跟踪任务的视频分析中。当在众多的视频序列中搜索特定的行人时，利用行人重识别系统可以节省时间和成本，因此利用身体外观的行人重识别已经受到越来越多的关注，但是由于行人容易受到姿态、照明、背景以及遮挡等方面的影响，使得行人重识别方法在本质上具有挑战性。
目前，具有深层的卷积神经网络的行人重识别取得了进展并且取得了高的识别率，许多先进的方法都设计了复杂的网络结构并连接了多分支网络，这些工作都集中在学习对行人姿势、照明和视角变化具有鲁棒性的判别性特征表示，以使用卷积神经网络提高行人的识别率。因为行人重识别的识别率的高低很大程度上取决于行人特征的鲁棒性，获取的行人图像的特征表示越全面，得到的行人重识别的精确度越高。为了更好的提高模型的鲁棒性，一些有效的训练技巧也被应用到行人重识别领域。因为随着视角的变化，行人的面部、手和脚等身体部位极不稳定，而卷积神经网络主要集中在行人的主干部分，因此抑制了对行人其他身体部位的描述；Fan等人(Xing Fan,Hao Luo,Xuan Zhang,et al.SCPNet:Spatial-Channel Parallelism Network for Joint Holistic and Partial Person Re-Identification[C]//Asian Conference on Computer Vision.Springer,Cham,2018)提出了一个空间通道并行网络(Spatial-Channel Parallelism Network,SCPNet)，提供了行人身体某一块空间区域的特征，并利用空间-通道相关性来监督网络学习一个鲁棒的特征，该方法在训练阶段有效地使用局部特征来利用全局特征。Dai等人(Z.Dai,M.Chen,X.Gu,S.Zhu and P.Tan,"Batch DropBlock Network for Person Re-Identification andBeyond,"2019IEEE/CVF International Conference on Computer Vision(ICCV),Seoul,Korea(South),2019,pp.3690-3700.)提出了批处理丢弃块(Batch DropBlock,BDB)网络，该模型以ResNet-50作为骨干网络，将骨干网络作为全局分支和特征删除分支组成两个分支网络，其中全局分支主要针对行人图像的全局特征提取，特征擦除分支主要通过批量随机擦除所有输入特征图的相同区域，以加强对行人图像局部区域特征的学习功能，最后，网络将两个分支得到的特征进行串联，得到了更全面和具有判别力的特征表示。
深度卷积神经网络已经证明了行人重识别的突破精度，从CNN学到的一系列特征提取器已经用于其他计算机视觉任务。来自CNN不同层次的特征旨在编码不同层次的信息，一系列从低层到高层的特征提取器可以从大规模的训练数据中以端到端的方式自动学习。不同层次的特征有着各自不同的特点，低层特征分辨率更高，包含更多位置和细节信息，用于度量细粒度的相似度，但是由于其经过的卷积层数较低，包含噪声较多，语义性不强，容易受到背景混乱和语义杂波的影响。高层特征具有更强的语义信息，用于度量语义的相似度，但其分辨率较低，对细节的感知能力较差，不足以描述图像细粒度的细节，因此如何将两者有效结合是提高识别准确率的关键。
发明内容
本发明的目的是提供一种多尺度卷积特征融合的行人重识别方法，充分利用不同层次的卷积特征的更多的互补优势，在骨干网络的基础上应用一系列优化技巧，把经过ResNet-50网络第2，3，4阶段的特征分别进行池化操作，得到多尺度特征，将这些不同层次的卷积特征进行拼接以测试图像，利用低层和高层特征的互补性来提高查询图像和其他候选图像之间的相似性度量。
本发明所采用的技术方案是，一种多尺度卷积特征融合的行人重识别方法，其特征在于，具体按以下步骤实施：
步骤1，数据预处理；
步骤2，将Resnet-50卷积神经网络作为骨干网络，构建多层卷积神经网络，将步骤1得到的处理后的图像作为样本数据输入到多层卷积神经网络中，得到卷积后的特征图；
步骤3，构建多尺度卷积神经单元；
步骤4，计算原始特征距离，将查询目标行人图像和候选行人图像集中每个行人图像输入到经步骤3训练好的网络模型中，计算查询目标行人图像特征与候选行人集中每个行人图像特征的原始特征距离；
步骤5，重排序策略，给定查询图像，通过将其k-倒数最近邻编码为单个向量来计算k-倒数特征，该单个矢量用于在雅克比距离下重新排序，最终距离计算为原始距离与雅克比距离的组合。
本发明的特点还在于：
其中步骤1具体操作包括以下步骤：
步骤1.1，将Resnet-50卷积网络作为骨干网络，将行人图片统一变换为长256宽128的大小，采用ImageNet中真实图像的RGB三通道均值和标准差来归一化输入图像，并使用随机翻转来进行数据增强；
步骤1.2，在经步骤1.1数据增强后，使用随机擦除增强策略来进行数据预处理；
其中步骤2具体操作包括以下步骤：
步骤2.1，将步骤1处理后的行人图片输入到网络中；骨干网络采用Resnet-50网络；
步骤2.2，提取特征图，分别提取Resnet-50网络卷积层第2阶段和第3阶段得到的特征图，并经Resnet-50网络第4阶段得到的特征图深度复制为两份，总共得到4个特征图；
其中步骤3具体操作包括以下步骤：将经步骤2得到的多层的卷积特征图经过池化处理以后进行特征拼接，使用动态学习率机制将得到的每一个特征向量进行独立分类，将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层，通过Tripletloss和Softmax loss损失将维数进一步降低到512维，最后使用梯度下降法优化得到分类损失，得到网络训练模型；
其中步骤3中构建多尺度卷积神经单元包括以下步骤：
步骤3.1，池化策略，将步骤2.2得到的经过卷积第2阶段和第3阶段得到的特征图，分别经过全局最大池化和全局平均池化，得到包含特征信息的1024维和2048维的特征向量；在ResNet-50的第4阶段之后，卷积核的步长由2变为1，然后将得到的特征图深度复制为两份，将经过第4阶段得到的深度复制以后的特征向量分别采用全局平均池化和全局最大池化策略，得到包含高层次特征信息的特征向量；
步骤3.2，学习率的设置，用前10个周期从3.5′10-5到3.5′10-4线性增加学习率；然后，在第40个和第70个学习周期，学习率分别下降到3.5′10-5和3.5′10-6；在第t个周期的学习率lr(t)计算为：
Figure BDA0002510641840000051
步骤3.3，在步骤3.2学习率设置的基础上，将经过步骤3.1得到的每一个特征向量进行独立分类，并将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层；
步骤3.4，损失函数的设置，将步骤3.1得到的特征向量分别输入到损失函数中，softmax函数的公式表示为：
Figure BDA0002510641840000052
式中，Si代表的是第i个神经元的输出，zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
Figure BDA0002510641840000053
式中，wij为是第i个神经元的第j个权重；b表示每个神经元的偏置值；zi表示该网络的第i个输出，xij表示网络第i个神经元的输入值；
给zi加上一个softmax函数，为：
Figure BDA0002510641840000061
ai表示这个输入图像对应的第i类的概率值的大小，每类ai的取值范围是[0,1]区间内；zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
步骤3.5，经步骤3.4分别求出所有所属类别的概率值后，在神经网络后面添加softmax函数，经过softmax loss得出的值就是预测的结果，因此可以使用交叉熵函数来作为损失函数；因此softmax的损失函数为：
Figure BDA0002510641840000062
式中，yi是神经元的输出也可以作为预测结果；
Figure BDA0002510641840000063
是第i个类别的真实值，
Figure BDA0002510641840000064
只能取值0或者1，在softmax中取以e为底的对数；
步骤3.6，将三元组损失结合softmax损失应用在网络模型中，在使用三元组损失函数时，将是三张图片作为网络的输入，
Figure BDA0002510641840000065
其中
Figure BDA0002510641840000066
是锚点样本，是在训练数据集中随机选取的一个样本，
Figure BDA0002510641840000067
表示与锚点样本属于同一行人标签的样本，即正样本，
Figure BDA0002510641840000068
代表与锚点样本不属于同一行人标签的样本，即负样本；在特征提取时，输入相同的网络结构，经过特征提取之后计算损失函数的公式如下：
Figure BDA0002510641840000069
式中：
Figure BDA00025106418400000610
表示正样本与锚点样本的欧氏距离度量值，即类内距离；
Figure BDA00025106418400000611
代表负样本与锚点样本的欧式度量值，即类间距离；
α是指
Figure BDA00025106418400000612
与
Figure BDA00025106418400000613
之间的距离和
Figure BDA00025106418400000614
与
Figure BDA00025106418400000615
之间的距离之间有一个最小的间隔；
+表示[]内的值大于零时，该值为损失值，小于零的时候，损失为零；
步骤3.6，最终的损失函数表示为：
Figure BDA0002510641840000071
式中，m代表损失函数的个数，Lsoftmax表示使用softmax函数得到损失值，Ltriplet表示使用trilpet函数得到的损失值；
步骤3.8，最后使用随机梯度下降法优化得到的分类损失；
其中步骤4具体操作包括以下步骤：
步骤4.1，在测试阶段，将获得的不同卷积层的特征进行拼接操作，使用多个不同的特征向量的融合来预测行人身份；
步骤4.2，利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；给定一个测试图行人p和参考图像集G＝{gi|i＝1,2,...,N}，两个行人图像p和gi之间的原始距离可以通过马氏距离来测量，
Figure BDA0002510641840000072
式中，xp代表测试图像p的外观特征；
Figure BDA0002510641840000073
代表参考图像gi的外观特征；M表示半正定矩阵；
其中步骤5具体操作包括以下步骤：
步骤5.1，定义一个更具有鲁棒性的集合：
Figure BDA0002510641840000074
对于原来的集合R(p,k)中的每一个测试样本q，找到它们的k-倒数最近邻集合
Figure BDA0002510641840000075
在重合样本数量达到一定的条件时，求其与R(p,k)的并集，将原本不在R(p,k)集合中匹配的正样本重新包含在集合中；
步骤5.2，使用高斯核将检索图像的k倒排最近邻集合编码成N维向量，定义为
Figure BDA0002510641840000081
Figure BDA0002510641840000082
设置为：
Figure BDA0002510641840000083
步骤5.3，计算雅克比距离时用到的交集的基数就改写为：
Figure BDA0002510641840000084
Figure BDA0002510641840000085
步骤5.4，最终得到的雅克比距离如下：
Figure BDA0002510641840000086
步骤5.5，则最终计算距离如下：
d*(p，gi)＝(1-λ)dJ(p，gi)+λd(p，gi) (14)
通过结合步骤4.2得到的原始马氏距离和雅克比距离对初始的排序进行重排序，其最终距离为两个距离的加权和，根据最终距离得到匹配的等级。
本发明的有益效果是：
本发明通过设计基于多尺度卷积特征融合的行人重识别的算法，能明显提高行人重识别的鲁棒性；通过行人重识别数据集，在使用优化技巧的基础上重新训练了网络模型Resnet-50，使网络模型能够判别不同身份的行人；对多层卷积特征今天不同的池化策略处理后得到的特征描述子用于行人重识别，提高行人重识别的性能；该方法利用不同层次的卷积特征的互补优势，在训练阶段，在应用一系列优化技巧的基础上，使用全局平均池化和全局最大池化对多个卷积特征图进行池化操作，并结合多个损失函数，得到多个特征向量，并对每一个特征向量进行独立分类，最后使用梯度下降法优化所有的损失函数。在测试阶段，将池化后的多个特征向量拼接成一个新的特征向量，使用新的特征向量进行相似性度量。大幅度提高行人重识别的精度，并能广泛应用于行人重识别领域；本发明基于多尺度卷积特征融合的行人重识别算法也适合于图像检索领域，能大幅提高图像检索的精度。
附图说明
图1是本发明的一种多尺度卷积特征融合的行人重识别方法的框架图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明提供了一种多尺度卷积特征融合的行人重识别方法，具体按以下步骤实施：
步骤1，数据预处理：
步骤1.1，将Resnet-50卷积网络作为骨干网络，将行人图片统一变换为长256宽128的大小，采用ImageNet中真实图像的RGB三通道均值和标准差来归一化输入图像，并使用随机翻转来进行数据增强；
步骤1.2，在经步骤1.1数据增强后，使用随机擦除增强策略来进行数据预处理；
步骤2，将Resnet-50卷积神经网络作为骨干网络，构建多层卷积神经网络，将步骤1得到的处理后的图像作为样本数据输入到多层卷积神经网络中，得到卷积后的特征图：
步骤2.1，将步骤1得到的行人图片输入到网络中。骨干网络采用Resnet-50网络，ResNet-50网络结构一般分为5个阶段，若给定输入图像尺寸为(224,224,3)，其中224代表图像的宽度和高度，3代表RGB三个通道，每经过一层，其输出的图像尺寸会变为上一层的一半。本发明只利用网络的前四个阶段，并在ResNet-50的第4阶段之后，卷积核的步长由2变为1，以获得包含更多细节信息的行人图片；
步骤2.2，提取特征图，分别提取Resnet-50网络卷积层第2阶段和第3阶段得到的特征图，并经网络第4阶段得到的特征图深度复制为两份，总共得到4个特征图；
步骤3，构建多尺度卷积神经单元：
将经步骤2得到的多层的卷积特征图经过池化处理以后进行特征拼接，使用动态学习率机制将得到的每一个特征向量进行独立分类，将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层，通过triplet loss和softmax loss损失将维数进一步降低到512维，最后使用梯度下降法优化得到分类损失，得到网络训练模型；
构建多尺度卷积神经单元包括以下步骤：
步骤3.1，池化策略，将步骤2.2得到的经过卷积第2阶段和第3阶段得到的特征图，分别经过全局最大池化和全局平均池化，得到包含特征信息的1024维和2048维的特征向量；在ResNet-50的第4阶段之后，卷积核的步长由2变为1，然后将得到的特征图深度复制为两份，将经过第4阶段得到的深度复制以后的特征向量分别采用全局平均池化和全局最大池化策略，得到包含高层次特征信息的特征向量；
步骤3.2，学习率的设置，用前10个周期从3.5′10-5到3.5′10-4线性增加学习率。然后，在第40个和第70个学习周期，学习率分别下降到3.5′10-5和3.5′10-6；在第t个周期的学习率lr(t)计算为：
Figure BDA0002510641840000111
步骤3.3，在步骤3.2学习率设置的基础上，将经过步骤3.1得到的每一个特征向量进行独立分类，并将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层；
步骤3.4，损失函数的设置，将步骤3.1得到的特征向量分别输入到损失函数中，softmax函数的公式表示为：
Figure BDA0002510641840000112
式中，Si代表的是第i个神经元的输出，zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
Figure BDA0002510641840000113
式中，wij为是第i个神经元的第j个权重；b表示每个神经元的偏置值；zi表示该网络的第i个输出，xij表示网络第i个神经元的输入值；
给zi加上一个softmax函数，为：
Figure BDA0002510641840000114
ai表示这个输入图像对应的第i类的概率值的大小，每类ai的取值范围是[0,1]区间内；zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
步骤3.5，经步骤3.4分别求出所有所属类别的概率值后，在神经网络后面添加softmax函数，经过softmax loss得出的值就是预测的结果，因此可以使用交叉熵函数来作为损失函数；因此softmax的损失函数为：
Figure BDA0002510641840000121
式中，yi是神经元的输出也可以作为预测结果；
Figure BDA0002510641840000122
是第i个类别的真实值，
Figure BDA0002510641840000123
只能取值0或者1，在softmax中取以e为底的对数；
步骤3.6，将三元组损失结合softmax损失应用在网络模型中，在使用三元组损失函数时，将是三张图片作为网络的输入，
Figure BDA0002510641840000124
其中
Figure BDA0002510641840000125
是锚点样本，是在训练数据集中随机选取的一个样本，
Figure BDA0002510641840000126
表示与锚点样本属于同一行人标签的样本，即正样本，
Figure BDA0002510641840000127
代表与锚点样本不属于同一行人标签的样本，即负样本；在特征提取时，输入相同的网络结构，经过特征提取之后计算损失函数的公式如下：
Figure BDA0002510641840000128
式中：
Figure BDA0002510641840000129
表示正样本与锚点样本的欧氏距离度量值，即类内距离；
Figure BDA00025106418400001210
代表负样本与锚点样本的欧式度量值，即类间距离；
α是指
Figure BDA00025106418400001211
与
Figure BDA00025106418400001212
之间的距离和
Figure BDA00025106418400001213
与
Figure BDA00025106418400001214
之间的距离之间有一个最小的间隔；
+表示[]内的值大于零时，该值为损失值，小于零的时候，损失为零；
步骤3.6，最终的损失函数表示为：
Figure BDA00025106418400001215
式中，m代表损失函数的个数，Lsoftmax表示使用softmax函数得到损失值，Ltriplet表示使用trilpet函数得到的损失值；
步骤3.8，最后使用随机梯度下降法优化得到的分类损失；
步骤4，计算原始特征距离，将查询目标行人图像和候选行人图像集中每个行人图像输入到经步骤3训练好的网络模型中，计算查询目标行人图像特征与候选行人集中每个行人图像特征的原始特征距离：
步骤4.1，在测试阶段，将获得的不同卷积层的特征进行拼接操作，使用多个不同的特征向量的融合来预测行人身份；
步骤4.2，利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；给定一个测试图行人p和参考图像集G＝{gi|i＝1,2,...,N}，两个行人图像p和gi之间的原始距离可以通过马氏距离来测量，
Figure BDA0002510641840000131
式中，xp代表测试图像p的外观特征；
Figure BDA0002510641840000132
代表参考图像gi的外观特征；M表示半正定矩阵；
步骤5，重排序策略，给定查询图像，通过将其k-倒数最近邻编码为单个向量来计算k-倒数特征，该单个矢量用于在雅克比距离下重新排序，最终距离计算为原始距离与雅克比距离的组合；
步骤5具体操作包括以下步骤：
步骤5.1，定义一个更具有鲁棒性的集合：
Figure BDA0002510641840000133
对于原来的集合R(p,k)中的每一个测试样本q，找到它们的k-倒数最近邻集合
Figure BDA0002510641840000134
在重合样本数量达到一定的条件时，求其与R(p,k)的并集，将原本不在R(p,k)集合中匹配的正样本重新包含在集合中；
步骤5.2，使用高斯核将检索图像的k倒排最近邻集合编码成N维向量，定义为
Figure BDA0002510641840000141
Figure BDA0002510641840000142
设置为：
Figure BDA0002510641840000143
步骤5.3，计算雅克比距离时用到的交集的基数就改写为：
Figure BDA0002510641840000144
Figure BDA0002510641840000145
步骤5.4，最终得到的雅克比距离如下：
Figure BDA0002510641840000146
步骤5.5，则最终计算距离如下：
d*(p，gi)＝(1-λ)dJ(p，gi)+λd(p，gi) (14)
通过结合步骤4.2得到的原始马氏距离和雅克比距离对初始的排序进行重排序，其最终距离为两个距离的加权和，根据最终距离得到匹配的等级。
多尺度卷积特征融合的行人重识别方法算法的框架图，如图1所示，从算法输入输出来看，本发明输入两个图像库(查询图库、待处理图像库)，其中两幅图像在训练的Resnet-50的特征提取阶段经过，得到多个卷积特征；
从算法的流程来看；利用不同层次的卷积特征的更多互补优势，提出了一种基于多尺度卷积特征融合的行人重识别方法，所提的多尺度卷积特征融合方法如图1所示，主要分为以下几个部分：
1)在骨干网络的基础上应用一系列优化技巧，将第4阶段卷积核的步幅由2设置为1，增加特征图的尺寸，应用随机擦除的数据增强方法和动态学习率机制，增加网络模型的鲁棒性，使得模型的性能更好。归一化每个分类器的权重与特征，使得损失函数只优化权重与特征之间的角度，提升了分类性能；
2)把经过ResNet-50网络第2,3,4阶段的特征分别进行池化操作，得到多尺度特征，并将得到的特征进行独立分类，同时使用softmax loss和triplet loss函数，弥补判别特征信息不足的缺陷；
3)在测试阶段，将获得的不同卷积层的特征进行拼接操作，使用多个不同的特征向量的融合来预测行人身份。

Claims (7)

1.一种多尺度卷积特征融合的行人重识别方法，其特征在于，具体按以下步骤实施：
步骤1，数据预处理；
步骤2，将Resnet-50卷积神经网络作为骨干网络，构建多层卷积神经网络，将步骤1得到的处理后的图像作为样本数据输入到多层卷积神经网络中，得到卷积后的特征图；
步骤3，构建多尺度卷积神经单元；
步骤4，计算原始特征距离，将查询目标行人图像和候选行人图像集中每个行人图像输入到经步骤3训练好的网络模型中，计算查询目标行人图像特征与候选行人集中每个行人图像特征的原始特征距离；
步骤5，重排序策略，给定查询图像，通过将其k-倒数最近邻编码为单个向量来计算k-倒数特征，该单个矢量用于在雅克比距离下重新排序，最终距离计算为原始距离与雅克比距离的组合。
2.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤1具体操作包括以下步骤：
步骤1.1，将Resnet-50卷积网络作为骨干网络，将行人图片统一变换为长256宽128的大小，采用ImageNet中真实图像的RGB三通道均值和标准差来归一化输入图像，并使用随机翻转来进行数据增强；
步骤1.2，在经步骤1.1数据增强后，使用随机擦除增强策略来进行数据预处理。
3.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤2具体操作包括以下步骤：
步骤2.1，将步骤1处理后的行人图片输入到网络中；骨干网络采用Resnet-50网络；
步骤2.2，提取特征图，分别提取Resnet-50网络卷积层第2阶段和第3阶段得到的特征图，并经Resnet-50网络第4阶段得到的特征图深度复制为两份，总共得到4个特征图。
4.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤3具体操作包括以下步骤：将经步骤2得到的多层的卷积特征图经过池化处理以后进行特征拼接，使用动态学习率机制将得到的每一个特征向量进行独立分类，将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层，通过triplet loss和softmax loss损失将维数进一步降低到512维，最后使用梯度下降法优化得到分类损失，得到网络训练模型。
5.根据权利要求4所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤3中构建多尺度卷积神经单元包括以下步骤：
步骤3.1，池化策略，将步骤2.2得到的经过卷积第2阶段和第3阶段得到的特征图，分别经过全局最大池化和全局平均池化，得到包含特征信息的1024维和2048维的特征向量；在ResNet-50的第4阶段之后，卷积核的步长由2变为1，然后将得到的特征图深度复制为两份，将经过第4阶段得到的深度复制以后的特征向量分别采用全局平均池化和全局最大池化策略，得到包含高层次特征信息的特征向量；
步骤3.2，学习率的设置，用前10个周期从3.5′10-5到3.5′10-4线性增加学习率；然后，在第40个和第70个学习周期，学习率分别下降到3.5′10-5和3.5′10-6；在第t个周期的学习率lr(t)计算为：
Figure FDA0002510641830000031
步骤3.3，在步骤3.2学习率设置的基础上，将经过步骤3.1得到的每一个特征向量进行独立分类，并将池化后得到的特征向量通过一个卷积层、一个批量归一化层和一个ReLU层；
步骤3.4，损失函数的设置，将步骤3.1得到的特征向量分别输入到损失函数中，softmax函数的公式表示为：
Figure FDA0002510641830000032
式中，Si代表的是第i个神经元的输出，zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
Figure FDA0002510641830000033
式中，wij为是第i个神经元的第j个权重；b表示每个神经元的偏置值；zi表示该网络的第i个输出，xij表示网络第i个神经元的输入值；
给zi加上一个softmax函数，为：
Figure FDA0002510641830000034
ai表示这个输入图像对应的第i类的概率值的大小，每类ai的取值范围是[0,1]区间内；zi为第i个节点的输出值，k为输出节点的个数，即分类的类别个数；
步骤3.5，经步骤3.4分别求出所有所属类别的概率值后，在神经网络后面添加softmax函数，经过softmax loss得出的值就是预测的结果，因此可以使用交叉熵函数来作为损失函数；因此softmax的损失函数为：
Figure FDA0002510641830000041
式中，yi是神经元的输出也可以作为预测结果；
Figure FDA0002510641830000042
是第i个类别的真实值，
Figure FDA0002510641830000043
只能取值0或者1，在softmax中取以e为底的对数；
步骤3.6，将三元组损失结合softmax损失应用在网络模型中，在使用三元组损失函数时，将是三张图片作为网络的输入，
Figure FDA0002510641830000044
其中
Figure FDA0002510641830000045
是锚点样本，是在训练数据集中随机选取的一个样本，
Figure FDA0002510641830000046
表示与锚点样本属于同一行人标签的样本，即正样本，
Figure FDA0002510641830000047
代表与锚点样本不属于同一行人标签的样本，即负样本；在特征提取时，输入相同的网络结构，经过特征提取之后计算损失函数的公式如下：
Figure FDA0002510641830000048
式中：
Figure FDA0002510641830000049
表示正样本与锚点样本的欧氏距离度量值，即类内距离；
Figure FDA00025106418300000410
代表负样本与锚点样本的欧式度量值，即类间距离；
α是指
Figure FDA00025106418300000411
与
Figure FDA00025106418300000412
之间的距离和
Figure FDA00025106418300000413
与
Figure FDA00025106418300000414
之间的距离之间有一个最小的间隔；
+表示[]内的值大于零时，该值为损失值，小于零的时候，损失为零；
步骤3.6，最终的损失函数表示为：
Figure FDA00025106418300000415
式中，m代表损失函数的个数，Lsoftmax表示使用softmax函数得到损失值，Ltriplet表示使用trilpet函数得到的损失值；
步骤3.8，最后使用随机梯度下降法优化得到的分类损失。
6.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤4具体操作包括以下步骤：
步骤4.1，在测试阶段，将获得的不同卷积层的特征进行拼接操作，使用多个不同的特征向量的融合来预测行人身份；
步骤4.2，利用欧氏距离公式，计算查询目标行人图像特征与候选行人集中每个行人图像特征的特征距离；给定一个测试图行人p和参考图像集G＝{gi|i＝1,2,...,N}，两个行人图像p和gi之间的原始距离可以通过马氏距离来测量，
Figure FDA0002510641830000051
式中，xp代表测试图像p的外观特征；
Figure FDA0002510641830000052
代表参考图像gi的外观特征；M表示半正定矩阵。
7.根据权利要求1所述的一种多尺度卷积特征融合的行人重识别方法，其特征在于，所述步骤5具体操作包括以下步骤：
步骤5.1，定义一个更具有鲁棒性的集合：
Figure FDA0002510641830000053
对于原来的集合R(p,k)中的每一个测试样本q，找到它们的k-倒数最近邻集合
Figure FDA0002510641830000054
在重合样本数量达到一定的条件时，求其与R(p,k)的并集，将原本不在R(p,k)集合中匹配的正样本重新包含在集合中；
步骤5.2，使用高斯核将检索图像的k倒排最近邻集合编码成N维向量，定义为
Figure FDA0002510641830000055
Figure FDA0002510641830000056
设置为：
Figure FDA0002510641830000061
步骤5.3，计算雅克比距离时用到的交集的基数就改写为：
Figure FDA0002510641830000062
Figure FDA0002510641830000063
步骤5.4，最终得到的雅克比距离如下：
Figure FDA0002510641830000064
步骤5.5，则最终计算距离如下：
d*(p，gi)＝(1-λ)dJ(p，gi)+λd(p，gi) (14)
通过结合步骤4.2得到的原始马氏距离和雅克比距离对初始的排序进行重排序，其最终距离为两个距离的加权和，根据最终距离得到匹配的等级。
CN202010460003.9A 2020-05-27 2020-05-27 一种基于多尺度卷积特征融合的行人重识别方法 Active CN111709311B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010460003.9A CN111709311B (zh) 2020-05-27 2020-05-27 一种基于多尺度卷积特征融合的行人重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010460003.9A CN111709311B (zh) 2020-05-27 2020-05-27 一种基于多尺度卷积特征融合的行人重识别方法

Publications (2)

Publication Number Publication Date
CN111709311A true CN111709311A (zh) 2020-09-25
CN111709311B CN111709311B (zh) 2023-11-28

Family

ID=72538215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010460003.9A Active CN111709311B (zh) 2020-05-27 2020-05-27 一种基于多尺度卷积特征融合的行人重识别方法

Country Status (1)

Country Link
CN (1) CN111709311B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985367A (zh) * 2020-08-07 2020-11-24 湖南大学 一种基于多尺度特征融合的行人重识别特征提取方法
CN112183468A (zh) * 2020-10-27 2021-01-05 南京信息工程大学 一种基于多注意力联合多级特征的行人再识别方法
CN112347855A (zh) * 2020-10-12 2021-02-09 西安电子科技大学青岛计算技术研究院 一种基于深度学习的生物特征模板保护方法及装置
CN112464775A (zh) * 2020-11-21 2021-03-09 西北工业大学 一种基于多分支网络的视频目标重识别方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN112633229A (zh) * 2020-12-31 2021-04-09 天津大学 一种基于spd流形的行人重识别系统
CN112766353A (zh) * 2021-01-13 2021-05-07 南京信息工程大学 一种加强局部注意的双分支车辆再识别方法
CN112986210A (zh) * 2021-02-10 2021-06-18 四川大学 一种尺度自适应的微生物拉曼光谱检测方法及系统
CN113378729A (zh) * 2021-06-16 2021-09-10 西安理工大学 一种基于位姿嵌入的多尺度卷积特征融合行人重识别方法
CN113628104A (zh) * 2021-08-30 2021-11-09 中国人民解放军国防科技大学 针对无序图像增量式SfM的初始图像对选取方法
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN117612266A (zh) * 2024-01-24 2024-02-27 南京信息工程大学 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110781817A (zh) * 2019-10-25 2020-02-11 南京大学 一种解决部件不对齐的行人再识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109948425A (zh) * 2019-01-22 2019-06-28 中国矿业大学 一种结构感知自注意和在线实例聚合匹配的行人搜索方法及装置
CN110781817A (zh) * 2019-10-25 2020-02-11 南京大学 一种解决部件不对齐的行人再识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张楚楚等: "基于改进YOLOv2网络的密集人群场景行人检测", 《现代计算机(专业版)》 *
樊琳等: "联合损失优化孪生网络的行人重识别", 《计算机工程与科学》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111985367A (zh) * 2020-08-07 2020-11-24 湖南大学 一种基于多尺度特征融合的行人重识别特征提取方法
CN112347855A (zh) * 2020-10-12 2021-02-09 西安电子科技大学青岛计算技术研究院 一种基于深度学习的生物特征模板保护方法及装置
CN112183468A (zh) * 2020-10-27 2021-01-05 南京信息工程大学 一种基于多注意力联合多级特征的行人再识别方法
CN112464775A (zh) * 2020-11-21 2021-03-09 西北工业大学 一种基于多分支网络的视频目标重识别方法
CN112633229A (zh) * 2020-12-31 2021-04-09 天津大学 一种基于spd流形的行人重识别系统
CN112766353A (zh) * 2021-01-13 2021-05-07 南京信息工程大学 一种加强局部注意的双分支车辆再识别方法
CN112766353B (zh) * 2021-01-13 2023-07-21 南京信息工程大学 一种加强局部注意的双分支车辆再识别方法
CN112528059A (zh) * 2021-02-08 2021-03-19 南京理工大学 基于深度学习的交通目标图像检索方法、装置及可读介质
CN112986210A (zh) * 2021-02-10 2021-06-18 四川大学 一种尺度自适应的微生物拉曼光谱检测方法及系统
CN113378729A (zh) * 2021-06-16 2021-09-10 西安理工大学 一种基于位姿嵌入的多尺度卷积特征融合行人重识别方法
CN113628104A (zh) * 2021-08-30 2021-11-09 中国人民解放军国防科技大学 针对无序图像增量式SfM的初始图像对选取方法
CN113822419A (zh) * 2021-09-26 2021-12-21 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN113822419B (zh) * 2021-09-26 2023-08-01 广东技术师范大学 一种基于结构信息的自监督图表示学习运行方法
CN117612266A (zh) * 2024-01-24 2024-02-27 南京信息工程大学 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法
CN117612266B (zh) * 2024-01-24 2024-04-19 南京信息工程大学 基于多尺度图像及特征层对齐的跨分辨率行人重识别方法

Also Published As

Publication number Publication date
CN111709311B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN111709311B (zh) 一种基于多尺度卷积特征融合的行人重识别方法
Xie et al. Multilevel cloud detection in remote sensing images based on deep learning
CN112200111B (zh) 一种全局与局部特征融合的遮挡鲁棒行人重识别方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN111126360A (zh) 基于无监督联合多损失模型的跨域行人重识别方法
CN110717411A (zh) 一种基于深层特征融合的行人重识别方法
CN108596010B (zh) 行人重识别系统的实现方法
CN111666843A (zh) 一种基于全局特征和局部特征拼接的行人重识别方法
CN109255289B (zh) 一种基于统一式生成模型的跨衰老人脸识别方法
CN112149538A (zh) 一种基于多任务学习的行人重识别方法
CN111079514A (zh) 一种基于clbp和卷积神经网络的人脸识别方法
Wang et al. Online visual place recognition via saliency re-identification
Najibi et al. Towards the success rate of one: Real-time unconstrained salient object detection
CN112613474B (zh) 一种行人重识别的方法和装置
Symeonidis et al. Neural attention-driven non-maximum suppression for person detection
CN112446305A (zh) 一种基于分类权重等距分布损失模型的行人重识别方法
CN111488797A (zh) 一种行人再识别方法
CN115050044B (zh) 一种基于MLP-Mixer的跨模态行人重识别方法
CN113032612B (zh) 一种多目标图像检索模型的构建方法及检索方法和装置
Mokalla et al. On designing MWIR and visible band based deepface detection models
Putro et al. Fast eye detector using CPU based lightweight convolutional neural network
CN114462479A (zh) 模型训练方法、检索方法以及模型、设备和介质
Janarthanan et al. An Efficient Face Detection and Recognition System Using RVJA and SCNN
Said et al. Wavelet networks for facial emotion recognition
Li et al. Tlcd: A transformer based loop closure detection for robotic visual slam

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant