CN116524602A - 基于步态特征的换衣行人重识别方法及系统 - Google Patents

Abstract

本申请公开了基于步态特征的换衣行人重识别方法及系统，方法包括如下步骤：将待识别行人图像划分为训练集和测试集；将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将两个特征进行特征融合处理，获取训练集的融合特征；根据获取的训练集的融合特征，获取训练集的融合特征的损失值；根据损失值和真实值之间的误差值，获取优化后的换衣行人重识别网络模型；将测试集输入优化后的换衣行人重识别网络模型进行特征识别，获取换衣行人的重识别结果。本申请提供的基于步态特征的换衣行人重识别方法，基于肢体特征和步态特征，实现对换衣行人的重识别，以减少网络模型对服装特征的依赖，实现对行人换衣后的准确识别。

Description

基于步态特征的换衣行人重识别方法及系统

技术领域

本申请涉及计算机模式识别技术领域，具体是涉及基于步态特征的换衣行人重识别方法及系统。

背景技术

行人重识别（），又叫行人再识别，是一项从不同监控设备中检索出特定行人的计算机视觉技术，具体地讲，给定某个摄像头下的一张行人图像或视频序列，ReID需要查找出该行人在其余摄像头下的全部图像。ReID这种跨摄像头追踪特性常常与目标跟踪技术相结合，同时ReID的研究对象是行人的外观特征如衣着、体态、发型等。在进行跨摄像头人物匹配时，由于人脸识别技术广泛存在后脑勺和侧脸的情况，做正脸的人脸识别就很困难；另外，由于相机分辨率和拍摄角度的缘故，通常无法得到质量非常高的人脸图片，匹配效果经常失效。因此跨摄像头人物匹配通常采用行人重识别技术，它也是人脸识别失效状况下的重要替代技术。

在传统的行人重识别模型中，行人的衣服颜色特征或者说衣服的纹理特征都是重要的判断依据。近几年来国内外学者主要通过以下三个方向进行研究：第一是通过特征提取方法；第二是通过度量学习方法；第三是通过排序学习方法。但是一旦遇到换衣问题，目标行人在查询库和图像库中特征发生改变的时候，服装特征并不会改善模型，反而会给模型带来许多困难，使算法的性能都将会下降，影响换衣行人重识别的判断，不能准确地将更换衣服后的行人匹配出来。

发明内容

本申请的目的是为了克服上述背景技术的不足，提供一种基于步态特征的换衣行人重识别方法及系统。

第一方面，提供基于步态特征的换衣行人重识别方法，包括以下步骤：

将待识别行人图像划分为训练集和测试集；

将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；

根据获取的训练集的融合特征，获取训练集的融合特征的损失值；

根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；

将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；

根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

根据第一方面，在第一方面的第一种的实现方式中，所述将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征步骤，具体包括以下步骤：

将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；

将训练集输入步态特征识别网络中，获取训练集的步态特征向量；

将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

根据第一方面的第一种的实现方式，在第一方面的第二种的实现方式中，所述将训练集输入步态特征识别网络中，获取训练集的步态特征向量步骤，具体包括以下步骤：

采用GaitSet网络对训练集进行帧级特征提取、集合特征聚集、区别性特征映射，获取训练集的步态特征向量。

根据第一方面的第一种的实现方式，在第一方面的第三种的实现方式中，将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量步骤，具体包括以下步骤：

将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，获取投影后的肢体特征向量；

将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；

将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。

根据第一方面，在第一方面的第四种的实现方式中，所述根据获取的训练集的融合特征，获取训练集的融合特征的损失值步骤，具体包括以下步骤：

将获取的融合特征输入N元组损失函数中，计算获取训练集的融合特征的损失值。

根据第一方面，在第一方面的第五种的实现方式中，所述根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型步骤，具体包括以下步骤：

将损失值反向传递回肢体特征识别网络和步态特征识别网络，调整肢体特征识别网络和步态特征识别网络的权重值，直至网络模型输出结果和真实值之间的误差收敛，获取优化后的换衣行人重识别网络模型。

根据第一方面，在第一方面的第六种的实现方式中，所述根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果步骤，具体包括以下步骤：计算测试集的融合特征向量与图数据集中的融合特征向量的余弦相似度，根据获取的余弦相似度获取换衣行人重识别结果。

第二方面，本申请提供了一种基于步态特征的换衣行人重识别系统，图像划分模块，用于将待识别行人图像划分为训练集和测试集；

训练集融合特征获取模块，与所述图像划分模块通信连接，将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；

损失值获取模块，与所述训练集融合特征获取模块通信连接，用于根据获取的训练集的融合特征，获取训练集的融合特征的损失值；

模型优化模块，与所述损失值获取模块通信连接，用于根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；

测试集融合特征获取模块，与所述图像划分模块和所述模型优化模块通信连接，用于将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；

重识别模块，与所述模型优化模块通信连接，用于根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

根据第二方面，在第二方面的第一种的实现方式中，所述训练集融合特征获取模块，包括：

肢体特征向量获取子模块，与所述图像划分模块通信连接，用于将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；

步态特征向量获取子模块，与所述图像划分模块通信连接，用于将训练集输入步态特征识别网络中，获取训练集的步态特征向量；

融合特征向量获取子模块，与所述肢体特征向量获取子模块和所述步态特征向量获取子模块通信连接，用于将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

根据第二方面，在第二方面的第二种的实现方式中，所述融合特征向量获取子模块包括：

肢体特征向量获取单元，用于将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，获取投影后的肢体特征向量；

步态特征向量获取单元，用于将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；

融合特征向量获取单元，与所述肢体特征向量获取单元和所述步态特征向量获取单元通信连接，用于将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。

与现有技术相比，本申请的优点如下：

本申请提供的基于步态特征的换衣行人重识别方法，基于肢体特征和步态特征，实现对换衣行人的重识别，以针对性地关注与行人衣服无关的特征并且提取出比较准确的行人特征，减少网络模型对服装特征的依赖，实现对行人换衣后的准确识别。

附图说明

图1为本申请实施例提供的基于步态特征的换衣行人重识别方法的方法流程图；

图2为本申请实施例提供的基于步态特征的换衣行人重识别方法中的残差单元模型图；

图3为本申请实施例提供的基于步态特征的换衣行人重识别方法中的锚点样例图；

图4为本申请实施例提供的基于步态特征的换衣行人重识别方法中的肢体特征识别网络结构图；

图5为本申请实施例提供的的基于步态特征的换衣行人重识别方法中的步态特征识别网络结构图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，更清楚地了解本申请的目的、技术方案及其优点，以下结合具体实施例并参照附图对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。除此，本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

传统的行人重识别模型或方法中遇到换衣问题，目标行人在查询库和图像库中特征发生改变的时候，服装特征并不会改善模型，反而会给模型带来许多困难，算法的性能下降，影响换衣行人重识别的判断，不能准确地将更换衣服后的行人匹配出来的技术问题。

有鉴于此，参见图1所示，本申请实施例提供一种基于步态特征的换衣行人重识别方法，包括以下步骤：

步骤S1、将待识别行人图像划分为训练集和测试集；

步骤S2、将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；

步骤S3、根据获取的训练集的融合特征，获取训练集的融合特征的损失值；

步骤S4、根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；

步骤S5、将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；

步骤S6、根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

如上所述，通过步骤S1将待识别行人图像划分为训练集和测试集，分别作为换衣行人重识别网络模型的训练输入和测试输入，通过步骤S2-S4对换衣行人重识别网络模型进行模型训练，获取优化后的换衣行人重识别网络模型，通过步骤S5和步骤S6，将测试集输入到优化后的换衣行人重识别网路模型中，实现对待识别行人图像中的换衣行人的准确重识别。

本申请提供的基于步态特征的换衣行人重识别方法，基于肢体特征和步态特征，实现对换衣行人的重识别，以针对性地关注与行人衣服无关的特征并且提取出比较准确的行人特征，减少网络模型对服装特征的依赖，实现对行人换衣后的准确识别。

在一实施例中，所述换衣行人重识别网络模型包括肢体特征识别网络和步态特征识别网络。

在一实施例中，所述步骤S2、将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征步骤，具体包括以下步骤：

步骤S21、将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；

步骤S22、将训练集输入步态特征识别网络中，获取训练集的步态特征向量；

步骤S23、将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

在一实施例中，所述步骤S21、将训练集输入肢体特征识别网络中，具体包括以下步骤：

采用的CNN模型作为肢体特征识别的骨干网络，将训练集输入网络，经/>的CNN模型的前4层卷积块处理，获取多维特征图；

将获取的多维特征图的行人肢体特征进行转换，获取特征热图；

在获取的特征热图的图像帧维度每一层的每个像素点设置锚点，利用Soft-max分类器，以锚点个数和图像帧个数作为1×1卷积层的卷积核，对特征热图进行卷积，获取每一个锚点中的行人目标含有的工况，根据各锚点中的行人目标含有的工况，获取行人目标可能性最大的区域，作为提议区域；

利用卷积层获取特征热图中提取各个提议区域，将获取的各个提议区域输入至网络的第四至第五层，再利用全局平均池化层将其整合为多维特征向量A，将多维特征向量与特征热图进行一次全连接，获取特征向量B;

将特征向量A与特征向量B中的元素逐个相乘，在图像高度维度、图像宽度维度、帧维度三个维度进行一次全局平均池化后得到肢体特征向量。

在一实施例中，所述步骤S21、将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量，具体实现为：

采用的CNN模型作为肢体特征识别的骨干网络，/>的CNN模型共有5个卷积块（conv1-conv5），conv1为一个含有64×T（T为输入的帧个数）个卷积核的7×7的卷积层，conv2-conv5分别包含3、4、6、3个残差单元。残差单元模型如图2所示，其有助于解决CNN模型训练深层网络时带来的梯度消失和网络退化等问题。

给定训练集的一段输入视频（包含T个图像帧），其共有4个维度，分别为图像高度维度H、图像宽度维度W、图像通道维度C和帧维度T。经上述的CNN模型的前4层卷积块处理后，得到一个/>维的特征图。然后利用一个含有512×T个卷积核的3×3卷积层来对行人肢体特征进行转换，得到特征热图A，定义为：

式中，A为特征热图，H为图像高度维度，W为图像宽度维度，T为帧维度，R为实数集。

接着在特征热图图像帧维度每一层的每个像素点设置锚点，锚点即9个分别由三种长宽比为1：1、1：2、2：1构成的区域，用于覆盖特征热图上各个大小的特征，样例如图3所示。

利用Soft-max分类器，以锚点个数和图像帧个数作为1×1卷积层的卷积核，对特征热图进行卷积，判断每一个锚点中是否含有行人目标。之后通过线性回归来调整的锚点位置，再经过非最大抑制、剔除过小区域过后保留128个调整后锚点作为含有行人目标可能性最大的区域，将这128个区域定义为提议区域。

利用卷积层从特征热图中提取各个提议区域，接着将它们送入的第四至第五层，再利用全局平均池化层将其整合为/>维的特征向量，再与特征热图A进行一次全连接，得到的特征向量B定义为：

最后，A与B中的元素逐个相乘，在图像高度维度、图像宽度维度、帧维度三个维度进行一次全局平均池化后得到肢体特征向量：

式中，、/>分别表示特征向量A、B中图像高度位置i、图像宽度位置j、第t个帧中的元素；/>为元素积，表示两个向量对应位置的元素相乘，H为图像高度维度，W为图像宽度维度，T为帧维度。

肢体特征识别网络整体结构如图4所示。

在一实施例中，采用GaitSet网络提取进行步态特征，GaitSet是一种将步态特征序列视为一组无序集合来处理的方法。在步态识别任务中，目标步态特征序列样本处于不同时序的步态特征，其轮廓图的外观有着明显区别。对于一组无序步态特征序列集合，可通过其轮廓图的外观状态判断步态特征的序列关系。因此GaitSet对输入目标步态图的次序、连续性、个数、姿态等均没有约束。其整体设计架构可以分成三个部分：帧级特征提取、集合特征聚集、区别性特征映射。所述步骤S22、将训练集输入步态特征识别网络中，获取训练集的步态特征向量步骤，具体包括以下步骤：

步骤S220、采用GaitSet网络对训练集进行帧级特征提取、集合特征聚集、区别性特征映射，获取训练集的步态特征向量。

在一实施例中，所述步骤S220、采用GaitSet网络对训练集进行帧级特征提取、集合特征聚集、区别性特征映射，获取训练集的步态特征向量，具体包括以下步骤：

将训练集的所有行人图像在通道维度上进行平均池化，将所有行人图像在通道维度由三维降为一维；

将训练集的所有行人图像进行灰度化处理，获取灰度图像；

将灰度化处理后进行得到的灰度图作为此行人的步态信息，从一个行人的全部步态信息中抽取多个帧作为此行人的步态信息集合；

将步态信息集合中的每个帧，利用CNN卷积网络对其进行卷积处理，得到帧级特征；

通过集合池化将帧级特征聚合为一个帧的图像，获取集合池化后的单个帧图像；

将帧级特征经过CNN卷积和平均池化后再进行集合池化，获取卷积和池化后的图像；

将获取的集合池化后的单个帧图像与卷积和池化后的图像进行融合相加，获取集合级特征；

采用水平金字塔映射将集合级特征映射为多维向量，获取全局池化特征；

使用参数独立的全连接层对全局池化特征进行映射，获取训练集的步态特征向量。

在一实施例中，如图5所示，所述步骤S220、采用GaitSet网络对训练集进行帧级特征提取、集合特征聚集、区别性特征映射，获取训练集的步态特征向量，具体实现为：

步骤1、利用CNN卷积网络提取帧级特征；

由于GaitSet网络处理的是灰度图像，所以首先需要将输入的所有行人图像进行灰度化处理。

此处将输入的所有行人图像在通道维度进行平均池化，即将RGB三维通道降为一维，其数值为：

其中，表示平均池化，R、G、B为图像的三个颜色通道数值。

将灰度化处理后进行得到的灰度图作为此行人的步态信息。从一个行人的全部步态信息中抽取其中n个帧作为此行人的步态信息集合P，定义为：

式中，为此行人的步态信息集合，/>为第/>个帧的步态特征，/>为第/>帧。

对于每一个帧，利用CNN卷积网络对其进行卷积处理，得到步态特征集合V：

式中，为四维向量，分别为步态特征集合维度n、步态特征图像通道维度c，步态特征图像宽度维度w、步态特征图像高度维度h，/>为经卷积处理后的第/>个帧的步态信息，/>为第/>帧。

步骤2、通过集合池化将帧级特征聚合为集合级特征

集合池化将多个帧级特征聚合于一个帧的图像中，即将上述步态特征集合V中的步态特征集合维度由n维降为一维。

定义为将帧级特征聚合为集合级特征的聚合函数，公式为：

其中，分别为最大值函数、平均值函数和中位数函数，表示将/>得到的集合数据在通道维度上拼接，/>表示对/>得到的数据进行1×1卷积操作，V为步态特征集合。

由于GaitSet网络对步态信息没有时间序列要求，则聚合函数需为排列不变函数，即需满足：

其中，表示帧级特征的任意排列组合，/>为对所有帧的步态信息任意排列后，第i个帧的步态信息；/>为第/>帧。

为尽量保持每个图像帧各自的特征精度，此处对帧级特征分别进行两种处理：一种是直接进行集合池化；另一种是经过CNN卷积和平均池化后再进行集合池化。最后将两种处理结果融合相加，得到聚合后的集合级特征z。

聚合后的集合级特征，其为三维向量，分别为步态特征图像通道维度c，步态特征图像宽度维度w、步态特征图像高度维度h。

步骤3、将集合级特征进行区别性映射

此处采用水平金字塔映射将集合级特征映射为维向量，使其更具有区分性从而便于计算特征相似度。首先给定一个S表示水平金字塔映射的尺度个数，在每一个/>的尺度上，将集合级特征在图像高度维度上分为/>个条，表示为表示尺度s上条的索引。然后利用全局池化，将每一个尺度上的所有条由三维向量转为一维向量，得到的全局池化特征/>为：

其中，为全局池化后的特征，S为分成的尺度个数,s表示第s个尺度，t为尺度s上的条的索引，/>为最大池化；/>为平均池化，/>表示将集合级特征在图像高度维度上分为/>个条。

最后，使用参数独立的全连接层对进行映射，得到步态/>维特征向量/>。

步态特征识别网络整体结构如图4所示。

在一实施例中，所述步骤S23、将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量步骤，具体包括以下步骤：

将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，其中，c为步态特征图像通道维度，获取投影后的肢体特征向量；

将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；

将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。

在一较具体实施例中，所述步骤S23、将获取的训练集的肢体特征和步态特征，进行特征向量融合计算，获取同维的融合特征向量步骤，具体实现为：

为使得肢体特征向量和步态特征向量能够进行特征融合计算，需将两组向量变换为同维向量。

对肢体特征向量，利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的/>维向量子空间中。

对步态特征向量，将其所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，将/>维变为一维。

然后将两组向量通过线性投影得到融合特征向量，公式为：

其中，为/>、/>张成的向量子空间，R为实数集，c为步态特征图像通道维度；/>、/>分别为/>、/>的转置向量；/>为向量子空间中为误差向量，d为经线性投影得到的融合特征向量的维度大小。在对网络模型训练时，对f采用L2范数归一化处理。

在一实施例中，所述步骤S3、根据获取的训练集的融合特征，获取训练集的融合特征的损失值步骤，具体包括以下步骤：

将获取的融合特征输入如下的N元组损失函数中，训练集中每一个融合特征都会通过以下公式计算出一个损失值：

其中，；

；

其中，N元组中的N是指该元组中的元素数量，包括一个锚点中的查询特征样本，一个正特征样本（与锚点查询样本属于相同的类）和N-2个负样本（与锚点查询特征样本属于不同类），对应N-2个不同类别的N-2个负样本，/>表示给定标定样本/>与正样本/>之间的相似性，/>表示给定标定样本/>与负样本/>之间的相似性，/>为可调节参数，/>为一整体，表示给定标定样本，a无特殊含义，k为第k个负样本。N元组损失实际上对应于一个多类分类，其中N-1个类别作为参考，一个类别作为查询与其它N-1个类别进行匹配。此处，可将一个行人看作一个类，对于输入的行人特征样本，它与图数据集中的N-1个特征样本进行匹配，与其匹配的特征样本即为正特征样本，反之为负特征样本，每一个融合特征对应一个样本。对某一个融合特征来讲，其为查询样本，其余融合特征分别为正特征样本和负特征样本。

在识别网络模型训练过程中，采用N元组损失函数对线性投影融合后的特征向量进行损失计算，将得到的损失值反向传递回肢体特征识别网络和步态特征识别网络，帮助网络模型自动调整权重，具体地，调整肢体特征识别网络和步态特征识别网络的权重值，不断减小网络模型最终输出结果（融合特征）与真实值间的误差，使得网络模型能够更好地拟合数据。

本申请提供的基于步态特征的换衣行人重识别方法，采用N元组损失函数，可加快模型收敛速度，可优化类别之间的差异度，使同类样本间差异总小于不同类样本间的差异，并且不同类样本间不会因为差异过大导致模型中参数过拟合，这对于不同样本的查询可实现更准确、更快速地匹配，与行人重识别算法有很好的适配度。

本申请提供的基于步态特征的换衣行人重识别方法，引入N元损失函数，优化特征识别网络模型，特征识别网络模型包括肢体特征识别网络模型和步态特征识别网络模型，加快了模型训练时的收敛速度，提高了模型对行人识别的准确度。

经过上述的肢体特征识别网络构建、采用GaitSet网络提取步态特征以及肢体特征和步态特征的融合，可以得到与衣服无关、较为准确的行人特征，减少了行人重识别时对服装特征的依赖性，实现了换衣行人的匹配与识别。

在一实施例中，所述根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型步骤，具体包括以下步骤：

将损失值反向传递回肢体特征识别网络和步态特征识别网络，调整肢体特征识别网络和步态特征识别网络的权重值，直至网络模型输出结果和真实值之间的误差收敛，获取优化后的换衣行人重识别网络模型。

在一实施例中，所述根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果步骤，具体包括以下步骤：

计算测试集的融合特征向量与图数据集中的融合特征向量的余弦相似度，根据获取的余弦相似度获取换衣行人重识别结果，将融合特征向量与已有数据集中的行人特征向量进行余弦相似度度量，余弦相似度高于相似度阈值，则判定待识别行人图像与已有数据集中的行人特征向量为同一行人，余弦相似度低于相似度阈值，则判定待识别行人图像与已有数据集中的行人特征向量不是同一行人。

基于同一发明构思，本申请提供的基于步态特征的换衣行人重识别系统，包括图像划分模块、训练集融合特征获取模块、损失值获取模块、模型优化模块、测试集融合特征获取模块和重识别模块。图像划分模块用于将待识别行人图像划分为训练集和测试集；训练集融合特征获取模块与所述图像划分模块通信连接，将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；损失值获取模块与所述训练集融合特征获取模块通信连接，用于根据获取的训练集的融合特征，获取训练集的融合特征的损失值；模型优化模块与所述损失值获取模块通信连接，用于根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；测试集融合特征获取模块与所述图像划分模块和所述模型优化模块通信连接，用于将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；重识别模块与所述模型优化模块通信连接，用于根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

在一实施例中，所述训练集融合特征获取模块包括肢体特征向量获取子模块、步态特征向量获取子模块和融合特征向量获取子模块，肢体特征向量获取子模块与所述图像划分模块通信连接，用于将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；步态特征向量获取子模块与所述图像划分模块通信连接，用于将训练集输入步态特征识别网络中，获取训练集的步态特征向量；融合特征向量获取子模块与所述肢体特征向量获取子模块和所述步态特征向量获取子模块通信连接，用于将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

在一实施例中，所述融合特征向量获取子模块包括肢体特征向量获取单元、步态特征向量获取单元，肢体特征向量获取单元，用于将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，获取投影后的肢体特征向量；步态特征向量获取单元用于将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；融合特征向量获取单元与所述肢体特征向量获取单元和所述步态特征向量获取单元通信连接，用于将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。

基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。

本申请实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。

所称处理器可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（例如声音播放功能、图像播放功能等）；存储数据区可存储根据手机的使用所创建的数据（例如音频数据、视频数据等）。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种基于步态特征的换衣行人重识别方法，其特征在于，包括如下步骤：

将待识别行人图像划分为训练集和测试集；

将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；

根据获取的训练集的融合特征，获取训练集的融合特征的损失值；

根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；

将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；

根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

2.如权利要求1所述的基于步态特征的换衣行人重识别方法，其特征在于，所述将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征步骤，具体包括以下步骤：

将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；

将训练集输入步态特征识别网络中，获取训练集的步态特征向量；

将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

3.如权利要求2所述的基于步态特征的换衣行人重识别方法，其特征在于，所述将训练集输入步态特征识别网络中，获取训练集的步态特征向量步骤，具体包括以下步骤：

采用GaitSet网络对训练集进行帧级特征提取、集合特征聚集、区别性特征映射，获取训练集的步态特征向量。

4.如权利要求2所述的基于步态特征的换衣行人重识别方法，其特征在于，将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量步骤，具体包括以下步骤：

将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，获取投影后的肢体特征向量；

将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；

将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。

5.如权利要求1所述的基于步态特征的换衣行人重识别方法，其特征在于，所述根据获取的训练集的融合特征，获取训练集的融合特征的损失值步骤，具体包括以下步骤：

将获取的融合特征输入N元组损失函数中，计算获取训练集的融合特征的损失值。

6.如权利要求1所述的基于步态特征的换衣行人重识别方法，其特征在于，所述根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型步骤，具体包括以下步骤：

将损失值反向传递回肢体特征识别网络和步态特征识别网络，调整肢体特征识别网络和步态特征识别网络的权重值，直至网络模型输出结果和真实值之间的误差收敛，获取优化后的换衣行人重识别网络模型。

7.如权利要求1所述的基于步态特征的换衣行人重识别方法，其特征在于，所述根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果步骤，具体包括以下步骤：

计算测试集的融合特征向量与图数据集中的融合特征向量的余弦相似度，根据获取的余弦相似度获取换衣行人重识别结果。

8.一种基于步态特征的换衣行人重识别系统，其特征在于，包括：

图像划分模块，用于将待识别行人图像划分为训练集和测试集；

训练集融合特征获取模块，与所述图像划分模块通信连接，将训练集输入换衣行人重识别网络模型进行特征识别，获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理，获取训练集的融合特征；

损失值获取模块，与所述训练集融合特征获取模块通信连接，用于根据获取的训练集的融合特征，获取训练集的融合特征的损失值；

模型优化模块，与所述损失值获取模块通信连接，用于根据损失值和真实值之间的误差值，优化换衣行人重识别网络模型，直至误差值收敛，获取优化后的换衣行人重识别网络模型；

测试集融合特征获取模块，与所述图像划分模块和所述模型优化模块通信连接，用于将测试集输入优化后的换衣行人重识别网络模型进行特征识别获取肢体特征和步态特征，将肢体特征和步态特征进行特征融合处理特征融合，获取测试集的融合特征；

重识别模块，与所述模型优化模块通信连接，用于根据获取的测试集的融合特征和已有数据集中的行人特征，获取换衣行人的重识别结果。

9.如权利要求8所述的基于步态特征的换衣行人重识别系统，其特征在于，所述训练集融合特征获取模块，包括：

肢体特征向量获取子模块，与所述图像划分模块通信连接，用于将训练集输入肢体特征识别网络中，获取训练集的肢体特征向量；

步态特征向量获取子模块，与所述图像划分模块通信连接，用于将训练集输入步态特征识别网络中，获取训练集的步态特征向量；

融合特征向量获取子模块，与所述肢体特征向量获取子模块和所述步态特征向量获取子模块通信连接，用于将获取的训练集的肢体特征向量和步态特征向量，进行特征向量融合计算，获取同维的融合特征向量。

10.如权利要求9所述的基于步态特征的换衣行人重识别系统，其特征在于，

所述融合特征向量获取子模块包括：

肢体特征向量获取单元，用于将肢体特征向量利用softmax分类器和线性回归对特征向量进行处理，并将其投影到经过L2正则化后的2c维向量子空间中，获取投影后的肢体特征向量；

步态特征向量获取单元，用于将步态特征向量所有的尺度上的一维特征向量在图像通道维度进行拼接，对每一图像通道的特征向量再进行一次平均池化，获取一维步态特征向量；

融合特征向量获取单元，与所述肢体特征向量获取单元和所述步态特征向量获取单元通信连接，用于将投影后的肢体特征向量和一维步态特征向量，通过线性投影获取融合特征向量。