CN117831081B - 基于换衣数据和残差网络的换衣行人重识别方法及系统 - Google Patents

Abstract

本发明涉及计算机视觉技术领域，尤其涉及一种基于换衣数据和残差网络的换衣行人重识别方法及系统，根据边缘信息获取行人图像轮廓草图，根据人体语义分割信息定位人体部件区域，多方面挖掘身份鉴别特征；通过多样性换衣数据增强策略，构建服装仓库，扩充具有换衣情况的数据样本，利用形体信息引导模块增强人体语义信息的描述；通过轮廓草图贴图模块补充人体解析的分割缺陷，进一步利用多尺度权重分块模块增强模型对行人图像中多尺度多视角和遮挡情况的鲁棒能力；所有模块在一个统一的框架中共同训练，在测试中使用形体引导原始特征作为鉴别特征。本发明在换衣场景的行人重识别任务下表现出优异的性能，具有科学的、鲁棒的和可泛化的技术效果。

Description

基于换衣数据和残差网络的换衣行人重识别方法及系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于换衣数据和残差网络的换衣行人重识别方法及系统。

背景技术

随着城市化进程的加快和人口的快速增长，城市人口密度大、交通拥堵、公共安全防御等问题也逐渐凸显。为确保城市安全和秩序，建立智慧城市及智能交通等视频监控系统成为当前的发展趋势和迫切需要。行人重识别(Person Re-identification，Re-ID)技术旨在解决跨摄像头、场景下的行人关联与匹配问题，通过模式识别和计算机视觉技术处理监控数据，实现自动检测、跟踪和识别，无需人力干预。Re-ID可以作为人脸识别技术的重要补充，可对无法清晰拍摄人脸的行人进行跨摄像头连续跟踪，提升数据时空连续性，广泛应用于人机交互、智能家居等领域，展现广泛的发展前景。在实际应用中，Re-ID作为行人智能认知的研究方向，面临诸多技术难点和客观因素的影响，行人图像数据来源于不同时间、地点、设备，存在姿势变化、背景差异、照明不同、像素差异、遮挡、服装更换、模态变化、视角不同等问题，给行人重识别带来巨大挑战。

得益于深度学习的飞速发展，研究者们已经提出了许多行人重识别方法，并取得了巨大的发展。比如Wang等人为了降低行人图像中的姿态或者背景的变化产生的干扰，从图像中定位身体的重要部分来表示行人身份的局部信息，提出了MGN网络，结合全局特征，通过将行人图像划分多个条带，并且改变不同局部分支的条带数量来获得多粒度局部特征表示；Zhang等人考虑到行人图像的局部不对齐导致的距离过大问题，提出了AlginedReID方法，利用了行人的局部区域之间的联系实现对行人的动态对齐，从而减少距离过大，经过协同学习，使得深度学习的行人重识别方法首次超越了人类表现。

然而，当前大部分的传统行人重识别方法都过度的关注衣服纹理颜色特征，对于行人的非衣服区域的生物特征关注度较小，导致传统方法在行人有衣服更换的场景下性能骤降，因此，本发明提出了基于换衣数据和残差网络的换衣行人重识别方法及系统解决上述问题。

发明内容

本发明针对现有技术的不足，研制基于换衣数据和残差网络的换衣行人重识别方法及系统，能够提取适应换衣场景下的更有鲁棒性和鉴别性的特征。

本发明解决技术问题的技术方案为：一方面，本发明提供了基于换衣数据和残差网络的换衣行人重识别方法，步骤如下：

S1.获取待查询的行人图像，行人图像通过不重叠的摄像头拍摄获取，将获取待查询的行人图像分别合成行人图像的数据集和查询库；

S2.创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

S3.将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。

具体实施方式中，S2具体如下：

通过训练行人图像的数据集、多样性换衣行人图像、边缘轮廓草图、屏蔽衣服图像和轮廓草图贴图图像创建换衣行人重识别模型，具体创建过程如下：

S2.1.通过语义分割模型将待查询的行人图像进行分割，并对图像中各个语义区域进行标注得到语义分割图；再通过边缘检测模型对待查询的行人图像进行边缘检测，获得与待查询的行人图像对应的边缘轮廓草图；

S2.2.通过标注后的语义分割图得到对应行人图像的上衣和下衣局部区域的掩码图像，构建服装仓库，得到多样性换衣行人图像；通过语义分割图和待查询的行人图像得到屏蔽衣服图像；通过边缘轮廓草图和语义分割图得到轮廓草图贴图图像；

S2.3.通过骨干网络由待查询的行人图像得到原始特征；通过多样性换衣数据增强策略由多样性换衣行人图像得到换装特征；通过形体信息移到模块由边缘轮廓草图获取形体特征，然后通过形体特征与原始特征构建形体引导原始特征；通过轮廓草图贴图模块由轮廓草图贴图图像得到轮廓衣物贴图特征；通过多尺度权重分块模块由屏蔽衣服图像得到多尺度加权特征；

S2.4.通过损失函数对原始特征、换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征和多尺度加权特征进行共同约束训练，最后得到换衣数据和残差网络的换衣行人重识别模型。

具体实施方式中，S2.2中服装仓库、多样性换衣行人图像、轮廓草图贴图图像和屏蔽衣服图像的具体获取方法如下:

服装仓库的获取：通过语义分割图定位上衣和下衣局部区域，执行二值化对局部区域进行区分处理，将定位服装区域设为1，将未定位服装区域设为0，得到上衣和下衣区域掩码图像，再通过上衣和下衣区域掩码图像从待查询的行人图像上分离上衣与下衣区域，然后对上衣和下衣区域进行放大、变化、剪裁、随机排列，最终得到构建好的服装仓库；

多样性换衣行人图像的获取：通过对服装仓库中同批次内属于相同身份的衣服进行随机的同身份下换衣操作得到多样性换衣行人图像；

轮廓草图贴图图像的获取：

将标注的语义分割图进行二值化处理，然后通过与待查询的行人图像进行矩阵乘法运算得到行人图像中非衣服区域的各个局部部件，再将得到的各个局部部件替换到对应的边缘轮廓草图的非衣服区域上，得到分割缺陷的局部，最终用边缘轮廓草图补齐分割缺陷的局部得到轮廓草图贴图图像；

屏蔽衣服图像的获取：通过语义分割图定位待查询的行人图像中的衣服区域，将待查询的行人图像中的衣服区域设置为0，来进行遮蔽处理，最终得到屏蔽衣服图像。

具体实施方式中，S2.3中具体操作如下：

(1)采用在ImageNet网络上进行了预训练的ResNet50残差网络作为骨干网络，将待查询的行人图像输入至骨干网络得到原始特征；

(2)从同一批次的服装仓库中随机选取同身份的服装，随机替换到新场景下同身份的行人图像上，得到多样性的换衣行人图像数据，然后将多样性换衣行人图像输入到骨干网络，得到换装特征；

(3)通过边缘轮廓草图进行投影得到轮廓掩码，将轮廓掩码与骨干网络的中间layer2层的输出特征进行结合，得到经过轮廓引导增强了的形体语义信息的中间层特征，再将中间层特征继续输入与骨干网络相同但参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征提取，得到形体特征F'_s，将形体特征与原始特征进行结合得到形体引导原始特征F_{s_o}，其中的高层次特征提取是将该中间层特征输入layer3、layer4卷积层来完成的，此处的layer3、layer4卷积层与骨干网络中的layer3、layer4卷积层结构相同，但是不共享权重参数；

轮廓掩码通过下列公式获得：

M_s＝MaxPool_ad(Relu(BN(Conv*x_ske)))，

其中，M_s表示轮廓掩码，MaxPool_ad表示自适应最大池化操作，Relu表示激活函数，BN表示批次归一化，Conv表示1×1的卷积滤波器，x_ske表示轮廓草图，*表示卷积操作；

轮廓掩码与骨干网络的中间layer2层的输出特征的结合为：

其中，F_s表示经过轮廓引导增强了的形体语义信息的中间层特征，表示哈达玛矩阵乘积；

(4)将轮廓草图贴图图像输入与骨干网络共享参数的ResNet50残差网络提取轮廓衣物贴图特征；

(5)通过与骨干网络共享参数的ResNet50残差网络的layer0、layer1、layer2层得到屏蔽衣服图像的中间层特征F'_m，将中间层特征F'_m经过下采样、多尺度卷积、池化、上采样操作得到具有多尺度信息的中间层特征F”_m；将具有多尺度信息的中间层特征F”_m按水平方向进行平均分块，通过与骨干网络参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征编码得到部分特征和/>部分特征通过加权因子α进行加权操作，得到加权后的部分特征，将加权后的部分特征按水平方向拼接获取多尺度加权特征表示；

具有多尺度信息的中间层特征F”_m的获取如下：

其中，

多尺度加权特征F_M的获取如下：

其中，downsample和upsample分别表示下采样和上采样操作，Conv_n×n表示n×n的卷积滤波器，*表示卷积操作，表示拼接操作，F'_m表示中间层特征，α表示权重因子，表示经过1×1卷积操作后得到的特征，/>表示经过3×3卷积操作后得到的特征，/>表示经过5×5卷积操作后得到的特征，/>表示经过最大池化操作后得到的特征，MaxPool表示最大池化操作，/>表示经过水平分块编码后的上半部分特征，p1表示分块编号。

具体实施方式中，S2.4中具体操作如下：

损失函数计算如下：

其中，表示用于约束特征表示的分类损失，/>表示多尺度加权特征同形体引导原始特征进行知识传递的蒸馏损失，/>表示感知所述换装特征F_c和形体引导原始特征F_{s_o}、原始特征F_o和轮廓衣物贴图特征F_{s_p}之间的高层语义差异的语义一致性约束损失；

蒸馏损失公式为：

其中，表示KL散度，/>表示多尺度加权特征的输出类概率，/>表示形体引导原始特征的输出类概率；

语义一致性约束损失公式为：

其中，||·||₂表示L2范式，μ(·)表示计算均值函数，σ(·)表示计算方差函数。

另一方面，本发明还提供了一基于换衣数据和残差网络的换衣行人重识别系统，包括以下单元：

数据获取预处理单元：通过不重叠的摄像头拍摄获取待查询的行人图像，然后将获取待查询的行人图像分别合成行人图像的数据集和查询库；

特征提取单元：创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

模型创建单元：通过语义分割模型和边缘检测模型对行人图像进行处理，通过对行人图像的数据集和多样性换衣行人图像、边缘轮廓草图、屏蔽图像以及轮廓草图贴图图像进行训练获得换衣行人重识别模型；

结果识别单元：将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

本发明上述所提供的基于换衣数据和残差网络的换衣行人重识别方法及系统，通过多样性换衣数据增强策略、形体信息引导模块、轮廓草图贴图模块、多尺度权重分块模块与骨干网络的共同优化，提高模型对于行人身份的鉴别能力，使得模型更加关注与身份信息强相关的区域特征。具体来说，针对换衣行人重识别数据集中样本较少而导致模型缺少足够的换衣样本学习的情况，通过构建服装仓库，扩充具有换衣情况的数据样本，丰富模型对于多样性数据的泛化能力；针对从单纯的RGB图像难以挖掘到足够的支撑信息，引入形体信息为模型提供更少受服装变换影响的身份支撑信息，引导模型增强对人体形体信息的感知；受限于数据集的图像质量，语义分割模型并不能正确且全面的分割各个语义部分，通过轮廓草图贴图模块对因为语义分割不全导致的人体语义结构信息的缺失区域使用轮廓信息进行补齐，增强模型对人体结构信息的感知；针对行人图像数据中存在的多尺度多视角和遮挡不能有效率的提取到合适的表征信息，通过多尺度权重分块模块对行人图像进行多尺度信息的提取以及重要部分的重新选择，获取到更有效的多尺度表征辅助信息。本发明的基于换衣数据和残差网络的换衣行人重识别方法，在相关的换衣行人重识别数据集中达到了优异的效果；

本发明的基于换衣数据和残差网络的换衣行人重识别方法，通过骨干网络、多样性换衣数据增强策略、形体信息引导模块、轮廓草图贴图模块、多尺度权重分块模块的共同约束训练，丰富了模型对于多样性数据的泛化能力，人体的形体信息得到充分感知和利用，同时一定程度上补充了人体解析不完整造成的性能缺陷，并增强了模型对多尺度多视角和遮挡情况的鲁棒能力，能够提取适应换衣场景下的更有鲁棒性和鉴别性的特征；

此外，本发明的基于换衣数据和残差网络的换衣行人重识别方法，在换衣行人重识别方向的数据集上达到了优异的效果，方法的性能以及稳定性达到了新的高度。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明的方法流程示意图。

图2为本发明的方法原理框架示意图。

图3为本发明的系统结构示意图。

图4为本发明的换衣行人重识别模型检索结果示例。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。

实施例1

种基于换衣数据和残差网络的换衣行人重识别方法，步骤如下：

S1.获取待查询的行人图像，行人图像通过不重叠的摄像头拍摄获取，将获取待查询的行人图像分别合成行人图像的数据集和查询库；

S2.创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

S3.将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。

步骤S1中，要注意同一行人可能会更换衣服，在面临捕捉面部图像困难的情景时，如具有遮挡物、侧面角度、距离较远等困难而获取的待查询的行人图像，就是需要识别的行人的图像。此外，采集设备可以但不限制于为数码相机、监控摄像头、平板电脑、手机等。

具体实施方式中，S2具体如下：

通过训练行人图像的数据集、多样性换衣行人图像、边缘轮廓草图、屏蔽衣服图像和轮廓草图贴图图像创建换衣行人重识别模型，具体创建过程如下：

S2.1.通过语义分割模型将待查询的行人图像进行分割，并对图像中各个语义区域进行标注得到语义分割图；再通过边缘检测模型对待查询的行人图像进行边缘检测，获得与待查询的行人图像对应的边缘轮廓草图；

S2.2.通过标注后的语义分割图得到对应行人图像的上衣和下衣局部区域的掩码图像，构建服装仓库，得到多样性换衣行人图像；通过语义分割图和待查询的行人图像得到屏蔽衣服图像；通过边缘轮廓草图和语义分割图得到轮廓草图贴图图像；

S2.3.通过骨干网络由待查询的行人图像得到原始特征；通过多样性换衣数据增强策略由多样性换衣行人图像得到换装特征；通过形体信息一到模块由边缘轮廓草图获取形体特征，然后通过形体特征与原始特征构建形体引导原始特征；通过轮廓草图贴图模块由轮廓草图贴图图像得到轮廓衣物贴图特征；通过多尺度权重分块模块由屏蔽衣服图像得到多尺度加权特征；

S2.4.通过损失函数对原始特征、换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征和多尺度加权特征进行共同约束训练，最后得到换衣数据和残差网络的换衣行人重识别模型。

具体实施方式中，S2.2中服装仓库、多样性换衣行人图像、轮廓草图贴图图像和屏蔽衣服图像的具体获取方法如下:

服装仓库的获取：通过语义分割图定位上衣和下衣局部区域，执行二值化对局部区域进行区分处理，将定位服装区域设为1，将未定位服装区域设为0，得到上衣和下衣区域掩码图像，再通过上衣和下衣区域掩码图像从待查询的行人图像上分离上衣与下衣区域，然后对上衣和下衣区域进行放大、变化、剪裁、随机排列，最终得到构建好的服装仓库；

多样性换衣行人图像的获取：通过对服装仓库中同批次内属于相同身份的衣服进行随机的同身份下换衣操作得到多样性换衣行人图像；

轮廓草图贴图图像的获取：

将标注的语义分割图进行二值化处理，然后通过与待查询的行人图像进行矩阵乘法运算得到行人图像中非衣服区域的各个局部部件，再将得到的各个局部部件替换到对应的边缘轮廓草图的非衣服区域上，得到分割缺陷的局部，最终用边缘轮廓草图补齐分割缺陷的局部得到轮廓草图贴图图像；

屏蔽衣服图像的获取：通过语义分割图定位待查询的行人图像中的衣服区域，将待查询的行人图像中的衣服区域设置为0，来进行遮蔽处理，最终得到屏蔽衣服图像。

需要注意的是，本发明策略通过为模型提供更多样化的训练数据为重点，关键是构造服装仓库，并对服装仓库进行重新整理提供出新的换装数据提供给模型进行共同学习，详细步骤如下，获取衣服区域掩码图像如上述步骤S2.1和S2.3所示；将数据集的行人图像分成小批次处理，每个批次输入的图像表示为X_i，对应批次的定位的衣服区域掩码图表示为M_{up_i}和M_{down_i}，M_{up_i}和M_{down_i}的像素值取自[0,1]，分别代表上述提到的定位的上衣和下衣掩码中定位的衣服区域部分和其他部分，将图像每个位置上的像素通过一个长度为3的向量表示，向量的值来自图像的(R,G,B)三个通道；因此图像x_i可以用H×W个像素向量表示，H表示高度，W表示宽度，通过定位的衣服区域掩码图M_{up_i}和M_{down_i}定位，提取每个批次中定位衣服区域的所有像素，衣服区域的像素向量可以表示为 和Vdown_n，其中，Vup和Vdown是当前批次上衣和下衣区域的像素空间，Vup_n表示上衣的像素空间中第n个像素向量，Vdown_n表示下衣的像素空间中第n个像素向量，N_n是与上、下衣相关的像素向量的数量，n是第n个像素向量的索引，＝＝表示等于，1是上、下衣掩码图M_i中衣服区域的索引，/>表示属于像素空间n的像素向量，/>表示对应输入图像的像素向量，/>表示对应输入图像的掩码索引值；假设X_i中的所有像素向量被表示为V_x＝[v₁,v₂,…v_1n-1,v_1n,v_2n,…,v_Nn,v_Nn+1…,v_M]，其中[v_1n,v_2n,…,v_Nn]是与上衣有关的像素向量，M表示图像X_i中的像素向量总数，将与上衣区域无关的像素替换成0，生成的上衣区域的图像中的向量空间可以表示为V1_x＝[0,0,…,0,v_1n,v_2n,…,v_Nn,0,…,0]，其中对下衣区域的操作同上衣区域一致，不再赘述，/>表示属于像素空间n的第N个像素向量；将上、下衣服区域的像素全部处理好后，得到由上、下衣区域组成的服装仓库，然后对服装仓库内的进行定位，执行随机水平翻转、填充、中心裁剪、放大和随机灰度化的操作，将处理好的数据按分组进行乱序处理，得到相同身份的乱序索引，按照新的分组数据为原始分组的图像执行替换衣服区域像素的操作，替换像素的操作同上述替换方式，获取到多样性的换衣行人图像；将得到的多样性的换衣行人图像数据输入与骨干网络共享权重参数的ResNet50残差网络获取换装特征表示，通过对换装特征和形体引导原始特征的一致性学习，进一步促进模型对于多样性数据的泛化学习，使模型更加的适应换衣场景，增加模型对衣服变化不频繁区域的关注度。

具体实施方式中，S2.3中具体操作如下：

(1)采用在ImageNet网络上进行了预训练的ResNet50残差网络作为骨干网络，将待查询的行人图像输入至骨干网络得到原始特征；

(2)从同一批次的服装仓库中随机选取同身份的服装，随机替换到新场景下同身份的行人图像上，得到多样性的换衣行人图像数据，然后将多样性换衣行人图像输入到骨干网络，得到换装特征；

(3)通过边缘轮廓草图进行投影得到轮廓掩码，将轮廓掩码与骨干网络的中间layer2层的输出特征进行结合，得到经过轮廓引导增强了的形体语义信息的中间层特征，再将中间层特征继续输入与骨干网络相同但参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征提取，得到形体特征F'_s，将形体特征与原始特征进行结合得到形体引导原始特征F_{s_o}，其中的高层次特征提取是将该中间层特征输入layer3、layer4卷积层来完成的，此处的layer3、layer4卷积层与骨干网络中的layer3、layer4卷积层结构相同，但是不共享权重参数；

轮廓掩码通过下列公式获得：

M_s＝MaxPool_ad(Relu(BN(Conv*x_ske)))，

其中，M_s表示轮廓掩码，MaxPool_ad表示自适应最大池化操作，Relu表示激活函数，BN表示批次归一化，Conv表示1×1的卷积滤波器，x_ske表示轮廓草图，*表示卷积操作；

轮廓掩码与骨干网络的中间layer2层的输出特征的结合为：

其中，F_s表示经过轮廓引导增强了的形体语义信息的中间层特征，表示哈达玛矩阵乘积；

(4)将轮廓草图贴图图像输入与骨干网络共享参数的ResNet50残差网络提取轮廓衣物贴图特征；

(5)通过与骨干网络共享参数的ResNet50残差网络的layer0、layer1、layer2层得到屏蔽衣服图像的中间层特征F'_m，将中间层特征F'_m经过下采样、多尺度卷积、池化、上采样操作得到具有多尺度信息的中间层特征F”_m；将具有多尺度信息的中间层特征F”_m按水平方向进行平均分块，通过与骨干网络参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征编码得到部分特征和/>部分特征通过加权因子α进行加权操作，得到加权后的部分特征，将加权后的部分特征按水平方向拼接获取多尺度加权特征表示；

具有多尺度信息的中间层特征F”_m的获取如下：

其中，

多尺度加权特征F_M的获取如下：

其中，downsample和upsample分别表示下采样和上采样操作，Conv_n×n表示n×n的卷积滤波器，*表示卷积操作，表示拼接操作，F'_m表示中间层特征，α表示权重因子，表示经过1×1卷积操作后得到的特征，/>表示经过3×3卷积操作后得到的特征，/>表示经过5×5卷积操作后得到的特征，/>表示经过最大池化操作后得到的特征，MaxPool表示最大池化操作，/>表示经过水平分块编码后的上半部分特征，p1表示分块编号。

具体实施方式中，S2.4中具体操作如下：

损失函数计算如下：

其中，表示用于约束特征表示的分类损失，/>表示多尺度加权特征同形体引导原始特征进行知识传递的蒸馏损失，/>表示感知所述换装特征F_c和形体引导原始特征F_{s_o}、原始特征F_o和轮廓衣物贴图特征F_{s_p}之间的高层语义差异的语义一致性约束损失；

蒸馏损失公式为：

其中，表示KL散度，/>表示多尺度加权特征的输出类概率，/>表示形体引导原始特征的输出类概率；

语义一致性约束损失公式为：

其中，||·||₂表示L2范式，μ(·)表示计算均值函数，σ(·)表示计算方差函数。

具体实施方式中，在步骤S3中，将所述待查询的行人图像输入预先训练好的换衣行人重识别模型，获取表示该图像的特征向量，将待查询行人图像的特征向量与查询库中的行人图像特征向量进行相似度匹配，根据相似性得分高低对检索结果进行排序，并将排序结果输出为重识别的结果，返回排名前列的行人图像作为检索结果，特征之间的相似性度量通过计算归一化后的特征的欧几里得距离来完成。

具体过程为：给定一张行人图像，在测试集中查询得到与给定图像同一身份的行人图像，并按照相似度排列返回排序列表。查询匹配的过程如下：通过训练好的换衣行人重识别模型提取出测试集中所有图像的特征向量表征，将给定的查询图像与测试集中的所有图像分别计算相似度，按照相似度得分由高到低的顺序对测试集的查询结果进行排序，并按顺序返回查询结果列表。

具体实施方式中，要注意的是，首先，训练换衣行人重识别模型，通过预训练的语义分割模型批量处理原始的图像数据集，对行人图像中的人体各语义部件进行标注，获取对应的标注好的语义分割图，需要强调的是，语义分割模型可以但不限制于人体解析自纠错(Self-Correction forHuman Parsing,SCHP)模型，人体语义分割是一项精细的语义解析分割任务，旨在将人体图像中的每个像素精准地分配到特定的语义类别，例如手臂、腿、裙子、背景等。需要说明的是，为了获得更加精细的分割语义标注，使用SCHP方法(利用“atr”数据集进行预训练的设置)对行人图像进行了18个语义部分的细致划分，包括“背景、头部、头发、太阳镜、上衣、衬衫、裤子、裙子、腰带、左鞋、右鞋、脸部、左腿、右腿、左胳膊、右胳膊、背包、围巾”，结合具体的任务情况将这些语义部分进行重组划分为特定语义，如图2所示，通过部分组合得到上衣、下衣等衣服区域的部分解析图。通过预训练的边缘检测模型批量处理原始的图像数据集，对图像中行人实体的边缘和纹理信息进行定位，并对边缘检测结果进行标记，如图2中所示，获得与原始行人图像相对应的边缘轮廓草图。需要说明的是，边缘检测模型可以但不限制于更丰富的卷积特征用于边缘检测(RicherConvolutional Features forEdge Detection,RCF)模型，边缘检测主要目的是通过定位图像中不同区域之间的边界，使物体的轮廓清晰可见，精确地识别和标定物体的边缘或轮廓。

然后，对获取到的预处理图像，包括多样性换衣行人图像、边缘轮廓草图、屏蔽衣服图像以及轮廓草图贴图图像，根据各条分支所强调的关注点不同获得四种不同的强化特征表示；第一，提出一种多样性换衣数据增强策略，利用上衣与下衣局部图像组成的服装仓库为行人原始图像进行换装处理提供服装变换样本，获得同身份的换装图像来扩充样本数据，从而提取到可供模型学习服装多样性的特征表示(即换装特征F_c)；第二，将所述边缘轮廓草图和骨干网络输出的中间层特征通过形体信息引导模块获取增强了形体语义信息的特征表示，与所述行人原始特征相结合获取带有形体信息的原始特征表示(即形体引导原始特征F_{s_o})，模型从单纯的RGB图像难以挖掘到足够的支撑信息，经过轮廓引导可以增强行人的形体语义信息，学习到更有效的鉴别特征；第三，将所述边缘轮廓草图作为底图，将RGB图中非衣服区域部件贴入边缘轮廓草图，通过轮廓草图贴图模块获得轮廓补充服装以及未分到的局部区域的特征表示(即轮廓衣物贴图特征F_{s_p})，弥补因为语义分割不全导致的人体语义结构信息的缺失；第四，将所述屏蔽衣服图像经骨干网络中间层输出的中间层特征通过多尺度权重分块模块获取从多个尺度捕捉行人图像语义信息的特征表示(即多尺度加权特征F_M)，增强模型应对行人图像数据中普遍存在的多尺度多视角和遮挡情况的鲁棒能力。也就是说，通过多策略语义引导获得四种不同的强化语义信息表示，利用多样性换衣数据增强策略丰富模型对具有多样性换衣情况的泛化能力，利用形体信息引导模块强调人体语义信息的描述，利用轮廓草图贴图模块补充人体解析的缺陷，利用多尺度权重分块模块进一步增强模型对多尺度多视角以及遮挡情况的鲁棒能力。

最后，利用损失函数对所述原始特征、换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征以及多尺度加权特征进行联合训练，获取训练好的换衣行人重识别模型。具体地说，损失函数包括，用于约束所述换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征和多尺度加权特征的分类损失；进行多尺度知识学习的知识蒸馏损失；用于测量所述换装特征表示与形体引导原始特征表示、原始特征表示与轮廓衣物贴图特征表示之间的高层语义差异的语义一致性正则化约束损失。通过将得到的三部分损失加权求和，可以强调模型对非衣服区域的关注程度，重点突出挖掘多样性的生物特征，多方面挖掘身份鉴别特征，增强模型专注于对图像中身份鲁棒信息的挖掘。联合损失可以更好的约束网络进行训练，得到拟合优化好后的深度学习模型用于行人的鉴别特征提取，即获得训练好的换衣行人重识别模型。

通过使用已经训练好的换衣行人重识别模型进行行人重识别，提取待查询行人图像的表示特征，用于对特定身份的行人进行匹配。具体而言，将所述待查询的行人图像输入预先训练好的换衣行人重识别模型，获取表示该图像的特征向量，将待查询行人图像的特征向量与查询库中的行人图像特征向量进行相似度匹配，根据相似性得分高低对检索结果进行排序，并将排序结果输出为重识别的结果，返回排名前列的行人图像作为检索结果。

实施例2

如图3所示，基于换衣数据和残差网络的换衣行人重识别系统，包括以下单元：

数据获取预处理单元：通过不重叠的摄像头拍摄获取待查询的行人图像，然后将获取待查询的行人图像分别合成行人图像的数据集和查询库；

特征提取单元：创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

模型创建单元：通过语义分割模型和边缘检测模型对行人图像进行处理，通过对行人图像的数据集和多样性换衣行人图像、边缘轮廓草图、屏蔽图像以及轮廓草图贴图图像进行训练获得换衣行人重识别模型；

结果识别单元：将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。

本发明提供的基于换衣数据和残差网络的换衣行人重识别系统可被安装于电子设备中，能够由电子设备的处理器执行的一系列计算机程序段，完成特定的功能，并存储在电子设备的存储器中。

实施例3

如图4所示，具体为本发明中的换衣行人重识别模型在PRCC数据集上的可视化查询结果的示例，其中每一行是一个查询示例，查询过程为给定一张查询图，第一列Query是待查询的行人图像，计算查询库中所有图像与该查询图的相似度距离，并且按照相似度排序返回相似度最高的前十张图像，Rank-1→Rank-10为按照相似度排序返回相似度最高的前十张图像。所有的返回结果根据标签来确认正确与否，在返回序列下方用T标注正确的查询结果，用F标注错误的查询结果。可以看出，模型返回的正确结果能够排在列表靠前的位置，证明了基于换衣数据和残差网络的换衣行人重识别方法的有效性，并且所提取的特征是有效和鲁棒的。

实施例4

表1中的“FSAM,3DSL,GI-reid,CAL,AIM,CCFA,CCIL”为近三年(2021-2023年)在CVPR会议上发表的换衣行人重识别算法，“基线，+多尺度权重分块，+形体信息引导，+轮廓草图贴图，+多样性换衣数据增强，本发明方法”表示本发明方法的基线模型方法，基线添加本文提出的各个模块的消融方法和所有提出的模块综合起来组成的方法；并使用mAP和Rank-1作为评价指标，mAP表示平均精度均值，Rank-1累积匹配特征的首位命中率，数值越高表示性能越好；

由表1中数据可以看出，通过消融实验，本发明所提出的各个模块相较于基线模型均提升，证明了所提出模块的有效性，同时本发明方法在mAP、Rank-1指标下同近几年最新的方法相比较，均获得了更优异的性能，证明了通过各个模块的联合优化，使得模型达到了最优的性能，增强了模型的泛化能力。

表1本发明中的换衣行人重识别模型在公共数据集PRCC、VC-Clothes上的性能表现

上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (4)

1.基于换衣数据和残差网络的换衣行人重识别方法，其特征是：包括以下步骤：

S1.获取待查询的行人图像，行人图像通过不重叠的摄像头拍摄获取，将获取待查询的行人图像分别合成行人图像的数据集和查询库；

S2.创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

S2具体如下：

通过训练行人图像的数据集、多样性换衣行人图像、边缘轮廓草图、屏蔽衣服图像和轮廓草图贴图图像创建换衣行人重识别模型，具体创建过程如下：

S2.1.通过语义分割模型将待查询的行人图像进行分割，并对图像中各个语义区域进行标注得到语义分割图；再通过边缘检测模型对待查询的行人图像进行边缘检测，获得与待查询的行人图像对应的边缘轮廓草图；

S2.2.通过标注后的语义分割图得到对应行人图像的上衣和下衣局部区域的掩码图像，构建服装仓库，得到多样性换衣行人图像；通过语义分割图和待查询的行人图像得到屏蔽衣服图像；通过边缘轮廓草图和语义分割图得到轮廓草图贴图图像；

S2.3.通过骨干网络由待查询的行人图像得到原始特征；通过多样性换衣数据增强策略由多样性换衣行人图像得到换装特征；通过形体信息引导模块由边缘轮廓草图获取形体特征，然后通过形体特征与原始特征构建形体引导原始特征；通过轮廓草图贴图模块由轮廓草图贴图图像得到轮廓衣物贴图特征；通过多尺度权重分块模块由屏蔽衣服图像得到多尺度加权特征；

S2.3中具体操作如下：

(1)采用在ImageNet网络上进行了预训练的ResNet50残差网络作为骨干网络，将待查询的行人图像输入至骨干网络得到原始特征；

(2)从同一批次的服装仓库中随机选取同身份的服装，随机替换到新场景下同身份的行人图像上，得到多样性的换衣行人图像数据，然后将多样性换衣行人图像输入到骨干网络，得到换装特征；

(3)通过边缘轮廓草图进行投影得到轮廓掩码，将轮廓掩码与骨干网络的中间layer2层的输出特征进行结合，得到经过轮廓引导增强了的形体语义信息的中间层特征，再将中间层特征继续输入与骨干网络相同但参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征提取，得到形体特征F'_s，将形体特征与原始特征进行结合得到形体引导原始特征F_{s_o}；

轮廓掩码通过下列公式获得：

M_s＝MaxPool_ad(Relu(BN(Conv*x_ske)))，

其中，M_s表示轮廓掩码，MaxPool_ad表示自适应最大池化操作，Relu表示激活函数，BN表示批次归一化，Conv表示1×1的卷积滤波器，x_ske表示轮廓草图，*表示卷积操作；

轮廓掩码与骨干网络的中间layer2层的输出特征的结合为：

其中，F_s表示经过轮廓引导增强了的形体语义信息的中间层特征，表示哈达玛矩阵乘积；

(4)将轮廓草图贴图图像输入与骨干网络共享参数的ResNet50残差网络提取轮廓衣物贴图特征；

(5)通过与骨干网络共享参数的ResNet50残差网络的layer0、layer1、layer2层得到屏蔽衣服图像的中间层特征F'_m，将中间层特征F'_m经过下采样、多尺度卷积、池化、上采样操作得到具有多尺度信息的中间层特征F”_m；将具有多尺度信息的中间层特征F”_m按水平方向进行平均分块，通过与骨干网络参数独立的ResNet50残差网络的后续layer3、layer4卷积层进行特征编码得到部分特征和/>部分特征通过加权因子α进行加权操作，得到加权后的部分特征，将加权后的部分特征按水平方向拼接获取多尺度加权特征表示；

具有多尺度信息的中间层特征F”_m的获取如下：

其中，

多尺度加权特征F_M的获取如下：

其中，downsample和upsample分别表示下采样和上采样操作，Convn_×n表示n×n的卷积滤波器，*表示卷积操作，表示拼接操作，F'_m表示中间层特征，α表示权重因子，/>表示经过1×1卷积操作后得到的特征，/>表示经过3×3卷积操作后得到的特征，/>表示经过5×5卷积操作后得到的特征，/>表示经过最大池化操作后得到的特征，MaxPool表示最大池化操作，/>表示经过水平分块编码后的上半部分特征，p1表示分块编号；

S2.4.通过损失函数对原始特征、换装特征、形体特征、形体引导原始特征、轮廓衣物贴图特征和多尺度加权特征进行共同约束训练，最后得到换衣数据和残差网络的换衣行人重识别模型；

S3.将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。

2.根据权利要求1所述的基于换衣数据和残差网络的换衣行人重识别方法，其特征是：S2.2中服装仓库、多样性换衣行人图像、轮廓草图贴图图像和屏蔽衣服图像的具体获取方法如下:

服装仓库的获取：通过语义分割图定位上衣和下衣局部区域，执行二值化对局部区域进行区分处理，将定位服装区域设为1，将未定位服装区域设为0，得到上衣和下衣区域掩码图像，再通过上衣和下衣区域掩码图像从待查询的行人图像上分离上衣与下衣区域，然后对上衣和下衣区域进行放大、变化、剪裁、随机排列，最终得到构建好的服装仓库；

多样性换衣行人图像的获取：通过对服装仓库中同批次内属于相同身份的衣服进行随机的同身份下换衣操作得到多样性换衣行人图像；

轮廓草图贴图图像的获取：

将标注的语义分割图进行二值化处理，然后通过与待查询的行人图像进行矩阵乘法运算得到行人图像中非衣服区域的各个局部部件，再将得到的各个局部部件替换到对应的边缘轮廓草图的非衣服区域上，得到分割缺陷的局部，最终用边缘轮廓草图补齐分割缺陷的局部得到轮廓草图贴图图像；

屏蔽衣服图像的获取：通过语义分割图定位待查询的行人图像中的衣服区域，将待查询的行人图像中的衣服区域设置为0，来进行遮蔽处理，最终得到屏蔽衣服图像。

3.根据权利要求2所述的基于换衣数据和残差网络的换衣行人重识别方法，其特征是，S2.4中具体操作如下：

损失函数计算如下：

其中，表示用于约束特征表示的分类损失，/>表示多尺度加权特征同形体引导原始特征进行知识传递的蒸馏损失，/>表示感知所述换装特征F_c和形体引导原始特征F_{s_o}、原始特征F_o和轮廓衣物贴图特征F_{s_p}之间的高层语义差异的语义一致性约束损失；

蒸馏损失公式为：

其中，表示KL散度，/>表示多尺度加权特征的输出类概率，/>表示形体引导原始特征的输出类概率；

语义一致性约束损失公式为：

其中，||·||₂表示L2范式，μ(·)表示计算均值函数，σ(·)表示计算方差函数。

4.基于换衣数据和残差网络的换衣行人重识别系统，其特征是，执行如权利要求1-3中任一项所述的基于换衣数据和残差网络的换衣行人重识别方法，包括以下单元：

数据获取预处理单元：通过不重叠的摄像头拍摄获取待查询的行人图像，然后将获取待查询的行人图像分别合成行人图像的数据集和查询库；

特征提取单元：创建换衣行人重识别模型，然后将数据集中待查询的行人图像输入到换衣行人重识别模型来提取查询特征；

模型创建单元：通过语义分割模型和边缘检测模型对行人图像进行处理，通过对行人图像的数据集和多样性换衣行人图像、边缘轮廓草图、屏蔽图像以及轮廓草图贴图图像进行训练获得换衣行人重识别模型；

结果识别单元：将查询特征与查询库中的行人图像特征进行相似度对比，并按照相似程度由高到低对查询结果进行排序，然后输出排序结果，将其作为查询图像重识别的结果。