CN115293217A - 一种基于射频信号的无监督伪标签优化行人重识别方法 - Google Patents

Abstract

一种基于射频信号的无监督伪标签优化行人重识别方法，训练数据记为集合X，以Resnet50网络提取数据特征X ^key ，利用DBScan方法给数据分类，并分配伪标签，将所有伪标签分为可信任标签和含有噪声标签的两个部分，分别使用两个网络不断预测未标签数据，当损失函数足够收敛时，即获得高质量的伪标签。将每一个聚类的特征标记为C ₁，C ₂，C ₃…C _N并存储在内存的记忆字典中。之后采用P×K采样法抽取P个行人的数据，每个行人K张图片。对于每一个行人，选择最难表示的一张图片作为样本，动态更新C_i聚类特征。采用聚类对比损失的方法将查询实例与集群特性中的所有聚类特征C进行比较，直到所有聚类特征更新完毕，重复采样的过程。循环整个过程直到损失函数收敛，保存模型。

Description

一种基于射频信号的无监督伪标签优化行人重识别方法

技术领域

本发明属于无线感知与计算机视觉技术领域，具体涉及一种基于射频信号的无监督伪标签优化行人重识别方法。

背景技术

现代社会，监控摄像头遍布生活各个角落。通过对监控视频进行智能化、自动化分析，能够及时预警，消除安全隐患，快速高效追踪目标，营造良好的社会治安环境，而行人重识别技术ReID是视频智能化分析的关键组成部分。行人重识别旨在利用计算机视觉领域的技术，来判断非重叠图像或者视频序列中是否存在目标人物。基于天网布控，ReID已成为计算机视觉领域的热门研究课题。

然而，在实际应用场景中，环境复杂多变，比如，不同摄像头间存在帧数、位置、分辨率的差异会导致监控质量差异大；目标人物经常被物体或者其他行人遮挡会导致目标人物身体部位不完整；恶劣天气、光照不足也会影响图像的清晰度；此外，大量数据需要人工标注，工作量巨大，成本较高，这些都导致识别过程中难以提取有效的行人特征。另外，在隐私敏感区域进行操作时，不加限制的添加摄像头也会引发争议。这些问题给ReID带来了巨大的挑战。因此，对行人重识别问题进行深入研究，以达成行人重识别系统的高可靠性和高可用性，对监控视频内容智能化分析具有重要现实应用意义。

目前，不同的方法被提出以解决行人重识别问题。一些学者提出了有监督的行人重识别模型和方法。然而，这些模型的训练需要大量的标注数据。而标注数据是一件极其耗时耗力的工作。同时，因为领域的差别，在一个相机数据下训练得到的行人重识别模型并不能很好地泛化到新的相机网络下。这限制了在真实场景下有监督的行人重识别方法的适应性。目前的无监督方法可以分为两类，一类是单纯的无监督学习方法(Unsupervisedlearning，USL)，数据集中全部为未标记的标签，另一种是无监督域自适应行人重识别(Unsupervised domain adaptation，UDA)先在源标记的数据集上预训练模型，然后在未标记的数据集上微调模型。由于UDA引入了部分标记数据，通常性能优于USL，但是UDA的训练过程极其复杂，同时对源域和目标直接的联系要求较高。无监督方法算法依赖于迭代地使用模型为未标记的数据生成人工标签(伪标签)以进行训练，容易出现错误的伪标签预测和过度自信的结果。

发明内容

针对上述背景技术中提到的现有技术缺陷，本发明提出了一种基于射频信号的无监督伪标签优化行人重识别方法。采用射频信号作为处理数据，解决了由于行人姿态、衣服变化、摄像头分辨率低、光线不足等引起的行人图像质量问题，结合无基于聚类对比损失的监督学习模型USL和Resnet50网络，在无人工标注信息的情况下，提取到有用的监督信息。

一种基于射频信号的无监督伪标签优化行人重识别方法，包括如下步骤：

步骤1：射频信号预处理：

步骤2：通过Resnet50网络提取数据特征；

步骤3：根据步骤2得到的数据特征，使用DBScan方法分类，输入训练数据集D＝(x₁，x₂，x₃，…，x_m)、邻域参数(ε，Minpts)和样本距离度量方式，其中ε表示邻域的最大半径，用来确定两个点是否相似或者属于同一类的距离，Minpts表示在一个领域的半径内Minpts数的邻域被认为是一个簇，输出簇划分C；

步骤4：聚类初始化特征；经过DBScan方法之后，获得N个集群，每个集群代表一个行人类别，为每个行人类别分配标签；

步骤5：伪标签优化，D表示训练数据的集合，N表示训练数据得数量，x_i表示第i张图片x，y_i表示第i张图片的伪标签。训练数据集合可以表示为：

将数据集的伪标签划分为不相交的两个部分X＝{(x_b,y_b):b∈(1,…,B)}和U＝{u_b:b∈(1,…,B)}，其中b分别表示划分之后的数据集合B中的顺序编号，即D＝X∪U；

步骤6：训练网络以优化伪标签预测；使用了标签平滑和半监督学习方法，添加均匀噪声；在图片增强和削弱之后，预测标签保持一致，ф_A(x)、ф_a(x)分别表示增强或削弱样本图片，削弱一张图片需要M次操作，m∈{1,…,M}，即有x_b,m,u_b,m＝ф_a(x_b)，ф_a(u_b)；使用Resnet50模型作为分类预测网络f_θ(1)、f_θ(2)，通过训练预测网络保证伪标签的准确性；

步骤7：给每个集群分配伪标签；将特征标记为{c₁,c₂,....,c_N}，并存储在内存字典中，由于集群和伪标签总是在更新，因此N的数量也不断在改变；基于随机采样对每个聚类采样一个聚类特征；

步骤8：聚类特征初始化；

步骤9：特征更新；

步骤10：计算聚类对比损失；

步骤11：损失函数更新参数；循环训练模型，直到损失函数收敛；

步骤12：输入待识别图片，根据网络模型分类的结果，匹配出与输入模型最为相似的图片组，按相似度由高到底排列，完成识别。

进一步地，步骤1中，划分为训练数据和测试数据，在时间维度上采用随机移动来扩充数据集，并将每个射频信号样本分割成长度为45帧即3秒，重叠1秒的窗口，205通道。

进一步地，步骤2中，训练数据输入到Resnet50网络中，经过卷积操作，和四个残差模块之后，输入到全连接层中，得到Tensor向量形式的数据特征。

进一步地，步骤3中，包括如下分步骤：

步骤3-1：初始化核心对象集合

初始化聚类簇数K＝0，初始化未访问样本集合г＝D，簇划分

步骤3-2：对于j＝1，2，…m，按下面的步骤找出所有的核心对象：

a)通过距离度量方式，找到样本x_j的ε邻域子样本N_ε(x_j)；

b)如果子样本集样本个数满足︱N_ε(x_j)︱≥Minpts，将样本x_j加入核心对象样本集合：Ω＝Ω∪{x_j}；

步骤3-3：如果核心对象集合

则结束，否则转入步骤3-4；

步骤3-4：在核心对象集合Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ω_cur＝{o}，初始化类别序号k＝k+1，初始化当前簇样本集合C_i＝{o}，更新未访问样本集合Γ＝Γ-{o}；

步骤3-5：如果当前簇核心对象队列

则当前聚类簇C_i生成完毕，更新簇划分C＝{C₁，C₂，...，C_N}，更新核心对象集合Ω＝Ω-C_N，转入步骤3-3，否则更新核心对象集合Ω＝Ω-C_i；

步骤3-6：在当前簇核心对象队列Ω_cur中取出一个核心对象o′，通过邻域距离阈值ε找出所有的ε邻域子样本集N_ε(o′)，令Δ＝N_∈(o′)∩Γ，更新当前簇样本集合C_i＝C_i∪Δ，更新未访问样本集合Γ＝Γ-Δ，更新Ω_cur＝Ω_cur∪(Δ∩Ω)-o′，转入步骤3-5；

步骤3-7：输出结果为簇划分C＝{C₁，C₂，...C_N}。

进一步地，步骤5中，包括如下分步骤：

步骤5-1：基于置信度策略划分伪标签；利用基于无监督分类器的置信度策略，给定一个训练样本(x,y)∈D，设定一个阈值г₁，当伪标签y的置信度评分大于г₁时，将其对应的图片及伪标签加入到X中，否则将加入到U中；

步骤5-2：基于度量策略划分伪标签；采用一个嵌入网络h_ψ和k近邻分类方法，对于(x,y)∈D来说，y′＝k-NN(h_ψ(x))，当arg max(y)＝argmax(y′)时，认为当前伪标签与h_ψ的分类结果吻合，伪标签准确率高，将该伪标签加入集合X中，否则加入集合U中；

步骤5-3：两种策略混合划分伪标签；结合步骤5-1和步骤5-2的方法，当两种方法都认为标签y应该加入集合X中时，则将y加入X中，否则加入U中。

进一步地，步骤6中，包括如下分步骤：

步骤6-1：对每一个原始标签进行标签平滑操作，具体操作如公式，其中C表示聚类数量，∈表示均匀噪声的参数：

计算软标签

和预测的强增强样本

的交叉熵，当交叉熵函数

收敛时，最小化噪声样本的影响：

步骤6-2：精化标签；引入了协同训练模块，其中两个网络f_θ(1)、f_θ(2)被并行训练，并增加一个协同精化标签的步骤来交换它们的预测来互相指导；协同精化标签的公式如(1)(2)(3)(4)，其最终

是网络对于图片x的置信度，T是锐化度；对于伪标签数据来说，利用两个网络的预测集合来猜测数据样本u_b的伪标签

当训练第一个网络时：

更新以上标签后，集合X更新为：

集合U更新为：

精化标签的总过程总结为：

步骤6-3：用MixMatch方法扩充数据集；

为保证MixMatch方法扩充的数据集与真实数据集足够相似，设定以下损失函数；

其中

表示经过MinMatch之后的数据集合，

表示

经过两个网络猜测的伪标签；

步骤6-4：训练损失；最终损失函数为：

其中

和

是使用MixMatch之后，使用半监督学习模型训练的两个单独损失，保证扩充数据集之后，预测仍然与之前保持一致，是为了通过强增强样本使噪声最小化，

和λ_u用于控制MixMatch损失的影响；

步骤6-5：重新更新两个数据集合；在每一个epoch训练结束时更新噪声样本，如果网络对给定的不干净样本的置信度超过阈值τ₂}，则用网络的预测值更新对应样本的标签，更新后的标签认为是干净的，并添加到已标记的干净集合X中；

X←X∪{(u,1_p)|max(p)＞τ₂}

其中p为one-hot特征表示方式，1_p表示p中的第i个元素值为1，i＝arg max(p)；

步骤6-6：循环直到函数收敛，认为网络生成的预测标签全部为正确标签。

进一步地，步骤8中，使用集群中随机实例的特征来初始化集群特征，即：

C_i←U(X_i)

其中U(·)为一个均匀采样函数，X_i表示包含聚类i中所有样本的第i个聚类集。

进一步地，步骤9中，在训练过程中，抽取P个行人，每个行人有固定数量的K个实例，因此在每一个小的batch中可以得到一个总数为P×K张查询图片，从P×K选择P个最难辨认的样本，并更新相应的聚类特征向量c_i。对于某一身份为i的聚类，其特征向量的更新方式为：

c_i←m·c_i+(1-m)·q_hard

其中q_hard是与聚类特性c_i相似度最小的实例，用点乘的方式来衡量相似性，m是超参需要手动设置，Q_i为当前batch中标号为i的聚类的特性。

进一步地，步骤10中，给定最难查询样本q，在聚类水平上，与当前所有集群特性C进行比较；对比损失函数InfoNCE公式如下：

其中c⁺是查询实例q的正聚类特征向量，τ是超参；当q与正聚类特征c⁺相似而与其他所有聚类不相似时，损失函数值最低。

本发明的有益效果：

(1)相比传统的行人图像数据，本发明采用射频信号作为数据输入，射频信号提供了完整的行人姿态、步态数据，避免了因为天气、光线、遮挡等因素导致的图片质量不高的情况。

(2)无监督行人重识别大大减少了由于标注数据而带来的成本损耗。由于实际应用中的数据无法进行标注只能采用无监督的方法，因此本发明相比于其他有监督的方法，可以用于实际场景中。

(3)本发明能够统一聚类特性的更新进程，同时占用的CPU内存比实例级别占用的内存少得多从而使这种方法可以在大多数数据集上训练。在采样时，采用硬批量采样的方法，使得网络能够用更稳健的聚类特征来计算对比损失。

(4)本发明能够避免由于伪标签不准确而导致预测不准确的情况，以一种再训练的方式，修正错误的伪标签，缓解预测过程中的过度自信问题。

附图说明

图1是本发明实施例中的RUC训练流程图。

图2是本发明实施例中的网络流程图

图3是本发明实施例中的训练流程图

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

基于射频信号的无监督伪标签优化行人重识别方法以射频信号作为输入数据，由于本发明采用无监督的方法，因此不需要考虑数据标签。将所有训练数据记为集合X，以Resnet50网络提取射频信号中得到数据特征X^key，根据得到的数据特征，利用DBScan方法给数据分类，并分配伪标签。得到伪标签之后，将所有伪标签分为可信任标签和含有噪声标签的两个部分，根据MixMatch方法扩充数据集，并采用标签平滑的方式使模型从过度自信到有噪声的预测，从而改善预测的标准。之后使用两个网络不断预测未标签数据，随着网络预测越来越准确，最终含有噪声的标签越来越少，当损失函数足够收敛时，即可获得高质量的伪标签。将每一个聚类的特征标记为C₁，C₂，C₃…C_N，同时将这些聚类特征向量存储在内存的记忆字典中。之后采用P×K采样法采样，抽取P个行人的数据，每个行人K张图片，这样在每一个小批量中，每次包含P×K张图。选择硬样本采样的方式，对于每一个行人，选择最难表示的一张图片作为样本，动态更新C_i聚类特征，这样可以提高网络提取特征的效果同时使得聚类方法更加稳健。因此这一过程可以选P个行人图片即P个查询实例，更新对应的P个聚类特征向量。对于每一个查询实例，采用聚类对比损失的方法将它与集群特性中的所有聚类特征C进行比较，直到所有聚类特征更新完毕，重复P×K采样的过程。循环整个过程直到损失函数收敛，说明此时网络已经训练完毕，保存模型。测试数据经过已经训练好的网络和模型，得到最终的预测结果。将此模型运用到实际应用之中，输入已知图片，根据网络模型分类的结果，匹配出与输入模型最为相似的图片组，按相似度由高到底排列，模型在测试时准确率越高，实际应用中，输出的图片组中相似度高的图片排名越靠前。具体执行步骤如图3所示。

接下来，将对本发明做具体介绍：

1.射频信号：

在本发明中使用到的射频信号，来源于使用微多普勒信号(micro-Dopplersignatures，MD信号)从低功率雷达设备的检索，雷达设备在不受天气、光照的情况下保护了视觉隐私，同时允许穿墙感应，可以处理遮挡的行人。

射频数据考虑到了不同的房间，测试行人朝房间任何可能的方向行走，每个人都被单独记录，参与行人共5人。第一阶段，记录5个人在一个房间里连续随机行走5分钟，两周后，同样的5人在另一个房间里连续行走15分钟。整个训练数据集包含每个人20分钟的射频信号，测试集，包含另5人，相同条件下的数据。射频信号记录了常规行走之外的其他动作，包括转弯、短暂停顿和意外移动，也收集了多天多房间的数据，考虑不同的衣服、鞋子等环境因素的影响。

2.DBScan聚类：

DBScan是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，他们之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在。通过将紧密相连的样本划为一类，这样就得到了一个聚类类别。通过将所有各组紧密相连的样本划为各个不同的类别，就得到了最终的所有聚类类别结果，称每个样本集合为一个聚类类别或者说一个簇。

DBScan任意选择一个没有类别的核心对象作为种子，然后找到所有这个核心对象能够密度可达的样本集合，即为一个聚类簇。接着继续选择另一个没有类别的核心对象去寻找密度可达的样本集合，这样就得到另一个聚类簇。一直运行到所有核心对象都有类别为止。DBScan的簇里面可能有一个或者多个核心对象。如果只有一个核心对象，则簇里其他的非核心对象样本都在这个核心对象的ε邻域里；如果有多个核心对象，则簇里的任意一个核心对象的ε邻域中一定有一个其他的核心对象，否则这两个核心对象无法密度可达。这些核心对象的ε邻域里所有的样本的集合组成的一个DBScan聚类簇。

对于一些异常样本点或者说少量游离于簇外的样本点，这些点不在任何一个核心对象在周围，在DBScan中，一般将这些样本点标记为噪音点。在DBScan中，一般采用最近邻思想，采用某一种距离度量来衡量样本距离，比如欧式距离。这和KNN分类算法的最近邻思想完全相同。对应少量的样本，寻找最近邻可以直接去计算所有样本的距离，如果样本量较大，则一般采用KD树或者球树来快速的搜索最近邻。

它的优点在于不需要指定簇的个数，可以发现任意形状的簇，同时很擅长找到离群点。算法简单，空间复杂度低，能够很好地抵抗噪声。

3.基于聚类对比损失的USL方法：

训练开始时，所有图像特征都由当前的神经网络提取出来，将这些存储在记忆中的图像特征作为字典。然后采用DBScan聚类算法对图像特征进行聚类，生成伪标签。同时，将聚类ID分配给每个图像作为人的身份。最后，对神经网络进行对比损失训练。本发明中使用的方法提出了聚类对比，建立了一个聚类级的记忆字典，每个聚类由一个单一的特征向量表示，并以一致的方式更新所有聚类特征向量。在训练过程中，由批处理硬查询实例特征更新聚类特征，在一个小批内选择最不相似的查询实例进行聚类。为了避免记忆字典的特征更新进程不一致，采用一种聚类级别的InfoNCE损失函数，占用的GPU内存比实例级特征内存少得多，从而使得方法可以在大数据集上训练。由于对整个数据集进行聚类是非常昂贵的，所以对于每个epoch，只对原始数据集的一小部分进行采样，以便动态地训练和更新这个小集合。

4.RUC算法：

利用现有图像聚类模型生成的伪标签作为可能包含错误分类样本的噪声数据集。RUC包括两个关键部分：(1)提取干净样本。(2)使用精炼的数据集进行再训练。提出了基于置信度、基于度量和两种方法混合的策略来过滤分类错误的伪标签。第一种策略将原聚类模型中预测置信度高的样本作为一个干净的集合，它过滤掉了低置信样本，第二种策略是利用无监督嵌入模型的相似性度量，通过检查给定实例是否与最接近的k个样本共享相同的标签，来检测干净样本。第三种策略是将上述两种策略结合起来，根据两种策略选择可信的样本。下一步是用采样数据重新训练聚类模型。使用MixMatch，一种半监督学习技术扩充数据，然后采用标签平滑强去噪方法阻止过度自信样本的学习。最后，采用了两种网络的协同训练，不断重新预测噪声数据集的标签，以减少训练过程中不干净样本的噪声积累，提高训练性能。

本方法的主要步骤如下：

步骤1：射频信号预处理：

训练数据一共包含67625帧，测试集同样包含67625帧，每一帧为256通道。为了防止模型在训练集上过拟合，在时间维度上采用随机移动来扩充数据集。本发明将每个射频信号样本分割成长度为45帧(3秒)，重叠1秒的窗口，205通道。

步骤2：提取数据特征。

训练数据输入到Resnet50网络中，经过卷积操作，和四个残差模块之后，输入到全连接层中，得到Tensor向量形式的数据特征。

步骤3：根据步骤2得到的数据特征，使用DBScan方法分类，具体操作如下：

输入：样本集D＝(x₁，x₂，x₃，…，x_m)，邻域参数(ε，Minpts)，样本距离度量方式，其中ε表示邻域的最大半径，用来确定两个点是否相似或者属于同一类的距离，更大的ε表示更大的簇(包含更多的数据点)，更小的ε构建更小的簇。Minpts表示在一个领域的半径内Minpts数的邻域被认为是一个簇，如：Minpts＝4，则在彼此距离内的任意4个或4个以上的点都被认为是一个簇。

输出：簇划分C。

步骤3-1：初始化核心对象集合

初始化聚类簇数K＝0，初始化未访问样本集合г＝D，簇划分

步骤3-2：对于j＝1，2，…m，按下面的步骤找出所有的核心对象：

a)通过距离度量方式，找到样本x_j的ε邻域子样本N_ε(x_j)。

b)如果子样本集样本个数满足︱N_ε(x_j)︱≥Minpts，将样本x_j加入核心对象样本集合：Ω＝Ω∪{x_j}。

步骤3-3：如果核心对象集合

则算法结束，否则转入步骤3-4。

步骤3-4：在核心对象集合Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ω_cur＝{o}，初始化类别序号k＝k+1，初始化当前簇样本集合C_i＝{o}，更新未访问样本集合Γ＝Γ-{o}。

步骤3-5：如果当前簇核心对象队列

则当前聚类簇C_i生成完毕，更新簇划分C＝{C₁，C₂，...，C_N}，更新核心对象集合Ω＝Ω-C_N，转入步骤3-3。否则更新核心对象集合Ω＝Ω-C_i。

步骤3-6：在当前簇核心对象队列Ω_cur中取出一个核心对象o′，通过邻域距离阈值ε找出所有的ε邻域子样本集N_ε(o′)，令Δ＝N_∈(o′)∩Γ，更新当前簇样本集合C_i＝C_i∪Δ，更新未访问样本集合Γ＝Γ-Δ，更新Ω_cur＝Ω_cur∪(Δ∩Ω)-o′，转入步骤3-5。

输出结果为：簇划分C＝{C₁，C₂，...C_N}。

步骤4：聚类初始化特征。经过DBScan方法之后，获得N个集群，每个集群代表一个行人类别，为每个行人类别分配标签。

步骤5：伪标签优化，具体优化步骤如图1所示。

D表示训练数据的集合，N表示训练数据得数量，x_i表示第i张图片x，y_i表示第i张图片的伪标签。训练数据集合可以表示为：

将数据集的伪标签划分为不相交的两个部分X＝{(x_b,y_b):b∈(1,…,B)}和U＝{u_b:b∈(1,…,B)}，即D＝X∪U。

步骤5-1：基于置信度策略划分伪标签。利用基于无监督分类器的置信度策略。给定一个训练样本(x,y)∈D，设定一个阈值г₁，当伪标签y的置信度评分大于г₁时，将其对应的图片及伪标签加入到X中，否则将加入到U中。

步骤5-2：基于度量策略划分伪标签。上述方法的局限性在于选择策略仍然完全依赖于无监督分类器。此处采用一个额外的嵌入网络h_ψ和k近邻分类方法，对于(x,y)∈D来说，y′＝k-NN(h_ψ(x))，当arg max(y)＝argmax(y′)时，认为当前伪标签与h_ψ的分类结果吻合，伪标签准确率高，因此将该伪标签加入集合X中，否则加入集合U中。

步骤5-3：两种策略混合划分伪标签。结合步骤5-1和步骤5-2的方法，认为，当两种方法都认为标签y应该加入集合X中时，则将y加入X中，否则加入U中。

步骤6：训练网络以优化伪标签预测。为了使的模型从过度自信到有噪声的预测，使用了标签平滑和半监督学习方法，添加均匀噪声。为证明网络预测的有效性，在图片增强和削弱之后，预测标签应保持一致，ф_A(x)、ф_a(x)分别表示增强或削弱样本图片，削弱一张图片需要M次操作，m∈{1,…,M}，即有x_b,m,u_b,m＝ф_a(x_b)，ф_a(u_b)。同时，提出使用Resnet50模型作为分类预测网络f_θ(1)、f_θ(2)。通过训练预测网络保证伪标签的准确性。

步骤6-1：标签平滑。对每一个原始标签进行标签平滑操作。具体操作如公式，其中C表示聚类数量，∈表示均匀噪声的参数：

计算软标签

和预测的强增强样本的交叉熵，当交叉熵函数

收敛时，可以使最小化噪声样本的影响。

步骤6-2：之后用MixMatch方法扩充数据集。

为保证MixMatch方法扩充的数据集与真实数据集足够相似，因此有以下损失函数。

步骤6-3：精化标签。维护单个网络进行学习，容易对不正确的伪标签进行过拟合，为了避免网络的初始错误会被再次传递回来，从而累积，引入了一个协同训练模块，其中两个网络f_θ(1)、f_θ(2)被并行训练，并增加一个协同精化标签的步骤来交换它们的预测来互相指导，是一个标签细化过程，旨在通过合并两个网络的预测来生产可靠的标签。协同精化标签的公式如23，其最终

是网络对于图片x的置信度，T是锐化度。对于伪标签数据来说，利用两个网络的预测集合来猜测数据样本u_b的未标记

这里以训练第一个网络为例：

更新以上标签后，集合X可以更新为：

集合U更新为：

精化标签的总过程可以总结为：

步骤6-4：训练损失。最终损失函数为：

其中

和

是使用MixMatch之后，使用半监督学习模型训练的两个单独损失，保证扩充数据集之后，预测仍然与之前保持一致，是为了通过强增强样本使噪声最小化，

用于控制MixMatch损失的影响。

步骤6-5：重新更新两个数据集合。在每一个epoch训练结束时更新噪声样本，如果网络对给定的不干净样本的置信度超过阈值，则用网络的预测值更新对应样本的标签，更新后的标签认为是干净的，并添加到已标记的干净集合X中。

X←X∪{(u,1_p)|max(p)＞τ₂}

其中p为one-hot特征表示方式，1_p表示p中的第i个元素值为1，i＝arg max(p)。

步骤6-6：循环直到函数收敛，认为网络生成的预测标签全部为正确标签。

步骤7：给每个集群分配伪标签。将特征标记为{c₁,c₂,....,c_N}，并存储在内存字典中，由于集群和伪标签总是在更新，因此N的数量也不断在改变。使用一个随机采样方法对每个聚类采样一个聚类特征。

步骤8：聚类特征初始化。将每个集群的特征{C₁，C₂，C₃，…C_N}存储在内存字典中，这里注意集群数量N，聚类算法在每个时期运行，N随着模型循环而变化。使用集群中随机实例的特征来初始化集群特征，即：

C_i←U(X_i)

其中U(·)为一个均匀采样函数，X_i表示包含聚类i中所有样本的第i个聚类集。

步骤9：特征更新，具体利用网络更新特征的过程如图2所示：

在训练过程中，抽取P个行人，每个行人有固定数量的K个实例，因此在每一个小的batch中可以得到一个总数为P×K张查询图片，从P×K选择P个最难辨认的样本，并更新相应的聚类特征向量。对于某一身份为i的聚类，其特征向量的更新方式为：

c_i←m·c_i+(1-m)·q_hard

其中q_hard是与聚类特性c_i相似度最小的实例，用点乘的方式来衡量相似性，m是超参需要手动设置，Q_i为当前batch中标号为i的聚类的特性。

步骤10：计算聚类对比损失。

给定最难查询样本q，在聚类水平上，与当前所有集群特性C进行比较。对比损失函数InfoNCE公式如下：

其中c⁺是查询实例q的正聚类特征向量，τ是超参，根据专家经验设置。当q与正聚类特征c⁺相似而与其他所有聚类不相似时，损失函数值最低。

步骤11：损失函数更新参数。循环训练以上模型，直到损失函数收敛，使得网络提取特征更加准确，从而聚类得到的伪标签也更加精确。

步骤12：测试。将测试数据用在已经训练好的网络上，得到最终准确率。

通过以上说明可见与现有技术相比，本发明提出的基于射频信号的深度无监督行人重识别方法能够克服传统摄像头拍摄得到的图片因光线、遮挡而质量较低的情况，避免由于人工标注引起的成本问题，以Resnet50网络和硬查询实例的方式，提高了网络提取特征的稳健性。同时在聚类水平上进行对比损失统一了集群特性的更新进程，使得聚类方法更加稳定。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (9)

1.一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：所述方法包括如下步骤：

步骤1：射频信号预处理：

步骤2：通过Resnet50网络提取数据特征；

步骤3：根据步骤2得到的数据特征，使用DBScan方法分类，输入训练数据集D＝(x₁，x₂，x₃，…，x_m)、邻域参数(ε，Minpts)和样本距离度量方式，其中ε表示邻域的最大半径，用来确定两个点是否相似或者属于同一类的距离，Minpts表示在一个领域的半径内Minpts数的邻域被认为是一个簇，输出簇划分C；

步骤4：聚类初始化特征；经过DBScan方法之后，获得N个集群，每个集群代表一个行人类别，为每个行人类别分配标签；

步骤5：伪标签优化，D表示训练数据的集合，N表示训练数据得数量，x_i表示第i张图片x，y_i表示第i张图片的伪标签；训练数据集合表示为：

将数据集的伪标签划分为不相交的两个部分X＝{(x_b,y_b):b∈(1,…,B)}和U＝{u_b:b∈(1,…,B)}，其中b分别表示划分之后的数据集合B中的顺序编号，即D＝X∪U；

步骤6：训练网络以优化伪标签预测；使用了标签平滑和半监督学习方法，添加均匀噪声；在图片增强和削弱之后，预测标签保持一致，ф_A(x)、ф_a(x)分别表示增强或削弱样本图片，削弱一张图片需要M次操作，m∈{1,…,M}，即有x_b,m,u_b,m＝ф_a(x_b)，ф_a(u_b)；使用Resnet50模型作为分类预测网络f_θ(1)、f_θ(2)，通过训练预测网络保证伪标签的准确性；

步骤7：给每个集群分配伪标签；将特征标记为{c₁,c₂,....,c_N}，并存储在内存字典中，由于集群和伪标签总是在更新，因此N的数量也不断在改变；基于随机采样对每个聚类采样一个聚类特征；

步骤8：聚类特征初始化；

步骤9：特征更新；

步骤10：计算聚类对比损失；

步骤11：损失函数更新参数；循环训练模型，直到损失函数收敛；

步骤12：输入待识别图片，根据网络模型分类的结果，匹配出与输入模型最为相似的图片组，按相似度由高到底排列，完成识别。

2.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤1中，划分为训练数据和测试数据，在时间维度上采用随机移动来扩充数据集，并将每个射频信号样本分割成长度为45帧即3秒，重叠1秒的窗口，205通道。

3.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤2中，训练数据输入到Resnet50网络中，经过卷积操作，和四个残差模块之后，输入到全连接层中，得到Tensor向量形式的数据特征。

4.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤3中，包括如下分步骤：

步骤3-1：初始化核心对象集合

初始化聚类簇数K＝0，初始化未访问样本集合г＝D，簇划分

步骤3-2：对于j＝1，2，…m，按下面的步骤找出所有的核心对象：

a)通过距离度量方式，找到样本x_j的ε邻域子样本N_ε(x_j)；

b)如果子样本集样本个数满足︱N_ε(x_j)︱≥Minpts，将样本x_j加入核心对象样本集合：Ω＝Ω∪{x_j}；

步骤3-3：如果核心对象集合

则结束，否则转入步骤3-4；

步骤3-4：在核心对象集合Ω中，随机选择一个核心对象o，初始化当前簇核心对象队列Ω_cur＝{o}，初始化类别序号k＝k+1，初始化当前簇样本集合C_i＝{o}，更新未访问样本集合Γ＝Γ-{o}；

步骤3-5：如果当前簇核心对象队列

则当前聚类簇C_i生成完毕，更新簇划分C＝{C₁，C₂，...，C_N}，更新核心对象集合Ω＝Ω-C_N，转入步骤3-3，否则更新核心对象集合Ω＝Ω-C_i；

步骤3-6：在当前簇核心对象队列Ω_cur中取出一个核心对象o′，通过邻域距离阈值ε找出所有的ε邻域子样本集N_ε(o′)，令Δ＝N_∈(o′)∩Γ，更新当前簇样本集合C_i＝C_i∪Δ，更新未访问样本集合Γ＝Γ-Δ，更新Ω_cur＝Ω_cur∪(Δ∩Ω)-o′，转入步骤3-5；

步骤3-7：输出结果为簇划分C＝{C₁，C₂，...C_N}。

5.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤5中，包括如下分步骤：

步骤5-1：基于置信度策略划分伪标签；利用基于无监督分类器的置信度策略，给定一个训练样本(x,y)∈D，设定一个阈值г₁，当伪标签y的置信度评分大于г₁时，将其对应的图片及伪标签加入到X中，否则将加入到无标签数据集U中；

步骤5-2：基于度量策略划分伪标签；采用一个嵌入网络h_ψ和k近邻分类方法，对于(x,y)∈D来说，y′＝k-NN(h_ψ(x))，当arg max(y)＝argmax(y′)时，认为当前伪标签与h_ψ的分类结果吻合，伪标签准确率高，将该伪标签加入集合X中，否则加入集合U中；

步骤5-3：两种策略混合划分伪标签；结合步骤5-1和步骤5-2的方法，当两种方法都认为标签y应该加入集合X中时，则将y加入X中，否则加入U中。

6.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤6中，包括如下分步骤：

步骤6-1：对每一个原始标签进行标签平滑操作，具体操作如公式，其中C表示聚类数量，∈表示均匀噪声的参数：

计算软标签

和预测的强增强样本

的交叉熵，当交叉熵函数

收敛时，最小化噪声样本的影响：

步骤6-2：精化标签；引入了协同训练模块，其中两个网络f_θ(1)、f_θ(2)被并行训练，并增加一个协同精化标签的步骤来交换它们的预测来互相指导；协同精化标签的公式(1)(2)(3)(4)，其最终

是网络对于图片x的置信度，T是锐化度；对于伪标签数据来说，利用两个网络的预测集合来猜测数据样本u_b的伪标签

当训练第一个网络时：

更新以上标签后，集合X更新为：

集合U更新为：

精化标签的总过程总结为：

步骤6-3：用MixMatch方法扩充数据集；

为保证MixMatch方法扩充的数据集与真实数据集足够相似，设定以下损失函数；

其中

表示经过MinMatch之后的数据集合，

表示

经过两个网络猜测的伪标签；

步骤6-4：训练损失；最终损失函数为：

其中

和

是使用MixMatch之后，使用半监督学习模型训练的两个单独损失，保证扩充数据集之后，预测仍然与之前保持一致，是为了通过强增强样本使噪声最小化，

和λ_u用于控制MixMatch损失的影响；

步骤6-5：重新更新两个数据集合；在每一个epoch训练结束时更新噪声样本，如果网络对给定的不干净样本的置信度超过阈值τ₂}，则用网络的预测值更新对应样本的标签，更新后的标签认为是干净的，并添加到已标记的干净集合X中；

X←X∪{(u,1_p)|max(p)＞τ₂}

其中p为one-hot特征表示方式，1_p表示p中的第i个元素值为1，i＝arg max(p)；

步骤6-6：循环直到函数收敛，认为网络生成的预测标签全部为正确标签。

7.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤8中，使用集群中随机实例的特征来初始化集群特征，即：

C_i←U(X_i)

其中U(·)为一个均匀采样函数，X_i表示包含聚类i中所有样本的第i个聚类集。

8.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤9中，在训练过程中，抽取P个行人，每个行人有固定数量的K个实例，因此在每一个小的batch中可以得到一个总数为P×K张查询图片，从P×K选择P个最难辨认的样本，并更新相应的聚类特征向量；对于某一身份为i的聚类，其特征向量的更新方式为：

c_i←m·c_i+(1-m)·q_hard

其中q_hard是与聚类特性c_i相似度最小的实例，用点乘的方式来衡量相似性，m是超参需要手动设置，Q_i为当前batch中标号为i的聚类的特性。

9.根据权利要求1所述的一种基于射频信号的无监督伪标签优化行人重识别方法，其特征在于：步骤10中，给定最难查询样本q，在聚类水平上，与当前所有集群特性C进行比较；对比损失函数InfoNCE公式如下：

其中c⁺是查询实例q的正聚类特征向量，τ是超参；当q与正聚类特征c⁺相似而与其他所有聚类不相似时，损失函数值最低。

Images