CN115170835A - 一种基于行人重识别的度量损失框架改进方法及相关设备 - Google Patents

一种基于行人重识别的度量损失框架改进方法及相关设备 Download PDF

Info

Publication number
CN115170835A
CN115170835A CN202210905618.7A CN202210905618A CN115170835A CN 115170835 A CN115170835 A CN 115170835A CN 202210905618 A CN202210905618 A CN 202210905618A CN 115170835 A CN115170835 A CN 115170835A
Authority
CN
China
Prior art keywords
matrix
feature
pedestrian
covariance
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210905618.7A
Other languages
English (en)
Inventor
徐颖
庾名星
蔡大森
汤俊杰
陈明伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202210905618.7A priority Critical patent/CN115170835A/zh
Publication of CN115170835A publication Critical patent/CN115170835A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于行人重识别的度量损失框架改进方法及相关设备，所述方法包括：利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。本发明降低了损失函数的计算复杂度和模型复杂度，提升了训练效率和模型性能。

Description

一种基于行人重识别的度量损失框架改进方法及相关设备
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于行人重识别的度量损失框架改进方法、系统、终端及计算机可读存储介质。
背景技术
近些年来，随着安防需求激增，视频监控设备安装总量呈持续高速增长态势。面对海量监控数据，即海量图像、视频，如何对这些数据进行主动分析，从而挖掘出有用信息成为了社会治安防控工作中的重点内容。
行人重识别技术因为可以通过对行人衣着、姿态、轮廓等高层外型特征对目标图像在跨摄像头域的图像中进行检索，而成为了智能监控系统中的重要一环，其相关理论与研究具有重要的科研价值与应用价值。而基于度量学习的行人重识别研究随着深度学习的发展已经取得了相当的成果，例如了三元组损失函数(triplet loss)，即通过每次输入给模型一个包含两个同类样本、一个异类样本的三元组，而其优化目标是使同类样本对的距离相对于异类样本对的距离之差始终小于某个特定阈值；例如在图像检索任务中使用三元组损失，挖掘样本相似性；然后，将三元组损失应用到人脸识别任务，并设计了一个多尺度的网络结构提取图像特征。例如在行人重识别任务中，利用三元组损失构建了不同身份的行人在特征空间中的关系。例如还有提出了在三元组损失函数中对样本的分布进行高斯不确定建模算法，但改进后的损失函数存在着计算复杂度高的问题，同时现存的度量学习方法都未在输入的特征向量层面对特征纬度进行解耦，导致了模型复杂度高的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于行人重识别的度量损失框架改进方法、系统、终端及计算机可读存储介质，旨在解决现有技术中现存的度量学习方法都未在输入的特征向量层面对特征纬度进行解耦，导致了模型复杂度高的问题。
为实现上述目的，本发明提供一种基于行人重识别的度量损失框架改进方法，所述基于行人重识别的度量损失框架改进方法包括如下步骤：
利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；
利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；
利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；
利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；
根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
此外，为实现上述目的，本发明还提供一种基于行人重识别的度量损失框架改进系统，其中，所述基于行人重识别的度量损失框架改进系统包括：
矩阵降维模块，用于利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；
样本映射模块，用于利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；
奇异值分解模块，用于利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；
相关性解耦模块，用于利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；
框架改进模块，用于根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于行人重识别的度量损失框架改进程序，所述基于行人重识别的度量损失框架改进程序被所述处理器执行时实现如上所述的基于行人重识别的度量损失框架改进方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于行人重识别的度量损失框架改进程序，所述基于行人重识别的度量损失框架改进程序被处理器执行时实现如上所述的基于行人重识别的度量损失框架改进方法的步骤。
本发明利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。本发明降低了损失函数的计算复杂度和模型复杂度，提升了训练效率和模型性能。
附图说明
图1是本发明基于行人重识别的度量损失框架改进方法的较佳实施例的流程图；
图2是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中利用代理矩阵控制对角化协方差更新示意图；
图3是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中SVD分解网络原理示意图；
图4是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中改进后的triplet loss度量损失框架示意图；
图5是传统的基于并行化计算的类内中心算法的示意图；
图6是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中基于并行化计算的类别中心算法的示意图；
图7是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中为加入对角化降维方法前后损失值收敛情况的示意图；
图8是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中改进的高斯采样不确定性triplet分类算法流程图；
图9是本发明基于行人重识别的度量损失框架改进方法的较佳实施例中为样本在特征空间中的实际分布情况的示意图；
图10是本发明基于行人重识别的度量损失框架改进系统的较佳实施例的原理示意图；
图11为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明，旨在为了使不同类别的样本适应在特征空间中不确定性的分布范围，构建了基于奇异值分解(Singular Value Decomposition，SVD)网络结合协方差对角化矩阵方法，该方法同时在特征向量与待拟合协方差矩阵的层面实现特征纬度上解相关，从而仅需要训练学习协方差矩阵对角化的元素，以达到降低计算复杂度和模型复杂度的目的。
如图1所示，所述基于行人重识别的度量损失框架改进方法包括以下步骤：
步骤S10、利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理。
具体地，由于不同类别在样本集中的分布不尽相同，对样本分布进行建模时，对每个类别分别学习不同类别的协方差矩阵。
若一个存在C个类别的训练图像数据集
Figure BDA0003772314210000061
其中，y是图片I所对应的类别标签，N是训练图像的个数。
对于第i张训练集图片I，将特征提取网络θ(·)提取的特征向量记作
Figure BDA0003772314210000062
其中，n为特征向量空间的维数，T表示转置，例如可以把一个向量的方向由横转为竖；将类别样本的协方差矩阵Σa表示如下：
Figure BDA0003772314210000063
其中，ann表示第n维特征的方差。
当协方差矩阵为一般形式时，由于特征提取网络θ(·)提取到的特征向量的特征空间维数为n，因此对于一个类别的协方差矩阵共有n2＝n×n个元素在迭代训练的过程中都需要被更新。这也意味着，以一个拥有C个类别的样本集为例，每次迭代更新共需要计算有C×n×n个元素的参数矩阵。然而，在高维特征空间中，绝大多数的多维高斯分布趋向于分布在特征空间中的某几个维度上，基于这个假设，为了解决因特征空间维数增长导致协方差矩阵计算量呈平方级数增长的问题，可以通过对角化、分块对角化或多维单位矩阵解决，也即对原本的协方差矩阵Σa加强约束，使各个维度之间的相关性进行解耦，因为协方差矩阵是实对称矩阵，故而可以进行矩阵对角化操作，也即进行解耦，假设矩阵A为文中的协方差矩阵，那么具体操作如下：P-1AP＝P-1P∧＝∧，其中，对角矩阵∧的对角元素为矩阵A的n个特征值(n个特征值中可能重复的)，P由矩阵A的特征向量组成，P-1为P的逆矩阵。所以，得到对角化后的协方差矩阵：
Figure BDA0003772314210000071
在对角化约束的条件下，每个类别的协方差矩阵的待更新元素数量下降到n，这也意味着对具有C个类别的训练图像数据集、特征空间的维度是n维的情况下，对于协方差矩阵Σa总共仅有C×n个元素计算，计算复杂度从平方复杂度O(C×n2)下降到线性复杂度O(C×n)。
步骤S20、利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中。
具体地，如图2所示，首先对编码一个C×n大小的参数矩阵用于存储每个类别的协方差矩阵的对角元素，其中C表示数据集中的类别数量，n表示特征提取模型其特征空间的维度，在本发明中n＝256，所述参数矩阵称为代理矩阵，在每个迭代的过程中，根据训练样本三元组中锚点(Anchor)的标签索引，在代理矩阵中提取标签索引所在的行向量。
利用提取的行向量对角化重构锚点的协方差矩阵，将协方差矩阵映射到训练图像数据集的特征空间中，通过锚点的协方差矩阵与特征向量对锚点在特征空间中分布的不确定性进行高斯建模，再计算不确定性建模的triplet loss损失，将经过反向传播的梯度更新到协方差矩阵的代理矩阵中。
步骤S30、利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解。
具体地，对于任意k×j大小的实数矩阵W，其中，k>j，奇异值分解的目标是将实数矩阵W分解为如下形式：
W＝USVT；
其中，U、V为单位正交矩阵，分别称为左奇异矩阵和右奇异矩阵，U∈Rm×m，V∈Rn×n，Rm×m表示m×m的实数矩阵，Rn×n表示n×n的实数矩阵，例如U∈Rm×m表示U是m×m的实数矩阵；
Figure BDA0003772314210000081
一般的，矩阵S的形式如下：
Figure BDA0003772314210000082
其中，矩阵S仅在主对角线上有奇异值σi，求解奇异矩阵U、V，令：
WWT＝USVTVSTUT；
由于WWT∈Rm×m，进行特征分解可得：
Figure BDA0003772314210000091
其中，特征矩阵Q为单位正交矩阵，λi为特征值，列向量qi构成了特征矩阵Q，且求解方法如下，令A＝WWT：
Figure BDA0003772314210000092
此时，左奇异矩阵U＝Q；同理，可以求出右奇异矩阵V。
如图3所示，SVD分解网络的原理是在特征提取网络与输出特征向量之间，通过添加一个无偏置项的FC-全连接层，将中间层特征向量投影到正交基上，实现特征向量在维度相关性上的解耦。具体来说，对于一组输入图像构成的三元组Ia、Ip、In，其中，Ia表示锚点样本，Ip表示正样本，In表示负样本，经过特征提取网络得到的中间层特征向量分别为fa、fp、fn，若添加的FC-全连接层的参数矩阵为W，可以得到：
Figure BDA0003772314210000093
其中，xa、xn、xp为经过参数矩阵W映射后的输出特征向量。
对参数矩阵，进行SVD奇异值分解得到：
W＝USVT；
其中，S为仅主角线有值的非方阵矩阵，U为左奇异矩阵，V为右奇异矩阵，且均为单位正交矩阵，即：
Figure BDA0003772314210000101
步骤S40、利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦。
具体地，将参数矩阵W替换为US，对于特征向量xa、xn的欧式距离为：
Figure BDA0003772314210000102
利用中间层特征向量fa、fp对输出的欧氏距离进行表示：
Figure BDA0003772314210000103
其中，由于右奇异矩阵V为单位正交矩阵，结合上式可得：
Figure BDA0003772314210000104
也即，当将输出层前一层的特征映射的参数矩阵W替换为其左奇异矩阵US，将不改变输出层特征向量在特征空间中的欧式距离，仅将特征向量投影到了正交基组成的解空间中，从而实现了特征维度上的解相关。
步骤S50、根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
具体地，如图4所示，在训练图像数据集中采样K个类别，对每个类别采样P张样本图片构成一个迭代批次的训练样本集；对训练样本集中的锚点图片，一方面，利用并行化的类内中心算法计算类别中心并得到其距类内中心的距离；另一方面，通过代理矩阵编码锚点类别的对角化的协方差矩阵，将高斯不确定性范围映射到特征空间中；特征提取骨干网络结合SVD分解网络，提取得到维度相关性解耦的特征向量；利用提出的不确定性建模的triplet loss损失计算样本组的损失，通过反向传播算法更新骨干网络以及待拟合的各个类别的协方差矩阵。
本发明的基于行人重识别的triplet loss度量损失框架改进方法，利用对角化方法对协方差矩阵(拟合不同类别样本总体分布的协方差矩阵)进行降维；通过代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；利用SVD分解网络，对特征提取网络的输出层参数矩阵进行奇异值分解；利用左奇异矩阵代替原参数矩阵，实现在不改变特征向量欧氏距离相关性的情况下，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；根据上述提出的方法，对度量学习框架进行完善。
本发明在原有的深度度量学习的模型中考虑了使不同类别的样本适应在特征空间中不确定性的分布范围，构建了基于奇异值分解网络结合协方差对角化矩阵方法；该方法同时在特征向量与待拟合协方差矩阵的层面实现特征纬度上解相关，从而仅需要训练学习协方差矩阵对角化的元素，以达到降低计算复杂度和模型复杂度的目的。
进一步地，如图5所示，表示传统的串行求解类别中心的方法，，首先，遍历整个训练批次的样本，利用哈希表记录每个类别对应的中心坐标向量以及类别样本的数目，当遍历到一个样本时便查询该样本类别在哈希表中的坐标向量以及数目计数器，并累加到哈希表中该类别的坐标向量中，并累加数目计数器的值；当遍历循环结束时，通过遍历哈希表中的键，也即遍历哈希表中的类别，即可得到在当前训练样本中，所有当前类别样本的特征向量和以及样本的数量，由此可以得到每个类在特征空间中的几何中心。
而基于并行化计算的类别中心的算法，则如图6所示，首先，利用n×1维的类别标签矩阵构造出n×n维的同类别掩码矩阵，然后，将同类别掩码矩阵与特征向量矩阵做矩阵乘法，得到相同类别样本特征向量的累加和，最后通过同类别掩码矩阵，并行化的得到一个批次训练样本中每个类别样本出现的次数，利用出现次数矩阵与特征向量和矩阵做哈达马积(Hadamard product)，得到每个样本对应其类别中心的矩阵，通过该矩阵与原特征向量矩阵做差，即可并行化的得到类内中心距离。
为了验证协方差矩阵对角化降维方法对triplet loss的影响，做了相应消融实验，对比原triplet loss和加入对角化方法后改进的triplet loss计算效率以及性能影响。对于计算效率，通过对比加入对角化方法前后，triplet loss在训练过程收敛的所需的时间来验证。对于性能影响则通过在三个度量学习基准数据集上的细粒度分类实验，对比试验效果。在CUB-200-2011数据集上，对比利用对角化进行降维的协方差矩阵改进tripletloss方法，损失值收敛情况如图7所示。
可以看出，通过加入对角化方法，能够显著降低提出的改进triplet loss损失函数收敛所需要的时间。从侧面说明了，提出方法的计算效率在引入对角化降维方法之后得到了一定的提升。
表1.改进triplet loss算法消融实验一
Figure BDA0003772314210000131
如表1所示，通过对比所提出的基准方法与利用协方差对角化对基准方法的改进实验结果，可以得出利用对角化方法进行降维将Baseline方法在Stanford car、Stanforddog、CUB-200-2011数据集上的Top-1准确率分别降低了4.5％、2.0％、5.2％。通过分析该改进的原理可以得出，其原因为对协方差矩阵进行对角化仅仅是施加在用于拟合样本分布的协方差一侧，也即该方法对特征在特征空间在各个维度方向的分布，做出了维度相关性解耦的强假设。然而经过特征提取模型提取到的特征，往往在经过特征提取网络层参数的映射后，维度方向上本身存在着相关性。
随后，为了验证利用SVD分解网络和对角化协方差矩阵降维改进提出的度量损失框架的有效性，本发明的实验分别从两个方进面行验证。一方面，通过消融实验来对比利用SVD分解网络改进前后提出的度量框架在细粒度分类任务上的性能，从而验证提出方法在不同细粒度类别中的可区分性。另一方面，通过对比学习得到的不同类别的协方差矩阵与实际样本各个类别在特征空间中的实际分布，对学习得到的协方差矩阵的有效性进行验证，实验结果如表2所示。通过分析实验结果可以发现，仅仅加入SVD分解网络并不会使得改进的triplet loss在细粒度分类任务上的表现更优。原因是利用SVD分解网络仅仅将特征投影的到了正交的解空间中，该方法并不改变特征间的欧式距离。然而，为了降低提出方法的计算复杂度，当利用对角化方法对协方差矩阵进行降维时，提出的改进triplet loss在三个细粒度划分数据集上的准确率降低。造成该现象的原因是，对角化的方法本质上是对特征在特征空间中的维度进行了相关性解耦的强假设，而实际特征在特征空间中的维度并不一定是正交解耦的。在进一步加入SVD分解网络将特征投影到正交解空间中后，对角化降维方法带来的准确率下降的性能损失现象得到了一定的缓解。其中，在Stanford car、Stanford Dog、CUB-200-2011数据集上，利用对角化降维与SVD分解网络结合的方法分别取得了94.0％、77.8％、85.1％的Top-1准确率。
表2.改进triplet loss算法消融实验二
Figure BDA0003772314210000151
如图8所示，表示基于高斯采样不确定性建模的triplet分类算法的流程图，首先在训练集中采样K个类别，对每个类别采样P张样本图片构成一个迭代批次的训练样本集。然后，对训练样本集中的锚点图片，一方面，利用并行化的类内中心算法计算其类别中心并由此得到其距类内中心的距离；另一方面，通过代理矩阵编码锚点类别的对角化的协方差矩阵，将高斯不确定性范围映射到特征空间中。特征提取骨干网络结合SVD分解网络，提取得到维度相关性解耦的特征向量。最后利用改进的triplet loss计算样本组的在的损失，通过反向传播算法更新骨干网络以及待拟合的各个类别的协方差矩阵。
利用t-SNE降维的方法将样本图像的特征向量降维到三维空间进行可视化。如图9所示，对于Stanford Dog利用前20个类的样本图像进行可视化，可以发现相同类别的图片在特征空间中呈聚集趋势。因此可以得出结论，利用提出的度量框架能够使得模型对于相似样本，在细粒度类别划分任务中有更好的可区分性，同时也兼顾一定的计算效率。
进一步地，本发明可能变更的设计方向为：将基于奇异值分解网络结合协方差对角化矩阵的方法用在行人重识别以外的领域中，即只要各个特征间存在着较强的相关性都可使用SVD分解网络进行解耦，同时协方差矩阵对角化方法也可用在含协方差矩阵的函数中。
进一步地，如图10所示，基于上述基于行人重识别的度量损失框架改进方法，本发明还相应提供了一种基于行人重识别的度量损失框架改进系统，其中，所述基于行人重识别的度量损失框架改进系统包括：
矩阵降维模块51，用于利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；
样本映射模块52，用于利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；
奇异值分解模块53，用于利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；
相关性解耦模块54，用于利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；
框架改进模块55，用于根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
进一步地，如图11所示，基于上述基于行人重识别的度量损失框架改进方法和系统，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30。图8仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于行人重识别的度量损失框架改进程序40，该基于行人重识别的度量损失框架改进程序40可被处理器10所执行，从而实现本申请中基于行人重识别的度量损失框架改进方法。
所述处理器10在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于行人重识别的度量损失框架改进方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于行人重识别的度量损失框架改进程序40时实现述的基于行人重识别的度量损失框架改进方法的步骤。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于行人重识别的度量损失框架改进程序，所述基于行人重识别的度量损失框架改进程序被处理器执行时实现如上所述的基于行人重识别的度量损失框架改进方法的步骤。
综上所述，本发明提供一种基于行人重识别的度量损失框架改进方法及相关设备，所述方法包括：利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。本发明降低了损失函数的计算复杂度和模型复杂度，提升了训练效率和模型性能。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件(如处理器，控制器等)来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于行人重识别的度量损失框架改进方法，其特征在于，所述基于行人重识别的度量损失框架改进方法包括：
利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；
利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；
利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；
利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；
根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
2.根据权利要求1所述的基于行人重识别的度量损失框架改进方法，其特征在于，所述利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理，具体包括：
对样本分布进行建模时，对每个类别分别学习不同类别的协方差矩阵；
若一个存在C个类别的训练图像数据集
Figure FDA0003772314200000011
其中，y是图片I所对应的类别标签，N是训练图像的个数；
对于第i张训练集图片I，将特征提取网络θ(·)提取的特征向量记作
Figure FDA0003772314200000021
其中，n为特征向量空间的维数，T表示转置；将类别样本的协方差矩阵Σa表示如下：
Figure FDA0003772314200000022
其中，ann表示第n维特征的方差；
对原本的协方差矩阵Σa加强约束，使各个维度之间的相关性进行解耦，得到对角化后的协方差矩阵：
Figure FDA0003772314200000023
在对角化约束的条件下，每个类别的协方差矩阵的待更新元素数量下降到n，对具有C个类别的训练图像数据集、特征空间的维度是n维的情况下，对于协方差矩阵Σa总共仅有C×n个元素计算，计算复杂度从平方复杂度O(C×n2)下降到线性复杂度O(C×n)。
3.根据权利要求2所述的基于行人重识别的度量损失框架改进方法，其特征在于，所述利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中，具体包括：
对编码一个C×n大小的参数矩阵用于存储每个类别的协方差矩阵的对角元素，所述参数矩阵称为代理矩阵，在每个迭代的过程中，根据训练样本三元组中锚点的标签索引，在代理矩阵中提取标签索引所在的行向量；
利用提取的行向量对角化重构锚点的协方差矩阵，将协方差矩阵映射到训练图像数据集的特征空间中，通过锚点的协方差矩阵与特征向量对锚点在特征空间中分布的不确定性进行高斯建模，再计算不确定性建模的triplet loss损失，将经过反向传播的梯度更新到协方差矩阵的代理矩阵中。
4.根据权利要求3所述的基于行人重识别的度量损失框架改进方法，其特征在于，所述利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解，具体包括：
对于任意k×j大小的实数矩阵W，其中，k>j，奇异值分解的目标是将实数矩阵W分解为如下形式：
W＝USVT；
其中，U、V为单位正交矩阵，分别称为左奇异矩阵和右奇异矩阵，U∈Rm×m，V∈Rn×n，Rm×m表示m×m的实数矩阵，Rn×n表示n×n的实数矩阵；
Figure FDA0003772314200000031
矩阵S的形式如下：
Figure FDA0003772314200000032
其中，矩阵S仅在主对角线上有奇异值σi，求解奇异矩阵U、V，令：
WWT＝USVTVSTUT；
由于WWT∈Rm×m，进行特征分解可得：
Figure FDA0003772314200000041
其中，特征矩阵Q为单位正交矩阵，λi为特征值，列向量qi构成了特征矩阵Q，且求解方法如下，令A＝WWT：
Figure FDA0003772314200000042
此时，左奇异矩阵U＝Q；
对于一组输入图像构成的三元组Ia、Ip、In，其中，Ia表示锚点样本，Ip表示正样本，In表示负样本，经过特征提取网络得到的中间层特征向量分别为fa、fp、fn，若添加的FC-全连接层的参数矩阵为W，得到：
Figure FDA0003772314200000043
其中，xa、xn、xp为经过参数矩阵W映射后的输出特征向量，对参数矩阵，进行SVD奇异值分解得到：
W＝USVT；
其中，S为仅主角线有值的非方阵矩阵，U为左奇异矩阵，V为右奇异矩阵，且均为单位正交矩阵，即：
Figure FDA0003772314200000051
5.根据权利要求4所述的基于行人重识别的度量损失框架改进方法，其特征在于，在特征提取网络与输出特征向量之间，通过添加一个无偏置项的FC-全连接层，将中间层特征向量投影到正交基上，实现特征向量在维度相关性上的解耦。
6.根据权利要求4所述的基于行人重识别的度量损失框架改进方法，其特征在于，所述利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦，具体包括：
将参数矩阵W替换为US，对于特征向量xa、xn的欧式距离为：
Figure FDA0003772314200000052
利用中间层特征向量fa、fp对输出的欧氏距离进行表示：
Figure FDA0003772314200000053
其中，由于右奇异矩阵V为单位正交矩阵，结合上式可得：
Figure FDA0003772314200000061
7.根据权利要求6所述的基于行人重识别的度量损失框架改进方法，其特征在于，所述根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进，具体包括：
在训练图像数据集中采样K个类别，对每个类别采样P张样本图片构成一个迭代批次的训练样本集；
对训练样本集中的锚点图片，利用并行化的类内中心算法计算类别中心并得到其距类内中心的距离；
通过代理矩阵编码锚点类别的对角化的协方差矩阵，将高斯不确定性范围映射到特征空间中；
特征提取骨干网络结合SVD分解网络，提取得到维度相关性解耦的特征向量；
利用提出的不确定性建模的triplet loss损失计算样本组的损失，通过反向传播算法更新骨干网络以及待拟合的各个类别的协方差矩阵。
8.一种基于行人重识别的度量损失框架改进系统，其特征在于，所述基于行人重识别的度量损失框架改进系统包括：
矩阵降维模块，用于利用对角化方法对拟合不同类别样本总体分布的协方差矩阵进行降维处理；
样本映射模块，用于利用代理矩阵存储不同类别的协方差矩阵的对角元素，并通过代理矩阵将样本的不确定性范围映射到特征空间中；
奇异值分解模块，用于利用SVD分解网络对特征提取网络的输出层参数矩阵进行奇异值分解；
相关性解耦模块，用于利用左奇异矩阵代替原参数矩阵，不改变特征向量欧氏距离相关性，将特征向量投影到正交的特征解空间中，完成对特征向量纬度的相关性解耦；
框架改进模块，用于根据提取得到的维度相关性解耦的特征向量，完成对度量损失框架的改进。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于行人重识别的度量损失框架改进程序，所述基于行人重识别的度量损失框架改进程序被所述处理器执行时实现如权利要求1-7任一项所述的基于行人重识别的度量损失框架改进方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于行人重识别的度量损失框架改进程序，所述基于行人重识别的度量损失框架改进程序被处理器执行时实现如权利要求1-7任一项所述的基于行人重识别的度量损失框架改进方法的步骤。
CN202210905618.7A 2022-07-29 2022-07-29 一种基于行人重识别的度量损失框架改进方法及相关设备 Pending CN115170835A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210905618.7A CN115170835A (zh) 2022-07-29 2022-07-29 一种基于行人重识别的度量损失框架改进方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210905618.7A CN115170835A (zh) 2022-07-29 2022-07-29 一种基于行人重识别的度量损失框架改进方法及相关设备

Publications (1)

Publication Number Publication Date
CN115170835A true CN115170835A (zh) 2022-10-11

Family

ID=83476527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210905618.7A Pending CN115170835A (zh) 2022-07-29 2022-07-29 一种基于行人重识别的度量损失框架改进方法及相关设备

Country Status (1)

Country Link
CN (1) CN115170835A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115902667A (zh) * 2023-02-15 2023-04-04 广东电网有限责任公司东莞供电局 基于权重和容积点自适应的锂电池soc估计方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115902667A (zh) * 2023-02-15 2023-04-04 广东电网有限责任公司东莞供电局 基于权重和容积点自适应的锂电池soc估计方法

Similar Documents

Publication Publication Date Title
Zhou et al. Tensor low-rank representation for data recovery and clustering
Zhang et al. Robust non-negative matrix factorization
He et al. Robust principal component analysis based on maximum correntropy criterion
Mu et al. Accelerated low-rank visual recovery by random projection
Tao et al. Robust spectral ensemble clustering via rank minimization
Ju et al. Image outlier detection and feature extraction via L1-norm-based 2D probabilistic PCA
CN111191719B (zh) 一种基于自表示和图谱约束的非负矩阵分解的图像聚类方法
Yu et al. Multi-target unsupervised domain adaptation without exactly shared categories
Shrivastava et al. Learning discriminative dictionaries with partially labeled data
Wang et al. Constrained low-rank representation for robust subspace clustering
CN107977456B (zh) 一种基于多任务深度网络的多源大数据分析方法
Liao et al. Discriminant Analysis via Joint Euler Transform and $\ell_ {2, 1} $-Norm
CN114170516B (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
Nie et al. Learning an optimal bipartite graph for subspace clustering via constrained Laplacian rank
Li et al. Weighted error entropy-based information theoretic learning for robust subspace representation
Li et al. Subspace clustering under complex noise
CN115170835A (zh) 一种基于行人重识别的度量损失框架改进方法及相关设备
CN116403253A (zh) 基于卷积神经网络的人脸识别监控管理系统及其方法
Liu et al. Bilaterally normalized scale-consistent sinkhorn distance for few-shot image classification
Guan et al. Multi-pose face recognition using cascade alignment network and incremental clustering
Zhang et al. Large Scale Sparse Clustering.
Yan et al. A parameter-free framework for general supervised subspace learning
Wei et al. Spectral clustering steered low-rank representation for subspace segmentation
Peng et al. Image projection ridge regression for subspace clustering
Wang et al. Data recovery and subspace clustering from quantized and corrupted measurements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination