CN112633229A - 一种基于spd流形的行人重识别系统 - Google Patents

Abstract

本发明公开一种基于SPD流形的行人重识别系统，所述系统包括神经网络卷积层、第一通道注意模块、第二通道注意模块和位置注意模块，所述系统还包括有对局部图像特征快速识别的图像识别图像识别模块，所述图像识别模块包括第一局部图像处理层、第二局部图像处理层、第三局部图像处理层和第四局部图像处理层；该系统通过将卷积神经网络层中运用SPD流形实现对行人的图像特征快速比对、识别进而实现寻人、查找的过程。

Description

一种基于SPD流形的行人重识别系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于SPD流形的行人重识别系统。

背景技术

特定行人轨迹的跟踪，定位和检索是视频检测的关键技术。分布式跨摄像机监控系统的基本任务是将出现在不同位置和时刻的行人关联起来。我们将这种跨摄像机视频内容针对特定的行人对象进行识别和检索的任务称为行人重识别。但是，不同摄像机拍摄的行人图像存在分辨率低，视角，照明变化和背景遮挡等问题，会导致行人的外观特征发生某些变化。另一个问题是，由于不同的摄像机角度和光线变化的影响，不同人的外观特征往往比同一人的外观更相似。这些问题使人员重新识别更具挑战性。

基于表示的学习方法是人们重新识别的一种非常常用的方法。有的方法使用了分类子网和验证子网。给出图片，分类子网执行ID预测并计算分类。验证子网可衡量两个图片中的行人是否是同一个人。然而，一些论文认为仅行人的ID信息不足以学习具有足够泛化能力的模型。在这些作品中，他们还注释了行人图片的属性，例如年龄，性别，头发，衣服和其他属性。以上研究的重点是全局特征。后来，每个人逐渐发现全局基于特征的方法遇到了瓶颈，因此开始逐步研究局部特征。利用局部特征的主要思想包括图像分割，基于骨架的方法和姿势校正，此外，度量学习是一种广泛用于图像检索的方法。在人的重新识别问题中，不同行人的不同图片的差异大于相同行人的不同图片的差异。常用的度量学习损失方法包括对比损失，三重损失，四重损失和困难抽样三重损失，边际样本挖掘损失。在行人重新识别任务中，获取数据是另一个困难的工作。为此，DG-NET使用GAN生成图像作为训练数据，从而减轻了过拟合的问题。

上述研究非常成功，但它们的共同点是它们都使用图像的一阶特征并直接在欧几里得空间中测量距离。在这项工作中，我们使用二阶统计信息代替一阶信息。我们计算卷积特征的协方差矩阵，它是对称正定的，作为SPD矩阵表示。它比一阶特征更具区分性。以前的大多数工作都使用CNN的最后一层作为最终特征表示。与之不同的是，我们利用多个中间层来获得多个表示，并分别计算它们的损失。事实证明，该方法对性能提升有很大帮助。

发明内容

为了解决现有技术中存在的问题，本发明提供一种基于SPD流形的行人重识别系统，该系统通过将卷积神经网络层中运用SPD流形实现对行人的图像特征快速比对、识别进而实现寻人、查找的过程。

本发明通过如下技术方案予以实施：

一种基于SPD流形的行人重识别系统，所述系统包括神经网络卷积层、第一通道注意模块、第二通道注意模块和位置注意模块，所述系统还包括有对局部图像特征快速识别的图像识别模块，所述图像识别模块包括第一局部图像处理层、第二局部图像处理层、第三局部图像处理层和第四局部图像处理层；其中：每个所述图像处理层通过如下步骤实现快速图像识别：

通过对卷积层输出的行人局部图像特征采用如下公式计算局部图像特征的样本协方差矩阵C：，

其中：x_i代表位置i＝1，…，n的局部特征；

表示局部特征的平均值，C的对角线元素可以代表每个特征通道的方差；

通过样本协方差矩阵归一化处理获得二阶表示形式Σ；

通过2D全连接层对二阶表示形式进行获得的低维矢量；

H＝W^TΣW

将低维矢量展平为一个向量作为最终的特征表示完成行人图像特征识别。

所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层和第四卷积层：所述的第一卷积层、第二卷积层、第三卷积层和第四卷积层依次传递图像数据，第一卷积层与第二卷积层之间加入第一通道注意模块CAM，所述第四卷积层的输出端分为两个数据输出支路，第一局部图像数据输出支路连接第二通道注意模块，第二局部图像数据输出支路连接位置注意模块；其中：所述第二卷积层与所述第三卷积层之间设置有第一局部图像处理层；所述第三卷积层与所述第四卷积层之间之间第二局部图像处理层；所述第四卷积层输出端还连接有第三局部图像处理层；所述第四局部图像处理层分别接收第二通道注意模块和位置注意模块输出的图像特征数据。

所述样本协方差矩阵C镶嵌在SPD黎曼流形上获得了四组特征向量(v_i,t_i)(i＝1,…,4)和四组损失函数

其中：通过

特征向量对样本协方差矩阵C充分应用到每个行人图像对应的正样本和负样本；

通过

特征向量计算正样本和负样本之间的绝对距离达到快速识别。

有益效果

本发明相对于现有技术具有以下的优点以及效果：

1.通过计算特征的协方差矩阵获得更具有统计特性的特征表示，使度量性能更好。

2.通过计算特征的协方差矩阵将特征镶嵌到一个SPD流形上，获得特征之间的一种更好的几何特性，再将特征映射回欧式空间进行距离度量时，结果更加准确。

3.通过向模型中添加SPD层，使得模型更容易收敛。

附图说明

图1是本发明的一种基于SPD流形的行人重识别系统结构图。

图2是本发明中一种基于SPD流形的行人重识别系统过程图。

具体实施方式

为使得本发明的目的、方案以及优点更加清晰，结合本发明实施例中的附图，对本发明进行完整、详细的描述。

如图1所示：本发明提供一种基于SPD流形的行人重识别方法，该方法的模型结构如下：所述系统包括神经网络卷积层、第一通道注意模块、第二通道注意模块和位置注意模块，所述系统还包括有对局部图像特征快速识别的图像识别模块，所述图像识别模块包括第一局部图像处理层、第二局部图像处理层、第三局部图像处理层和第四局部图像处理层；其中：每个所述图像处理层通过如下步骤实现快速图像识别，如图2所示：

通过对卷积层输出的行人局部图像特征采用如下公式计算局部图像特征的样本协方差矩阵C：，

其中：x_i代表位置i＝1，…，n的局部特征；

表示局部特征的平均值，C的对角线元素可以代表每个特征通道的方差；

通过样本协方差矩阵归一化处理获得二阶表示形式；

通过2D全连接层对二阶表示形式进行获得的低维矢量；

H＝W^TΣW

将低维矢量展平为一个向量作为最终的特征表示完成行人图像特征识别。

本发明基于采用ResNet-50作为backbone卷积神经网络，该卷积神经网络包括第一卷积层：即res_conv_1&2；第二卷积层：即res_conv_3；第三卷积层：res_conv_4；第四卷积层：res_conv_5；所述的第一卷积层、第二卷积层、第三卷积层和第四卷积层依次传递图像数据，本发明在第一卷积层与第二卷积层之间加入第一通道注意模块CAM；同时，在第四卷积层的输出端分为两个数据输出支路，第一局部图像数据输出支路连接第二通道注意模块，第二局部图像数据输出支路连接位置注意模块；在本发明中构建了通过上述卷积神经网络的局部图像数据特征进行快速识别人脸的图像识别模块，所述图像识别模块包括第一局部图像处理层、第二局部图像处理层、第三局部图像处理层和第四局部图像处理层。其中：所述第二卷积层与所述第三卷积层之间设置有第一局部图像处理层；所述第三卷积层与所述第四卷积层之间第二局部图像处理层；所述第四卷积层输出端还连接有第三局部图像处理层；所述第四局部图像处理层分别接收第二通道注意模块和位置注意模块输出的图像特征数据。

所述卷积神经网络对局部特征的二阶统计信息进行编码以获得图像级特征。给定一个行人图像，经过卷积层后，得到一个h×w×d维张量，h是高度，w是宽度，d是通道，然后将其重整为大小为n×d的矩阵X，这里n＝h×w，X的每一行都是d维局部特征x_i。然后，我们通过二阶合并操作计算样本协方差矩阵。

其中x_i代表位置i＝1，…，n的局部特征。

表示局部特征的平均值，并由

结出。C的对角线元素可以代表每个特征通道的方差，非对角线元素可以代表不同通道之间的相关性。方差或相关性等统计数据可以很好地代表行人图像的整体纹理和外观特征。

样本协方差矩阵C镶嵌在特定的黎曼流形(SPD流形)上，为了获得良好的结果，有必要对其进行规范化。我们可以通过矩阵的幂来估计更健壮的样本协方差矩阵，尤其是矩阵的平方根，并且可以通过

对矩阵进行归一化处理。但是，矩阵的平方根需要SVD，它不仅在梯度反向传播过程中数值不稳定，而且耗时。

通过方程F(Σ)＝Σ²-C＝0以近似矩阵的平方根进行求解。牛顿-舒尔茨迭代可以有效地求解该方程。给定初始状态：Y₀＝C和Z₀＝I，其中I是一个单位矩阵，迭代过程遵循以下规则：

这将在GPU上以稳定，快速的矩阵乘积取代SVD。由于当C在||C-I||<I的范围内时，矩阵Y_k只能二次收敛到

因此要将C转换为收敛区域，对其进行归一化。我们可以使用以下步骤对矩阵的近似平方根进行归一化：首先，我们通过迹线将C预归一化为：

根据方程式进行N次Newton-Schulz迭代。(2)的初始状态为

和Z₀＝I。通过执行后归一化获得C的矩阵平方根：

归一化后，我们获得二阶表示形式Σ，它是大小为d×d的矩阵。如果将其展平为一个向量作为行人图像的描述符，则每个描述符将是一个非常大的d²维向量，不利于计算和存储，需要获得一个紧凑的表示形式。以前的方法是将Σ展平为d²维矢量，然后通过传统的“全连接”层将其转换为低维矢量。相反，我们使用Σ作为矩阵，并将应用于一维矢量的传统全连接层扩展为二维矩阵。我们的具体转换如下：

H＝W^TΣW (5)

其中，

是由可学习参数组成的矩阵，并且

远小于d。此转换即为2D全连接层(2D-FC)。然后，我们将H展平为一个向量，以获得

维行人描述符，它是一个更紧凑的表示形式。

本发明对行人对象识别过程：

第一通道注意模块CAM添加到块的输出中第一卷积层res_conv_1&2，将第一通道注意模块CAM输出的特征图像数据用输入第二卷积层res_conv_3的。第四卷积层，即在res_conv_5块之后，将输出特征图馈入缩小层以生成较小的特征图F。第四卷积层将图像特征图F分别输入到第二通道注意模块CAM和位置注意模块PAM中。将上述两个注意模块的输出与输入图像特征图F连接起来以获得图像特征图G。将图像特征图G输入第四局部图像处理层以获取k维特征向量v作为行人的表示。

通过k维特征向量v作为行人识别图像的的表示进行计算RankedList Loss(L_Rll)和中心损失(L_C)，并对特征向量v进行降维获得另一个n维特征向量t，n是数据集中行人的id数量。使用向量t计算交叉熵损失(L_xent)

此外，本发明充分利用了第二卷积层res_conv_3，第三卷积层res_conv_4和第四卷积层res_conv_5的输出局部图像特征。将上述局部图像特征的三个输出特征分别输入第一局部图像层，第二局部图像处理层、第三局部图像处理层以获得另外三组特征向量和相应的损失。最后，获得了四组特征向量(v_i,t_i)(i＝1,…,4)和

计算loss时，我们采用了rankedListLoss(RLL)。RLL采用成对边界损失作为基本成对约束。数学上，

L_m(x_i,x_j；f)＝(1-y_ij)[α-d_ij]₊+y_ij[d_ij-(α-m)]₊

其中：如果y_i＝y_j，y_ij＝1；否则y_ij＝0.d_ij＝||f(x_i)-f(x_j)||₂是两点之间的欧几里得距离，α是负点应比其更远的边界，α-m是正点应比其更近的另一边界。本发明为anchor挖掘所有非平凡的正样本和负样本。对于查询

其中：c表示人的类别，i表示第i张图片，

表示挖掘的非平凡正集。类似地，

表示挖掘后的负集。为了将

中所有非平凡的正样本点汇总在一起，我们最小化：

类似地，要将

中所有非平凡的负数据点推到边界α之外，我们最小化：

其中w_ij＝exp(T×(α-d_ij)),

表示基于负样本的损失的权重，而T≥0控制负样本的权重。最后，我们共同优化两个最小化目标：

其中λ控制正负集的影响。

另一方面，RLL也有其缺点。它仅考虑正负对之间的相对距离，却忽略了它们的绝对距离。为了弥补这些缺点，我们额外采用了中心损失。同时学习每个类的中心，并将样本点拉近其类中心，可以将其表达为：

其中y_j表示微型批处理中第j个图像的标签。

是第y_j个中心。B表示批次大小。f_j表示第j个行人图像经局部图像处理层的输出特征。

本发明实施例通过局部图像处理模块的SPD流形的到更富有统计特性的局部数据特征，然后通过RLL损失充分利用到每个行人图像对应的正样本和负样本，并且通过中心损失来计算样本间的绝对距离，弥补了RLL只考虑相对距离的缺陷。最终模型达到了较好的度量效果。

Claims (3)

1.一种基于SPD流形的行人重识别系统，所述系统包括神经网络卷积层、第一通道注意模块、第二通道注意模块和位置注意模块，其特征在于：所述系统还包括有对局部图像特征快速识别的图像识别图像识别模块，所述图像识别模块包括第一局部图像处理层、第二局部图像处理层、第三局部图像处理层和第四局部图像处理层；其中：每个所述图像处理层通过如下步骤实现快速图像识别：

通过对卷积层输出的行人局部图像特征采用如下公式计算局部图像特征的样本协方差矩阵c，

其中：x_i代表位置i＝1，…，n的局部特征；

表示局部特征的平均值，C的对角线元素可以代表每个特征通道的方差；

通过样本协方差矩阵归一化处理获得二阶表示形式；

通过2D全连接层对二阶表示形式进行获得的低维矢量；

H＝W^TΣW

将低维矢量展平为一个向量作为最终的特征表示完成行人图像特征识别。

2.根据权利要求1所述的一种基于SPD流形的行人重识别系统，其特征在于：所述卷积神经网络包括第一卷积层、第二卷积层、第三卷积层和第四卷积层：所述的第一卷积层、第二卷积层、第三卷积层和第四卷积层依次传递图像数据，第一卷积层与第二卷积层之间加入第一通道注意模块CAM，所述第四卷积层的输出端分为两个数据输出支路，第一局部图像数据输出支路连接第二通道注意模块，第二局部图像数据输出支路连接位置注意模块；其中：所述第二卷积层与所述第三卷积层之间设置有第一局部图像处理层；所述第三卷积层与所述第四卷积层之间之间第二局部图像处理层；所述第四卷积层输出端还连接有第三局部图像处理层；所述第四局部图像处理层分别接收第二通道注意模块和位置注意模块输出的图像特征数据。

3.根据权利要求1或2所述的一种基于SPD流形的行人重识别系统，其特征在于：所述样本协方差矩阵C镶嵌在SPD黎曼流形上获得了四组特征向量(v_i,t_i)(i＝1,…,4)和四组损失函数

其中：通过

特征向量对样本协方差矩阵C充分应用到每个行人图像对应的正样本和负样本；

通过

特征向量计算正样本和负样本之间的绝对距离达到快速识别。

Images