CN111539336B - 一种提高局部注意力的行人重识别方法 - Google Patents

Abstract

本发明涉及一种提高局部注意力的行人重识别方法，属于计算机视觉与模式识别技术领域，解决传统行人重识别方法中各局部特征重要性区分不明显的问题。本发明的技术方案包括以下步骤：1)初步提取局部特征；2)保留局部特征并计算各局部特征权值；3)步骤2)得到局部特征的权重系数与提取出的局部特征合集U相乘，即可得到新的特征

。本发明采用新的特征压缩激活网络，将注意力放在真正发挥作用的局部特征上，同时抑制了不发挥作用的局部特征，提高了系统的非线性。与现有技术相比，本发明具有识别准确率高、识别力强等优点。

Description

一种提高局部注意力的行人重识别方法

技术领域

本发明属于计算机视觉与模式识别技术领域，特别涉及一种提高局部注意力的行人重识别方法。

背景技术

行人重识别技术是一种在图片集或视频中寻找特定行人的技术，能够广泛的应用在视频监控、智能安防等领域。随着科技的发展进步，大街小巷已经遍布了摄像头，这些摄像头在帮助寻找丢失儿童、警察破案的过程中扮演了重要的角色。警察在以往的破案过程中，首先调取案发现场的监控，然后靠人眼去判断其他大街小巷的监控录像中是否出现过此犯罪嫌疑人，这种方法费事费力，而且受光线、人体姿势的影响，准确率较低。借助于人工智能技术，尤其是针对于图像的卷积神经网络技术，计算机能够自动处理大量的视频监控数据，自动从中提取出不同摄像头中记录的犯罪嫌疑人的图像，为破案提供坚强的保证。

申请号为201610922236.X的专利提出了一套行人重识别的框架，但是起检测行人特征的方法为直方图法。但是不同视频监控中对于不能保证能够拍到行人的完整身影，不同百分比的身影的直方图有较大的差别，使用该方法不能保证识别的准确率。申请号为201510445055.8的专利提出了一种基于迁移学习的行人重识别方法，该方法将首先从图片中提取出人体，分别提取头部、左上肢、右上肢、左腿、右腿的颜色、边缘和纹理特征，将其融合后作为行人的特征。但是由于光照和行人背景较为复杂，基于颜色特征去检测人体本来就是非常复杂的任务，提取人体的头部和四肢的颜色纹理信息的准确率就更低了，这也导致了行人重识别的准确率受特征影响较大。申请号为201910820960.5的专利提出了一种基于卷积神经网络的方法进行行人重识别，区别于之前的基于颜色纹理等人为提取的特征，卷积神经网络能够自动提取特征。同时该方法为了解决摄像头有可能拍不完全行人的问题，提出了将人的身体分为上半身和下半身分别提取特征，最后行人的特征融合了上半身、下半身和全身的信息。但是这种方法对人体的划分较为简单，并且上半身、下半身和全身的特征没有优先级，不知哪一部分在识别中发挥的作用大，若能够给不同部分的特征添加权值，会提高整体的识别率。

发明内容

本发明的目的在于克服现有技术的缺点，提供一种提高局部注意力的行人重识别方法，解决现有行人重识别方法存在的准确率低、识别力差等技术问题。

本发明是通过以下技术方案实现的：一种提高局部注意力的行人重识别方法，包括以下步骤：

1)提取特征：进行图片到初步特征的映射操作F_tr，该操作使用残差卷积神经网络提取输入图片X的特征，并将其映射到与之对应的特征U上；输入输出的定义表示为：

F_tr:X→U,X∈R^{H′×W′×C′},U∈R^H×W×C

其中：X代表了一幅行人图片，W’和H’分别代表了该图片的宽度和长度，C’代表了图片的通道数量；

U为全局特征，将U划分为H行W列，W和H分别代表了特征U的宽度和长度，即得到局部特征U_i，其中i＝1,2...H*W，每个局部特征都有C个通道，即C代表了特征U的通道数；

2)计算最终特征：

S1、主线1：保留所有的局部特征U_i的合集留作计算，其中i＝1,2……H*W；

S2、主线2：通过SE(Squeeze Excitation)模块计算出每个局部特征的权值：

①F_sq压缩过程：对每个局部特征U_i的C个通道求均值，得到的z_i即为该局部特征的初步权值，具体定义为：

共得到H*W个权值，将其水平排列，得到H*W个局部特征权值的集合z；在图1中表示为横条；

②F_ex过程：

如图2所示，经过F_sq得到H*W个权值集合z之后，进行F_ex全连接操作，W₁的维度为H*W/r，W₂的维度为H*W，最后连接sigmoid激活；定义为：

s＝F_ex(z,W)＝δ(W₂W₁z)

得到的s的维度为1*1*(H*W),将其变形为二维H*W维矩阵，即为局部特征的权重系数；

S3、步骤S2得到局部特征的权重系数与步骤S1中主线1保留的原始特征U相乘，即可得到新的特征

在图1中，立方体代表的

表示每个局部特征乘以不同的权重系数。

本发明通过将图片划分为若干小的区域，忽略掉图片通道的影响，着重关注局部区域作用，创新性使用针对区域的SE模块，增加系统的非线性，让系统自动学习不同部位特征所占的权重，增大发挥作用的局部特征权值，并减小不发挥作用的局部特征的权值。基于细分网格的人体局部特征，能够充分避免人体遮挡和人体背景杂乱对行人重识别带来的影响，提高识别的准确率。与现有技术相比，本发明具有识别准确率高、识别力强等优点。

附图说明

图1是提取行人图片特征的流程；

图2是最终特征的计算过程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细描述。

如图1和图2所示，本实施例中的一种提高局部注意力的行人重识别方法，包括以下步骤：

1)提取特征：进行图片到初步特征的映射操作F_tr，该操作使用残差卷积神经网络提取输入图片X的特征，并将其映射到与之对应的特征U上；输入输出的定义表示为：

F_tr:X→U,X∈R^{H′×W′×C′},U∈R^H×W×C

其中：X代表了一幅行人图片，W’和H’分别代表了该图片的宽度和长度，C’代表了图片的通道数量；

U为全局特征，将U划分为H行W列，W和H分别代表了特征U的宽度和长度，即得到局部特征U_i，其中i＝1,2...H*W，每个局部特征都有C个通道，即C代表了特征U的通道数；

2)计算最终特征：

S1、主线1：保留所有的局部特征U_i的合集留作计算，其中i＝1,2……H*W；

S2、主线2：通过SE(Squeeze Excitation)模块计算出每个局部特征的权值：

①F_sq压缩过程：对每个局部特征U_i的C个通道求均值，得到的z_i即为该局部特征的初步权值，具体定义为：

共得到H*W个权值，将其水平排列，得到H*W个局部特征权值的集合z；在图1中表示为横条；

②F_ex过程：

如图2所示，经过F_sq得到H*W个权值集合z之后，进行F_ex全连接操作，W₁的维度为H*W/r，W₂的维度为H*W，最后连接sigmoid激活；定义为：

s＝F_ex(z,W)＝δ(W₂W₁z)

得到的s的维度为1*1*(H*W),将其变形为二维H*W维矩阵，即为局部特征的权重系数；

S3、步骤S2得到局部特征的权重系数与步骤S1中主线1保留的原始特征U相乘，即可得到新的特征

在图1中，立方体代表的

表示每个局部特征乘以不同的权重系数。。

本发明能够以多种形式具体实施而不脱离发明的精神或实质，所以应当理解，上述实施例不限于前述的细节，而应在权利要求所限定的范围内广泛地解释，因此落入权利要求或其等效范围内的变化和改型都应为权利要求所涵盖。

Claims (1)

1.一种提高局部注意力的行人重识别方法，其特征在于：包括以下步骤：

1)提取特征：进行图片到初步特征的映射操作Ftr，该操作使用残差卷积神经网络提取输入图片X的特征，并将其映射到与之对应的特征U上；输入输出的定义表示为：

F_tr:X→U,X∈R^{H′×W′×C′},U∈R^H×W×C

其中：X代表了一幅行人图片，W’和H’分别代表了该图片的宽度和长度，C’代表了图片的通道数量；

U为全局特征，将U划分为H行W列，W和H分别代表了特征U的宽度和长度，即得到局部特征U_i，其中i＝1,2...H*W，每个局部特征都有C个通道，即C代表了特征U的通道数；

2)计算最终特征：

S1、主线1：保留所有的局部特征U_i合集留作计算，其中i＝1,2……H*W；

S2、主线2：通过SE模块计算出每个局部特征的权值：

①F_sq压缩过程：对每个局部特征U_i的C个通道求均值，得到的z_i即为该局部特征的初步权值，具体定义为：

共得到H*W个权值，将其水平排列，得到H*W个局部特征权值的集合z；

②F_ex过程：

经过F_sq得到H*W个权值集合z之后，进行F_ex全连接操作，W₁的维度为H*W/r，W₂的维度为H*W，最后连接sigmoid激活；定义为：

s＝F_ex(z,W)＝δ(W₂W₁z)

得到的s的维度为1*1*(H*W),将其变形为二维H*W维矩阵，即为局部特征的权重系数；

S3、步骤S2得到局部特征的权重系数与步骤S1中主线1保留的原始特征U相乘，即可得到新的特征

Images