CN110717411A - 一种基于深层特征融合的行人重识别方法 - Google Patents

Abstract

本发明公开了一种基于深层特征融合的行人重识别方法，提出了一种基于深层特征融合的行人重识别网络模型，从空间维度提升网络性能。首先，利用卷积层和池化层多次提取网络深层特征，使用融合后的深层特征作为行人图像的特征属性，融合后的特征具有更好的细粒度特征表达能力。其次，为提高模型的泛化能力，在深层融合特征后加入一个批量归一化层，同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练，提高了模型的泛化能力。

Description

一种基于深层特征融合的行人重识别方法

技术领域

本发明属于数字图像处理、计算机视觉技术领域，涉及一种行人重识别方法，特别是涉及一种基于深层特征融合的行人重识别方法。

背景技术

行人重识别技术又称“跨境追踪技术”，作为目前视频监控的热门研究方向，它将计算机视觉、机器学习以及模式识别综合运用于监控系统中，可与行人检测技术、行人跟踪技术相结合。该技术是人脸识别技术的延伸，可跨越多个摄像头对无法拍摄清晰人脸的行人进行连续追踪。若给定一张监控拍摄的行人图像，行人重识别技术通过检索其他监控设备在不同地点和时间拍摄的该行人图像来弥补固定摄像头的视觉局限，并增强数据的时空连续性。行人重识别技术在智能安防、智能商业等领域被广泛应用。

深度学习近年来在机器学习领域成为研究热点，其中应用非常广泛的一种模型是卷积神经网络(Convolution Neural Network，CNN)。它主要包含卷积和池化操作，具有很强的抽象表征能力，相比传统的神经网络识别性能更好。在当今大数据时代，随着计算机计算能力大幅提高，成本逐渐降低，深度学习在图像识别与分类、自然语言处理及语音识别等研究领域取得了优异的效果。

目前行人重识别研究主要分为两部分：基于特征表示的方法和基于度量学习的方法。基于特征表示方法主要研究提取具有鲁棒性的鉴别特征来表示行人。基于度量学习方法主要研究通过学习一个距离函数，使同一行人的距离小于不同行人的距离。其目的是寻找一种新的距离度量，将原始的行人特征(如hog和sift)转换为一个新的度量空间，在这个度量空间中，具有相同标签的样本距离更近，标签不同的样本具有较大的距离。

近年来，行人重识别技术研究得到了快速发展，但与实际应用需求还存在一些差距，问题主要体现在：一般的视频监控中，拍摄的图像分辨率较低，人脸信息模糊，不利于人脸分析、特征提取及分割等；不同摄像头拍摄角度不同，导致行人在不同摄像头下的姿态不同，从而难以匹配；行人之间或行人与其他物体之间会存在遮挡，行人特征表示受到很大影响；不同监控环境下，摄像头参数、早晚光照的不同会改变人的外貌，难以进行匹配。

发明内容

本发明的目的在于提出一种基于深层特征融合的行人重识别网络模型及重识别方法，从空间维度提升网络性能。

本发明所采用的技术方案是：一种基于深层特征融合的行人重识别方法，其特征在于，包括以下步骤：

步骤1：构建行人重识别网络模型，针对输入的数据集，利用行人重识别网络模型提取图像的全局特征；

步骤2：深层特征融合；

步骤3：融合深层特征的批量归一化处理；

步骤4：采用标签平滑损失函数和三元组损失函数对步骤1中的行人重识别网络模型进行联合训练，使得行人重识别网络模型的参数最优；

步骤5：针对行人重识别公开数据集中包含的查询集和候选集，计算查询集中指定对象和候选集中的每个对象的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别的排序结果。

本发明提出了一种基于深层特征融合的行人重识别方法，与现有算法相比，其显著优点在于：

(1)本发明提出了一种深层特征融合的行人重识别网络模型，从空间维度提升网络性能。该方法利用卷积层和池化层多次提取Se-resnet50网络深层行人特征，使用融合后的深层特征作为行人图像的特征属性。

(2)在深层融合特征后加入一个批量归一化层，同时采用标签平滑损失函数和三元组损失函数对模型进行联合训练，提高模型的泛化能力。

附图说明

图1为本发明实施例的网络框架图；

图2为本发明实施例的Se-resnet50网络内部结构图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1、图2，本发明提供了一种基于深层特征融合的行人重识别方法，包括以下步骤：

步骤1：构建行人重识别网络模型，针对输入的数据集，利用行人重识别网络模型提取图像的全局特征；

本实施例中，步骤1的具体实现包括以下子步骤：

步骤1.1：输入数据集至行人重识别网络模型；

所述行人重识别网络模型为Se-resnet50网络，其网络内部结构如图2所示，该网络是将SENet(Squeeze-and-Excitation Networks)嵌入Resnet-50中，SENet分为压缩和激励两个部分；压缩部分结构包括池化层，激励部分结构包括全连接层、Relu层、全连接层、激活函数层；

SENet通过自己学习获取特征通道的权重并进行分配，提升有用特征通道同时削弱相关性小的特征。在压缩部分，对Resnet-50输出的C个空间维度为H×W的特征映射f_i，通过全局池化压缩成C个空间维度为..的特征向量。在激励部分，通过如图2所示的激励部分捕捉信道之间的内部关联，学习信道的注意力因子。

步骤1.2：将学习到的注意力因子分配到相应的信道上，输出C个大小为H×W的带有注意力标注的特征映射f_i′。

步骤2：深层特征融合；

本实施例中，步骤2的具体实现包括以下子步骤：

步骤2.1：将Se-resnet50的第三个和第四个卷积层特征提取出来获得图像深层次的全局特征属性表示，提取的两个中间层特征f₁′、f₂′的维度分别为512和1024，对这两个不同尺度的中间层特征分别采用平均池化方法，获得2048维的深层特征f₁′、f₂′；

步骤2.2：将步骤2.1获得的两个中间层特征f₁′、f₂′与网络输出的2048维的特征映射f′拼接为融合特征f′_fusion＝[f′,f₁′,f₂′]。

步骤3：融合深层特征的批量归一化处理；

将步骤2.2获得的C个融合特征f′_fusion后面加入一个归一化层，在批量归一化层中引入了γ、β两个可学习参数，将C个融合特征的特征值作为样本对参数γ、β进行训练，对批处理特征值进行尺度变换和偏移，得到标准化后的融合特征映射f′_N。

步骤4：采用标签平滑损失函数和三元组损失函数对步骤1中的行人重识别网络模型进行联合训练；使得行人重识别网络模型的参数最优；

本实施例中，步骤4的具体实现包括以下子步骤：

步骤4.1：三元组损失函数是对欧氏距离中的类内紧密性和类间可分离性进行了增强。本实施例利用三元组损失函数计算融合特征映射f′_fusion的欧式距离，使得任意目标样本与正样本之间的距离最小，与负样本之间的距离最大；

其中，三元组损失函数为：

L_tri＝[d_p-d_n+α]₊ (1)

其中，d_p为目标样本与正样本之间的欧式距离，d_n为目标样本与负样本之间的欧式距离，α为三元组损失的阈值；

步骤4.2：采用f′_N计算标签平滑损失；

行人训练样本通常会存在少量的错误标签，这些错误标签可能会影响预测结果，标签平滑损失函数被用来防止模型在训练过程中过度依赖标签。由于批量归一化层将所有特征属性全部分配给了同一个标签，故采用f′_N计算标签平滑损失。在使用标签平滑损失函数优化模型时，余弦距离比欧式距离更适用于标签平滑损失函数。

当输入行人图像i时，y_i为图像中行人的标签，若y_i为类别i其值为1，否则为0；对行人标签进行了平滑处理，在每次训练过程中，给标签设置一个错误率ε，则实际标注的行人标签y′_i为：

q_i是网络预测实际标注的行人标签y_i′为类别i的概率，为：

其中，M为数据集中的行人个数，由交叉熵损失函数可得标签平滑损失：

其中，p_i为网络预测标签y_i为类别i的概率；

步骤4.3：将步骤4.1和步骤4.2中的三元组损失和标签平滑损失联合在一起，模型总的损失函数为L_loss＝L_id+L_tri，并运用联合损失函数对模型进行训练。

步骤5：针对行人重识别公开数据集中包含的查询集和候选集，计算查询集中指定对象和候选集中的每个对象的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别的排序结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术；上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种基于深层特征融合的行人重识别方法，其特征在于，包括以下步骤：

步骤1：构建行人重识别网络模型，针对输入的数据集，利用行人重识别网络模型提取图像的全局特征；

步骤2：深层特征融合；

步骤3：融合深层特征的批量归一化处理；

步骤4：采用标签平滑损失函数和三元组损失函数对步骤1中的行人重识别网络模型进行联合训练，使得行人重识别网络模型的参数最优；

步骤5：针对行人重识别公开数据集中包含的查询集和候选集，计算查询集中指定对象和候选集中的每个对象的欧式距离，接着对所计算得到的距离进行升序排序，获得行人重识别的排序结果。

2.根据权利要求1所述的基于深层特征融合的行人重识别方法，其特征在于，步骤1的具体实现包括以下子步骤：

步骤1.1：输入数据集至行人重识别网络模型；所述行人重识别网络模型为Se-resnet50网络，所述Se-resnet50网络是将SENet嵌入Resnet-50中得到的；SENet分为压缩和激励两个部分，压缩部分结构包括池化层，激励部分结构包括全连接层、Relu层、全连接层、激活函数层；

在压缩部分，对Resnet-50输出的C个空间维度为H×W的特征映射f_i，通过全局池化压缩成C个空间维度为1×1的特征向量；在激励部分，捕捉信道之间的内部关联，学习信道的注意力因子；

步骤1.2：将学习到的注意力因子分配到相应的信道上，输出C个大小为H×W的带有注意力标注的特征映射f_i′。

3.根据权利要求2所述的基于深层特征融合的行人重识别方法，其特征在于，步骤2的具体实现包括以下子步骤：

步骤2.1：将Se-resnet50的第三个和第四个卷积层特征提取出来获得图像深层次的全局特征属性表示，提取的两个中间层特征f₁′、f₂′的维度分别为512和1024，对这两个不同尺度的中间层特征分别采用平均池化方法，获得2048维的深层特征f₁′、f₂′；

步骤2.2：将步骤2.1获得的两个中间层特征f₁′、f₂′与网络输出的2048维的特征映射f′拼接为融合特征f′_fusion＝[f′,f₁′,f₂′]。

4.根据权利要求3所述的基于深层特征融合的行人重识别方法，其特征在于，步骤3的具体实现过程为：将步骤2.2获得的C个融合特征f′_fusion后面加入一个归一化层，在批量归一化层中引入了γ、β两个可学习参数，将C个融合特征的特征值作为样本对参数γ、β进行训练，对批处理特征值进行尺度变换和偏移，得到标准化后的融合特征映射f′_N。

5.根据权利要求4所述的基于深层特征融合的行人重识别方法，其特征在于，步骤4的具体实现包括以下子步骤：

步骤4.1：利用三元组损失函数计算融合特征映射f′_fusion的欧式距离，使得任意目标样本与正样本之间的距离最小，与负样本之间的距离最大；

其中，三元组损失函数为：

L_tri＝[d_p-d_n+α]₊ (1)

其中，d_p为目标样本与正样本之间的欧式距离，d_n为目标样本与负样本之间的欧式距离，α为三元组损失的阈值；

步骤4.2：采用f′_N计算标签平滑损失；

当输入行人图像i时，y_i为图像中行人的标签，若y_i为类别i其值为1，否则为0；对行人标签进行了平滑处理，在每次训练过程中，给标签设置一个错误率ε，则实际标注的行人标签y′_i为：

q_i是网络预测实际标注的行人标签y_i′为类别i的概率，为：

其中，M为数据集中的行人个数，由交叉熵损失函数可得标签平滑损失：

其中，p_i为网络预测标签y_i为类别i的概率；

步骤4.3：将步骤4.1和步骤4.2中的三元组损失和标签平滑损失联合在一起，模型总的损失函数为L_loss＝L_id+L_tri，并运用联合损失函数对模型进行训练。

Images