CN112464730A - 一种基于域无关前景特征学习的行人再识别方法 - Google Patents

Abstract

本发明属于计算机视觉和模式识别领域，具体涉及一种基于域无关前景特征学习的行人再识别方法。该方法设计了一种域无关特征学习的深度神经网络，联合使用实例归一化和批量归一化，实现对图像内容的域无关特征学习；基于该网络，同时设计了一种基于行人语义分割的前景特征表示模型，通过对行人语义部分的特征建模，排除背景干扰，实现域无关的行人前景特征表示学习；该方法首先利用行人语义分割算法获取到行人前景图像，再联合实例归一化和批量归一化的深度卷积神经网络提取特征，然后利用损失函数约束模型训练。本发明提出的方法能够有效增强行人再识别模型的跨域泛化性能。

Description

一种基于域无关前景特征学习的行人再识别方法

技术领域

本发明属于计算机视觉和模式识别领域，具体涉及一种基于域无关前景特征学习的行人再识别方法。

背景技术

计算机视觉近几年来一直是研究的热点和难点，而行人再识别作为图像检索的一个子问题，在安防领域和智慧城市有重要的应用意义。行人再识别需要对监控画面中行人实现跨摄像头检索的功能。行人再识别研究的对象是人的整体特征，包括衣着、体型、发型、姿态等，可以与人脸识别、行人跟踪等结合，可广泛应用于摄像头监控、智慧城市、智能零售等领域，在理论和实践中都有重要的意义。

行人再识别的有监督学习和同域方法研究已经十分成熟，在现有的数据集上都取得了较好的检索效果，但是基于无监督的跨域行人再识别技术仍是比较大的挑战。不同行人再识别数据集之间的差异较大，这些差异可以分为不同摄像设备之间的差异和行人特性差异两种。不同摄像设备之间的差异包括光线差异、室内外场景差异、监控图像分辨率低、图像模糊不清、摄像机拍摄视角不同等。行人特性差异包括行人衣着、遮挡、行人姿态变化、行人更换服装配饰等。

由于上述不同数据集之间的差异，当模型在一个数据集上训练完之后，直接在其他的数据集上进行测试，性能会出现非常明显的下降。此外，传统的行人再识别方法往往使用包含背景的行人图像进行模型的训练，这会导致模型学习到背景噪声，从而降低了跨域行人再识别的性能。

发明内容

本发明的目的在于提供一种基于域无关前景特征学习的行人再识别方法。

实现本发明目的的技术解决方案为：一种基于域无关前景特征学习的行人再识别方法，包括如下步骤：

步骤(1)：利用行人图像和语义标签训练行人语义分割模型，在行人语义分割模型的训练过程中不断根据自我学习更新标签，输出更新标签后的行人语义分割模型；

步骤(2)：将多个摄像头下采集到的行人图像输入到步骤(1)中获得的行人语义分割模型中获得行人掩模图像；

步骤(3)：将行人掩模图像二值化后和对应的行人图像进行点乘，获得行人前景图像；

步骤(4)：在基础网络的浅层添加实例归一化，深层添加批量归一化设计一种具有跨域泛化能力的深度神经网络；

步骤(5)：将步骤(3)中获得的行人前景图像输入到步骤(4)中的具有跨域泛化能力的深度神经网络中，并输出训练好的具有跨域泛化性能的行人再识别模型；

步骤(6)：将待检索图像和数据库中图像输入到步骤(5)中获得的行人再识别模型中提取行人特征，计算特征之间的距离以度量其相似度。

进一步的，所述步骤(1)中的行人语义分割模型在进行语义分割时，将行人图像分为行人部分和背景部分，行人部分分为头部、身体躯干、大臂、小臂、大腿、小腿6个部分。

进一步的，所述步骤(4)具体为：

步骤(4-1)：在基础网络的浅层中添加实例归一化，从而去除图像上风格相关的特征，实例归一化的公式为：

上述公式中的F为行人前景图像经过深度神经网络提取出的特征，F∈R^N×C×H×W，N为这个批次中的图像数量，C为通道数，H×W为图像的大小；沿着通道计算每张图像的均值μ和标准差σ，γ为缩放变量，β为平移变量；

步骤(4-2)：在基础网络的深层中添加批量归一化，从而学习行人个体之间的差异，批量归一化的公式为：

上述公式中的x_n为这个批次中的第n张图像，n∈1,2,3,…,N，N为这个批次的图像数量，对第n张图像经过深度神经网络提取出的特征进行池化得到f(x_n)，f(x_n)∈R^N×C×1×1，C为通道数，按通道计算每个批次的均值μ和标准差σ，γ为缩放变量，β为平移变量。

进一步的，步骤(4)中以残差网络为基础网络，则在基础网络的conv2，conv3，conv4中的最后一个残差块中添加实例归一化；残差块依次包含1×1的卷积，批量归一化，3×3的卷积，批量归一化，1×1的卷积，批量归一化，实例归一化，ReLU激活函数。在基础网络的conv5后添加批量归一化，其结构为池化层、批量归一化、全连接层。

进一步的，所述步骤(4)中的具有跨域泛化能力的深度神经网络的损失函数，其构建方法具体为：使用交叉熵损失函数作为分类损失函数，交叉熵描述了两个概率之间的分布。

本发明与现有技术相比，其显著优点在于：

(1)使用行人语义分割模型获得行人掩模图像，再与行人图像进行点乘，进一步的获得行人前景图像；通过学习行人前景图像中的行人特征，排除背景噪声的干扰，从而提升行人再识别模型的跨域泛化能力。

(2)不同摄像头拍摄的行人图像具有较大的风格差异性，所述风格差异性包括光照差异、色彩差异、室内外场景差异、拍摄角度差异、行人姿态差异，在基础网络中添加实例归一化可以很好的去除这种风格差异性，从而提高行人再识别的跨域泛化能力。

(3)仅在基础网络中添加实例归一化会导致部分行人相关的特征也被去除，通过在基础网络中添加批量归一化可以保留行人个体之间的判别信息，进一步的提升行人再识别的跨域泛化能力。

附图说明

图1为本发明的行人再识别方法流程图。

具体实施方式

下面结合附图对本发明作进一步详细描述。

本发明所提出的一种基于域无关前景特征学习的行人再识别模型构建方法，包含基于前景表示学习的行人再识别方法和基于域无关特征学习的行人再识别方法。主要包括获得行人前景图像、在网络中添加实例归一化和批量归一化学习域无关信息、使用交叉熵损失函数约束模型训练、计算待检索图像和数据库中图像的距离、根据距离度量相似度并输出与待检索图像最相似的m张图像。

下面结合附图，对本发明的一些示范性实施例加以说明。

根据本发明的实例，提出一种基于域无关前景特征学习的行人再识别模型构建方法，以提高行人再识别的跨域泛化性能。结合图1所示，该方法的实现大致包括以下5个步骤：

步骤A1，利用行人图像和语义标签训练行人语义分割模型，在行人语义分割模型的训练过程中不断根据自我学习，更新标签，输出行人语义分割模型。

步骤A2，将多个摄像头下采集到的行人图像输入到步骤A1中获得的行人语义分割模型中以获得行人掩模图像。

步骤A3，将行人掩模图像和对应的行人图像进行点乘，获得行人前景图像。

步骤A4，在基础网络的浅层添加实例归一化，深层添加批量归一化设计一种具有跨域泛化能力的深度神经网络。

步骤A5，将步骤A3中获得的行人前景图像训练输入到步骤A4中设计的具有跨域泛化能力的深度神经网络中，并输出训练好的具有跨域泛化性能的行人再识别模型。

步骤A6，将待检索图像和数据库中图像输入到A5中获得的具有跨域泛化性能的行人再识别模型中提取行人特征，计算特征之间的距离以度量其相似度。

本发明使用行人语义分割获得行人掩模图像，在行人语义分割时，将行人图像和背景两部分，行人部分又分为头部、身体躯干、大臂、小臂、大腿、小腿6个部分。

上述方法中，所述步骤A1的具体步骤为：将行人图像和对应的标签输入到行人语义分割网络中，在语义分割模型训练过程中不断根据自我学习更新标签和权重，获得行人语义分割模型。

上述方法中，所述A2中的具体步骤为，将行人再识别数据集输入到步骤A1中的行人语义分割模型中，根据模型学习到的信息进行行人语义分割，将行人分为头部、身体躯干、大臂、小臂、大腿、小腿六个部分，将所获得的掩模图像保存。

上述方法中，所述A3中的具体步骤为，将A2中获得的掩模图像二值化，并将二值化后的图像与对应的行人图像进行点乘，获得背景为黑色的行人前景图像。

上述方法中，所述A4中的具体步骤为，

1)在基础网络的浅层中添加实例归一化，实例归一化可以去除图像上风格相关的特征，增强网络的跨域泛化能力。所述实例归一化的公式为：

上述公式中的F为行人前景图像经过深度神经网络提取出的特征，F∈R^N×C×H×W,N这个批次中的图像数量，C为通道数，H×W为图像的大小。沿着通道计算每张图像的均值μ和标准差σ，γ为缩放变量，β为平移变量。

2)在基础网络的深层中添加批量归一化，批量归一化可以学习行人个体之间的差异。所述批量归一化的公式为：

上述公式中的x_n为这个批次中的第n张图像，n∈1,2,3,…,N，N为这个批次的图像数量。对第n张图像经过深度神经网络提取出的特征进行池化得到f(x_n)，f(x_n)∈R^N×C×1×1，C为通道数。按通道计算每个批次的均值μ和标准差σ，γ为缩放变量，β为平移变量。

上述方法中，所述A5的具体步骤为：

1)将行人前景图像输入到步骤A4中设计的具有跨域泛化性能的行人再识别网络中。

2)所述行人再识别网络的损失函数，其构建方法具体为：使用交叉熵作为损失函数。

利用上述方法构建的具有跨域泛化性能的行人再识别模型进行行人再识别的具体步骤如下：

步骤B1，输入行人图像。

步骤B2，利用A1中提到的行人语义分割算法进行行人语义分割，获得行人前景掩模图像。

步骤B3，利用B2中获得的掩模图像获取行人前景图像。

步骤B4，利用A3提到的具有跨域泛化能力的行人再识别网络提取步骤B3中的行人前景图像的特征。

步骤B5，利用损失函数对模型进行约束训练，输出具有跨域泛化能力的行人再识别模型。

步骤B6，利用步骤B5中输出的具有跨域泛化能力的行人再识别模型提取待检索行人的特征和数据库中行人的特征。

步骤B7，计算步骤B6中提取到的待检索行人特征与数据库中行人特征的相似性。

步骤B8，根据步骤B7中的相似性对数据库中的图像进行排序。输出与待检索行人最相似的m张图像。

综上所述，本发明提出了一种基于域无关前景特征学习行人再识别方法。针对行人再识别数据集，由于行人背景杂乱、数据采集时间不同、遮挡等原因，存在跨域性能下降的问题，本发明使用行人语义分割算法获得行人前景数据，再设计一个基于域无关前景特征学习的深度神经网络学习行人特征。具体包括：使用行人语义分割算法获取行人前景图像，使用深度神经网络训练提取行人特征，计算行人之间的相似度，完成行人再识别。利用本发明提出的方法，可以提高行人再识别的跨域泛化性能，减少不同域间的差异造成模型性能的下降，具有较好的鲁棒性。

Claims (5)

1.一种基于域无关前景特征学习的行人再识别方法，其特征在于，包括如下步骤：

步骤(1)：利用行人图像和语义标签训练行人语义分割模型，在行人语义分割模型的训练过程中不断根据自我学习更新标签，输出更新标签后的行人语义分割模型；

步骤(2)：将多个摄像头下采集到的行人图像输入到步骤(1)中获得的行人语义分割模型中获得行人掩模图像；

步骤(3)：将行人掩模图像二值化后和对应的行人图像进行点乘，获得行人前景图像；

步骤(4)：在基础网络的浅层添加实例归一化，深层添加批量归一化设计一种具有跨域泛化能力的深度神经网络；

步骤(5)：将步骤(3)中获得的行人前景图像输入到步骤(4)中的具有跨域泛化能力的深度神经网络中，并输出训练好的具有跨域泛化性能的行人再识别模型；

步骤(6)：将待检索图像和数据库中图像输入到步骤(5)中获得的行人再识别模型中提取行人特征，计算特征之间的距离以度量其相似度。

2.根据权利要求1所述的方法，其特征在于，所述步骤(1)中的行人语义分割模型在进行语义分割时，将行人图像分为行人部分和背景部分，行人部分分为头部、身体躯干、大臂、小臂、大腿、小腿6个部分。

3.根据权利要求2所述的方法，其特征在于，所述步骤(4)具体为：

步骤(4-1)：在基础网络的浅层中添加实例归一化，从而去除图像上风格相关的特征，实例归一化的公式为：

上述公式中的F为行人前景图像经过深度神经网络提取出的特征，F∈R^N×C×H×W，N为这个批次中的图像数量，C为通道数，H×W为图像的大小；沿着通道计算每张图像的均值μ和标准差σ，γ为缩放变量，β为平移变量；

步骤(4-2)：在基础网络的深层中添加批量归一化，从而学习行人个体之间的差异，批量归一化的公式为：

上述公式中的x_n为这个批次中的第n张图像，n∈1,2,3,…,N，N为这个批次的图像数量，对第n张图像经过深度神经网络提取出的特征进行池化得到f(x_n)，f(x_n)∈R^N×C×1×1，C为通道数，按通道计算每个批次的均值μ和标准差σ，γ为缩放变量，β为平移变量。

4.根据权利要求3所述的方法，其特征在于，步骤(4)中以残差网络为基础网络，则在基础网络的conv2，conv3，conv4中的最后一个残差块中添加实例归一化；残差块依次包含1×1的卷积，批量归一化，3×3的卷积，批量归一化，1×1的卷积，批量归一化，实例归一化，ReLU激活函数。在基础网络的conv5后添加批量归一化，其结构为池化层、批量归一化、全连接层。

5.根据权利要求3所述的方法，其特征在于，所述步骤(4)中的具有跨域泛化能力的深度神经网络的损失函数，其构建方法具体为：使用交叉熵损失作为分类损失函数，交叉熵描述了两个概率之间的分布。

Images