CN111401132B - 监控场景下高层语义指导的行人属性识别方法 - Google Patents

Abstract

一种监控场景下属性层次关系指导的行人属性识别方法，包括：根据行人属性的层次特性及不同层次属性间的关系改进网络结构，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；根据行人属性的位置约束改进网络结构，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；选用加权交叉熵损失函数，以各属性的正样本比例作为权重系数；把训练集输入改进后的卷积神经网络，得出行人属性识别模型；将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估；本方法可分析更深层次的行人属性，更好挖掘属性的层次关系以及位置约束，使属性识别结果更全面和准确。

Description

监控场景下高层语义指导的行人属性识别方法

技术领域

本发明涉及模式识别技术、计算机视觉技术等领域，具体的说，是监控场景下高层语义指导的行人属性识别方法。

背景技术

近年来，随着模式识别和计算机视觉的发展，目标识别技术得到了很大的发展，并且在安防领域实现了大量的应用。安防人员通过分布在城市各个角落的监控摄像头，维护着城市安全。如果发生了突发事故，要从海量的监控图像中寻找到需要的信息，必然会损耗大量的人力物力。摄像头监控的主要目标是行人，如果可以实现对行人属性有效的识别，会给监控视频检索工作带来很大的便利。由于这种需求，越来越多的研究人员开始研究行人属性识别。

行人属性识别的一种传统识别算法为人工神经网络，它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型。基于人工神经网络的训练算法为反向传播算法，它使得网络模型经过对大量训练样本进行学习的过程能够获得统计规律，从而对未知事件做出预测。人工神经网络优点在于具有较强的非线性映射能力、自学习和自适应能力、泛化能力和一定的容错能力，但是存在以下缺点，在行人识别样本训练时收敛速度慢，且其训练过程为监督过程，而对训练样本的标注即费时又费力，并且视频行人识别涉及到大量数据的计算和分析，外加一些环境因素的干扰，传统行人属性识别算法无法提取到图像的优越特征，导致识别率有限。

在监控场景下，摄像头远距离拍摄行人，造成图片的分辨率较低，大部分图片很模糊，再加上光照变化(白天和夜晚)，监控摄像头不同拍摄角度行人姿态的不同变化，现实生活中物体的遮挡等，造成行人是否佩戴眼镜等细粒度的属性很难识别出来，给研究工作带来了极大的挑战性。

行人属性识别任务起初采用具有参数共享的卷积神经网络，该方法将行人属性识别视作一项多标签分类问题来处理。在次基础上，卷积神经网络不同层的特征被级联起来作为最终输入属性分类器的特征，以此达到结合全局和局部特征的目的。由于这种做法忽略了不同的特征表示之间的相关性，因此通常会产生冗余的特征并带来较大的计算开销。此后，一种基于深度学习的单属性识别模型被提出，该模型逐个识别每种属性，然后引入统一的多属性联合学习模型来同时学习所有属性，其中每种属性的训练学习都会对其他属性的特征表示产生影响，以此达到学习属性间依赖关系的目的。尽管这些方法能够学习属性之间的依赖性，但是网络中并没有特定的结构单元来显示地表示这种关系，并且都忽略了属性的层次化特性。此外，当前研究者通过卷积姿态网络检测得到的人体关键点生成行人的不同身体部件，从而基于每个身体部件进行相应的行人属性识别，以此到达探究属性与位置之间关系的目的。早期的基于深度特征的行人属性识别方法通常独立地对每种属性进行识别，由于每种属性具有不同的表现特性和抽象级别，并且在识别时更加倾向于提取特定的信息，因此，这些方法的识别性能往往受到限制。后期的方法通过挖掘属性之间的简单关系以及属性与位置之间的关系来提高行人属性识别的性能，然而，这些方法都忽略了属性的层次化特性。

目前，行人属性识别主要研究于自然场景和监控场景。自然场景下的研究已经在人脸识别和属性识别取得了很大的成果，然而在监控场景下，由于图像模糊、分辨率差、姿态差异大、光照变化大，研究起来更加具有挑战性。

发明内容

根据本发明的一个方面，提供了一种监控场景下高层语义指导的行人属性识别方法，其特征在于包括：

S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；

S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；

S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；

S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；

其中：

所述步骤S1)包括：

S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；

S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；

S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率，

所述步骤S2)包括：

S2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；

S2.2)网络的低层特征包含有更多的颜色、纹理等细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；

S2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；

S2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。

附图说明

图1为根据本发明的网络结构图。

图2为行人属性分层示意图。

图3为行人属性位置约束示意图。

具体实施方式

本发明的目的在于提供一种高层语义指导的行人属性识别方法，可以分析更深层次的行人属性，更好的挖掘属性的层次关系以及位置约束，使属性识别结果更加全面和准确。

本发明通过下述技术方案实现：监控场景下高层语义指导的行人属性识别方法，包括以下步骤：

S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；

S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；

S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；

S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；

S5)将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤S1)遵循以下原则：

S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；

S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；

S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤S2)遵循以下原则：

S2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；

S2.2)网络的低层特征包含有更多的颜色、纹理等细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；

S2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；

S2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤S3)中的损失函数为：

其中，y和

分别代表真实的和预测的属性分类结果，c代表属性编号，w_c代表属性c在训练集中正样本所占的比例，σ()为Sigmoid激活函数,log()为对数函数。

进一步的为更好地实现本发明，特别采用下述设置方式：所述步骤S4)包括以下具体步骤：

S4.1)采用以初始学习率为0.001、指数式衰减学习率的随机梯度下降优化器和256的数据批次大小进行迭代训练；

S4.2)将输入图像的大小统一调整为224×224，然后应用随机旋转，随机调整大小和随机水平翻转等步骤进行图像增强方式来构建一个数据批次；

S4.3)设置最大迭代次数，在最大迭代次数下，不断迭代学习，直到损失函数值不再下降，行人属性识别模型收敛，保存行人外观属性识别模型参数；

S4.4)完成训练，得到最终的行人外观属性识别模型。

本发明在两个公开行人属性数据集上做训练和测试，训测试识别精度高，速度快，在现实生活中有切合实际的用途。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明采用分层次的卷积神经网络结构，可以分析不同层次的行人属性特征；

(2)本发明采用全连接层学习不同层次属性间的关系，挖掘属性的层次特性以及不同层次属性之间的关系，使属性识别结果更加全面和准确；

(3)本发明采用空间维度和通道维度的注意力机制学习属性对不同身体部位位置的注意力权重，挖掘属性的位置约束，使属性识别结果更加全面和准确；

(4)本发明采用交叉熵损失来处理属性间的不平衡问题；

(5)本发明设计监控场景下属性高层语义指导的行人属性识别方法，解决现有基于深度学习的行人属性识别方法在监控场景下易受光照、遮挡、目标姿态变化和图像清晰度等因素影响，泛化能力较差的问题，能够实现目标监控场景下的行人属性准确识别，并且只需要极少的目标场景数据即可实现。

以下结合附图对本发明实施例作详细说明。

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

S1)如图1，根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系：

S1.1)如图2，按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于颜色、纹理等表观细节描述，中层属性关注于衣物、发型、配饰以及携带物等既包含语义信息又包含表观信息的属性描述，高层属性关注于性别、年龄等抽象语义描述；

S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；

S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率。

S2)如图1，根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位：

S2.1)如图3，对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；

S2.2)网络的低层特征包含有更多的颜色、纹理等细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；

S2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；

S2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。

S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数：

其中，y和

分别代表真实的和预测的属性分类结果，c代表属性编号，w_c代表属性c在训练集中正样本所占的比例，σ()为Sigmoid激活函数,log()为对数函数。

S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型：

S4.1)采用以初始学习率为0.001、指数式衰减学习率的随机梯度下降优化器和256的数据批次大小进行迭代训练；

S4.2)将输入图像的大小统一调整为224×224，然后应用随机旋转，随机调整大小和随机水平翻转等步骤进行图像增强方式来构建一个数据批次；

S4.3)设置最大迭代次数，在最大迭代次数下，不断迭代学习，直到损失函数值不再下降，行人属性识别模型收敛，保存行人外观属性识别模型参数；

S4.4)完成训练，得到最终的行人外观属性识别模型。

以上公开的仅为本发明的具体实施例。在不脱离本发明的权利要求范围的前提下，本领域的技术人员，根据本发明提供的基本技术构思，能够进行各种相应的变化、修正。

Claims (3)

1.监控场景下高层语义指导的行人属性识别方法，其特征在于包括以下步骤：

S1)根据行人属性的层次特性以及不同层次属性间的关系对网络结构进行改进，分层次进行属性识别并引入全连接层来学习不同层次属性间的关系；

S2)根据行人属性的位置约束对网络结构进行改进，引入注意力机制，分别从空间域和通道域两个维度来学习注意力权重，使网络更加关注特定的身体部位；

S3)选用加权交叉熵损失函数，以各个属性的正样本比例作为权重系数；

S4)把训练集输入改进后的卷积神经网络，得出行人属性识别模型；

S5)将测试集输入到行人属性识别模型中进行识别，对行人属性识别模型的实验结果进行评估，

其中：

所述步骤S1)包括：

S1.1)按照行人属性所处的语义抽象级别将行人属性分为低层属性、中层属性和高层属性，其中，低层属性关注于包括颜色、纹理的表观细节描述，中层属性关注于包括衣物、发型、配饰以及携带物的既包含语义信息又包含表观信息的属性描述，高层属性关注于包括性别、年龄的抽象语义描述；

S1.2)在GoogLeNet中选取Inception4a/output、Inception4d/output和Inception5b/output三层的特征图用于三个不同层次的属性识别任务；

S1.3)通过将低层以及中层属性的识别概率分数连接起来得到在进行高层属性识别时的先验概率，然后将其作为全连接层的输入，全连接层的输出为以此为先验的情况下得到的高层属性识别的后验概率，

所述步骤S2)包括：

S2.1)对行人属性数据集中的标注属性进行分类，将所有的属性分为全局属性和局部属性，其中局部属性又分为头部、上身、腰间、下身以及脚部五个区域部位相关的属性；

S2.2)网络的低层特征包含有更多的包括颜色、纹理的细节信息，特征图的通道数量较少且空间分辨率较高，所以引入空间注意力机制对特征图进行重标定，进而实现对不同位置约束下的低层属性的实现；

S2.3)高层特征具有更高的抽象级别和可判别性，特征图的通道数量较多且空间分辨率较低，所以引入通道注意力机制对特征图进行重标定，进而实现对不同位置约束下的高层属性的识别；

S2.4)由于中层属性的识别既依赖于表观细节信息又依赖于抽象语义信息，介于低层属性和高层属性之间，所以引入双重注意力机制学习注意力权重，进而实现对不同位置约束下的中层属性的识别。

2.根据权利要求1所述的监控场景下高层语义指导的行人属性识别方法，其特征在于：

所述步骤S3)中的损失函数为：

其中，y和

分别代表真实的和预测的属性分类结果，c代表属性编号，w_c代表属性c在训练集中正样本所占的比例，σ()为Sigmoid激活函数,log()为对数函数。

3.根据权利要求1所述的监控场景下高层语义指导的行人属性识别方法，其特征在于：所述步骤S4)包括以下具体步骤：

S4.1)采用以初始学习率为0.001、指数式衰减学习率的随机梯度下降优化器和256的数据批次大小进行迭代训练；

S4.2)将输入图像的大小统一调整为224×224，然后应用包括随机旋转、随机调整大小和随机水平翻转的步骤进行图像增强方式来构建一个数据批次；

S4.3)设置最大迭代次数，在最大迭代次数下，不断迭代学习，直到损失函数值不再下降，行人属性识别模型收敛，保存行人外观属性识别模型参数；

S4.4)完成训练，得到最终的行人外观属性识别模型。

Images