CN109829356A - 神经网络的训练方法及基于神经网络的行人属性识别方法 - Google Patents

Abstract

本发明提供了一种神经网络的训练方法及基于神经网络的行人属性识别方法，该识别方法包括：获取待识别的目标行人图像；对目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；将多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；其中，目标属性识别网络用于结合目标行人图像中行人的性别信息，以及目标局部图像中目标身体区域的方向信息，来识别目标行人图像中行人的全身属性，以及专属于目标身体区域的行人属性；对多组目标行人属性进行汇总处理，得到目标行人图像的多个目标行人属性。本发明能够在识别行人属性时，提升泛化能力以及识别准确度。

Description

神经网络的训练方法及基于神经网络的行人属性识别方法

技术领域

本发明涉及机器学习技术领域，特别是涉及一种神经网络的训练方法及装置、以及一种基于神经网络的行人属性识别方法及装置。

背景技术

随着监控视频的普及，如何准确有效地利用视频中的行人信息，挖掘行人相关属性具有很大的价值。

目前的行人属性识别方法主要是通过构建一个基于注意力机制的深度网络，可以将不同的属性按照图像的注意力分配规则进行学习，得到输入图像中行人的属性结果。

在训练该基于注意力机制的深层网络时，训练样本往往是同一环境背景(例如地铁闸机口)下拍摄的图片，这些图片中行人的姿态较为单一且固定，利用注意力机制来学习行人属性与行人图片中某个特定位置之间的关系，获得最终行人属性识别的结果。例如学习行人的双肩背包属性，则利用注意力机制对图像中人体的上半部分位置识别为上半身，并对上半身进行属性特征的学习，从而学习到该人体的上半部分位置与双肩背包属性之间的关系。

该训练后的深层网络只适用于上述举例的地铁闸机口环境，当应用到其他环境背景下使用时，由于行人的姿态变化较为明显，会造成属性识别错误的问题，因此，难以应用到未训练的其他环境背景下使用，泛化能力差。

因此，相关技术中的行人属性识别方法普遍存在着泛化能力差、行人属性识别准确度低的问题。

发明内容

本发明提供了一种神经网络的训练方法及装置、以及一种基于神经网络的行人属性识别方法及装置，以解决相关技术中的行人属性识别方法所存在的泛化能力差、行人属性识别准确度低的问题。

为了解决上述问题，根据本发明的一个方面，本发明公开了一种神经网络的训练方法，包括：

获取训练样本集，所述训练样本集包括多个行人图像样本；

对所述训练样本集中的任意一个行人图像样本作身体区域分割，获取与不同身体区域对应的多个局部图像样本，其中，每个局部图像样本标注有行人属性信息；

识别每个局部图像样本中身体区域所处的方向信息；

检测所述行人图像样本的性别信息；

根据所述训练样本集中任意一个行人图像样本的所述多个局部图像样本、每个局部图像样本的所述方向信息、所述行人图像样本的所述性别信息，以及每个局部图像样本上标注的行人属性信息，对多个属性识别网络分别作行人属性特征的学习和训练，得到与不同身体区域对应的多个属性识别网络；

其中，经过训练后的每个属性识别网络用于结合待识别图像中行人的性别信息，以及所述待识别图像中每个局部图像对应的身体区域的方向信息，来识别所述待识别图像中行人的全身属性，以及专属于每个所述身体区域的行人属性。

根据本发明的又一个方面，本发明公开了一种基于神经网络的行人属性识别方法，包括：

获取待识别的目标行人图像；

对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。

根据本发明的另一方面，本发明还公开了一种基于神经网络的行人属性识别装置，包括：

获取模块，用于获取待识别的目标行人图像；

分割模块，用于对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

输入模块，用于将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

汇总模块，用于对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。

根据本发明的再一方面，本发明还公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络的训练程序，所述神经网络的训练程序被所述处理器执行时实现如上述任一项所述的神经网络的训练方法的步骤。

根据本发明的又一方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有神经网络的训练程序，所述神经网络的训练程序被处理器执行时实现如上述任一项所述的神经网络的训练方法中的步骤。

根据本发明的再一方面，本发明还公开了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于神经网络的行人属性识别程序，所述基于神经网络的行人属性识别程序被所述处理器执行时实现如上述任一项所述的基于神经网络的行人属性识别方法的步骤。

根据本发明的又一方面，本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于神经网络的行人属性识别程序，所述基于神经网络的行人属性识别程序被处理器执行时实现如上述任一项所述的基于神经网络的行人属性识别方法中的步骤。

与现有技术相比，本发明包括以下优点：

本发明实施例在对目标行人图像划分为多个局部图像时，能够基于身体区域而灵活地分割出多个局部图像，与人物的背景、场景无关，使得本发明实施例的属性识别方法可以应用到各种场景中使用，提升了泛化能力；此外，各个属性识别网络在进行行人属性的识别时结合了各个身体区域的方向信息以及目标行人图像的性别信息，或者，只结合方向信息，从而可以提升识别行人属性的准确度。

附图说明

图1是本发明的一种基于神经网络的行人属性识别系统实施例的结构框图；

图2是本发明的一种属性识别模块实施例的结构框图；

图3是本发明的一种神经网络的训练方法实施例的步骤流程图；

图4是本发明的一个行人图像的身体区域分割实施例的示意图

图5是本发明的一种基于神经网络的行人属性识别方法实施例的步骤流程图；

图6是本发明的一种神经网络的训练装置实施例的结构框图；

图7是本发明的一种基于神经网络的行人属性识别装置实施例的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明的一种基于神经网络的行人属性识别系统实施例的结构框图。

该行人属性识别系统可以包括性别预测模块、人体区域划分模块、三个属性识别模块以及属性汇总处理模块。其中，性别预测模块，用于对输入的行人图像识别行人的性别，输出识别到的性别信息；

人体区域划分模块，用于对输入的行人图像进行人体区域的划分，可以得到头肩部局部图像、上半身局部图像和下半身局部图像，此外，还可以获取每个局部图像的方向信息。其中，本实施例的方向信息可以包括正面、背面、左侧面、右侧面。

三个属性识别模块分别为图1所示的属性识别模块1、属性识别模块2和属性识别模块3；

属性识别模块1，用于根据行人图像的性别信息(这里来自性别预测模块)、头肩部局部图像以及头肩部方向(这里来自人体区域划分模块)，来预测头肩部局部图像中的头肩部属性以及全身属性；

同理，属性识别模块2和属性识别模块3分别对应上半身局部图像和下半身局部图像。

属性汇总模块，用于对上述三个属性识别模块识别到的属性进行汇总处理，将汇总后的行人属性输出。

这里的头肩部属性、上半身属性、下半身属性以及全身属性均属于行人属性，行人属性包括但不限于长发、短发、头发颜色、穿裙子、穿裤子、裙子纹理(颜色)等属性、鞋子样式、戴眼镜、背包、手里提东西等等。其中，全身属性可以包括高、矮、胖、瘦。

借助于本发明实施例的上述基于神经网络的行人属性识别系统，可以利用人体区域划分模块根据行人图像中各个部件(上半身、下半身、头肩部)的实际位置来灵活准确的确定各个部件的局部图像，此外，还可以识别各个部件的局部图像中各个部件的方向信息，而性别预测模块则可以较为准确的预测行人图像中行人的性别，使得本发明实施例的三个属性识别模块可以利用上述信息分别进行不同方向的专有行人属性的预测，以及全身属性的预测，最后，对三个属性识别模块预测的属性进行汇总，得到该行人图像中的各个行人属性。由于识别的各个部件的局部图像是根据图像中各个部件的实际位置而灵活确定，而不是死板的将学习到的某个位置认为是某个部件，因此，提升了系统的泛化能力；并且，在识别行人属性时，结合了性别信息和各个部件的方向信息，从而可以对依据图像而识别到的行人属性进行校正，提升了识别到的行人属性的准确率。

参照图2，示出了本发明图1实施例中的一个属性识别模块实施例的结构框图。

由于上述系统中的每个属性识别模块的结构和执行原理都是类似，因此，这里以图2所示的属性识别模块1为例，来对本发明实施例系统中的属性识别模块作简要介绍。

如图2所示，属性识别模块1可以包括M层卷积(Inception)层、N层卷积层、四个方向支路网络(分别为正面支路、左侧面支路、右侧面支路、背面支路)、性别预测器、方向预测器。

其中，性别预测器和方向预测器均为行人属性识别模块中的可选模块；

四个方向支路网络的原理是类似的，分别用于对输入的局部图像进行专属于正面、左侧面、右侧面、背面的行人属性以及全身属性进行预测。

当输入至行人属性识别模块1的数据只包括局部图像(这里为头肩部局部图像)，而不包括性别信息和头肩部的方向信息时，该系统包括性别预测器，用于对输入的局部图像预测行人的性别信息，还可以包括方向预测器，用于对输入的局部图像预测头肩部区域所属于的方向(具体包括头肩部区域属于正面、左侧面、右侧面、背面四个方向的四个概率)；以正面支路为例，正面支路用于根据来自卷积层的局部图像特征、来自性别预测器的性别信息、来自方向预测器预测的属于正面的概率，来预测该行人图像包括哪些专属于正面的头肩部的行人属性(例如眼镜、围巾、帽子等)。

最后，四个方向支路预测的行人属性汇总后，得到该行人属性识别模块1预测到的该行人图像中包括哪些专属于头肩部的行人属性。

参照图3，示出了本发明的一种神经网络的训练方法实施例的步骤流程图，本实施例的方法具体描述了如何对上述系统实施例中的每个属性识别模块进行训练，该训练过程具体可以包括如下步骤：

步骤101，获取训练样本集；

其中，所述训练样本集包括多个行人图像样本。

每个行人图像样本均为包括行人的图像，此外，本发明对于行人图像样本所处的环境、背景并不做限制。

步骤102，对所述训练样本集中的任意一个行人图像样本作身体区域分割，获取与不同身体区域对应的多个局部图像样本；

其中，可以对每个局部图像样本进行行人属性的标注，使得每个局部图像样本均标注有该身体区域具有的行人属性信息。在一个示例中，可以将训练样本集中的行人图像样本输入到如图1所示的人体区域划分模块，人体区域划分模块可以对行人图像样本作身体区域分割，从而获取到与不同身体区域对应的多个局部图像样本。在图1和图2实施例中，将一个行人图像(样本)进行身体区域分割时，会分割为头肩部局部图像、上半身局部图像和下半身局部图像，因此，本实施例的不同身体区域可以包括头肩部区域、上半身区域和下半身区域。但是，在其他实施例中，在进行身体区域划分时，也并不限制为这三个身体区域，可以更加细致的划分，但是需要说明的是，划分得到的不同身体区域的局部图像的数量与属性识别模块的数量是相同的，即每个属性识别模块用于对一个身体区域的局部图像作专属于该身体区域的行人属性的识别。

另外，需要说明的是，对于分割得到的任意一个身体区域的局部图像样本而言，该局部图像样本可以为包含该身体区域的预设形状(例如矩形)的区域，并非是沿某个身体区域的轮廓而分割的局部图像，而是包含背景的局部图像。例如如图4所示，图4示出了一个原始图像的身体区域分割示意图，在对其进行身体区域划分时，可以按照头肩部、上半身、下半身三个身体区域，而按照虚线进行划分，得到三个局部图像，分别为对应头肩部的局部图像41、对应上半身的局部图像42和对应下半身的局部图像43。因此，每个局部图像都是一个矩形区域，并非是按照身体区域的轮廓而划分的局部图像。由于行人属性覆盖的区域往往会除了包括身体区域，还包括背景区域，因此，利用依据这种方式划分得到的局部图像(样本)，可以较为准确的识别各个身体区域的行人属性。

可选地，在执行步骤102时，则可以通过以下步骤S21和S22来实现：

S21，对所述训练样本集中的任意一个行人图像样本，检测预设人体骨骼关键点的坐标信息；

在一个示例中，如图1所示的人体区域划分模块可以对输入的行人图像样本检测预设人体骨骼关键点(包括但不限于右肩、右肘、右腕、右髋、右膝、右踝、左肩、左肘、左腕、左髋、左膝、左踝、头顶和脖子)的坐标信息。

S22，根据所述预设人体骨骼关键点的坐标信息，按照预设身体区域分割条件，对所述行人图像样本作身体区域分割，获取与不同身体区域对应的多个局部图像样本。

其中，人体区域划分模块预先定义了身体区域分割条件，该身体区域分割条件包括：条件1，识别左肩、脖子、右肩这三个关键点中和头顶关键点距离最远的目标关键点，将该目标关键点与头顶关键点之间的纵向区域划分为头肩部局部图像；条件2，识别左肩、脖子、右肩这三个关键点，与左腕、右腕、左髋、右髋这四个关键点之间距离最远的两个关键点，将这两个关键点之间的纵向区域划分为上半身局部图像；条件3，识别左髋、右髋这两个关键点中距离行人图像底部最远的目标关键点，将该目标关键点与行人图像底部之间的纵向区域划分为下半身局部图像。

那么人体区域划分模块依据识别到的预设人体骨骼关键点的坐标信息，再按照上述身体区域分割条件，就可以对所述行人图像样本作身体区域分割，从而获取到与不同身体区域对应的多个局部图像样本，这里包括头肩部局部图像样本、上半身局部图像样本和下半身局部图像样本。

这样，本发明实施例通过对图像进行预设人体骨骼关键点的坐标识别，并按照预设身体区域分割条件来灵活的确定图像中各个身体区域的位置，使得每次确定的身体区域都是根据场景而灵活确定的，识别到的身体区域更加准确，相较于相关技术中死板的将学习到某个场景下的某个身体位置认为是上半身区域的方法，本发明实施例的方法，即便行人图像中行人的姿态发生变化，或场景发生变化后，仍旧可以灵活准确的识别到不同身体区域的所在位置，并非固定的将某个区域认定为上半身，使得本发明训练后的行人属性识别方法可以应用到各种场景，提升了行人属性识别的泛化能力。

步骤103，识别每个局部图像样本中身体区域所处的方向信息；

其中，本发明可以预先配置待识别的方向，例如正面、左侧面、右侧面和背面，因此，这里识别到的方向可以选自上述预先设置的四个方向之一。在一个示例中，如图1所示，仍旧可以由人体区域划分模块来识别每个局部图像样本中身体区域所处的方向信息。

可选地，在执行步骤103时，则可以通过以下步骤S31和S32来实现：

S31，获取局部图像样本中预设人体骨骼关键点的坐标信息，其中，所述局部图像样本为所述多个局部图像样本中的任意一个局部图像样本；

继续以上述示例举例，本发明实施例的方法将行人图像样本划分为三个局部图像样本，对于上述任意一个局部图像样本，可以获取该局部图像样本中预设人体骨骼关键点的坐标信息。例如，头肩部局部图像样本中的预设人体骨骼关键点包括左肩、脖子、右肩和头顶这四个关键点；上半身局部图像样本中的预设人体骨骼关键点可以包括左肩、脖子、右肩、左腕、右腕、左髋、右髋这些关键点；下半身局部图像样本中的预设人体骨骼关键点可以包括左髋、右髋。

S32，根据所述预设人体骨骼关键点的坐标信息之间的关系，计算所述局部图像样本中身体区域所处的方向信息。

其中，可以局部图像样本中各个预设人体骨骼关键点的坐标之间的关系，来计算该各个预设人体骨骼关键点之间的角度关系，从而可以根据该角度关系来确定该局部图像样本中的身体区域所处的朝向(即方向)。

这里确定的方向信息可以包括以下之一：正面、背面、左侧面、右侧面。这样，本发明实施例通过获取每个局部图像样本中各个预设人体骨骼关键点的坐标之间的关系，从而可以计算出该局部图像样本中的身体区域所处的方向，较为准确的识别到局部图像样本中待识别行人属性的身体区域的姿态数据，从而便于利用姿态数据(即上述方向信息)来对对应不同身体区域的属性识别模块进行训练，使得训练后的属性识别模块能够参考身体区域的姿态数据来纠正识别到的行人属性，提升行人属性的识别准确度。

在一个示例中，本发明实施例的人体区域划分模块可以是任意一种神经网络模型，预先经过训练的人体区域划分模块可以执行步骤102和步骤103。

在对人体区域划分模块进行训练时，训练数据包括多个行人图像，每个行人图像中的相应坐标位置标注有上述预设人体骨骼关键点、此外，还对每个身体区域均标注有方向信息(例如上述列举的四个方向中的任意一个)。

步骤104，检测所述行人图像样本的性别信息；

在一个示例中，如图1所示，可以利用性别预测模块来输入的行人图像样本识别图像中行人的性别信息，男性或女性。与上述人体区域划分模块类似，这里的性别预测模块也可以是预先经过训练的性别分类模型，该性别分类模型可以是任意一种神经网络模型。

步骤105，根据所述训练样本集中任意一个行人图像样本的所述多个局部图像样本、每个局部图像样本的所述方向信息、所述行人图像样本的所述性别信息，以及每个局部图像样本上标注的行人属性信息，对多个属性识别网络分别作行人属性特征的学习和训练，得到与不同身体区域对应的多个属性识别网络；

其中，经过训练后的每个属性识别网络用于结合待识别图像中行人的性别信息，以及所述待识别图像中每个局部图像对应的身体区域的方向信息，来识别所述待识别图像中行人的全身属性，以及专属于每个所述身体区域的行人属性；或者，经过训练后的每个属性识别网络用于结合所述待识别图像中每个局部图像对应的身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性。

其中，结合性别信息以及方向信息而识别的行人属性的准确率可以高于结合方向信息而识别的行人属性的准确率。

具体而言，对于任意一个行人图像样本，经过前述步骤按照身体区域的不同，划分了多个局部图像样本，例如头肩部局部图像样本、上半身局部图像样本和下半身局部图像样本，且每个身体区域的局部图像样本都具有相关信息(包括方向信息、性别信息以及标注的行人属性信息)，因此，可以利用头肩部局部图像样本及其相关信息，对一个属性识别网络进行训练，使得训练后的该属性识别网络可以对输入的头肩部局部图像识别专属于头肩部的行人属性以及全身属性；同理，可以利用上半身局部图像样本及其相关信息，对另一个属性识别网络进行训练，使得训练后的该属性识别网络可以对输入的上半身局部图像识别专属于上半身的行人属性以及全身属性；同理，可以利用下半身局部图像样本及其相关信息，对又一个属性识别网络进行训练，使得训练后的该属性识别网络可以对输入的下半身局部图像识别专属于下半身的行人属性以及全身属性。

需要说明的是，这里需要训练的多个属性识别模块的数量与划分的身体区域的数量是相同的，且每个属性识别模块对应一个身体区域。

在一个示例中，上述划分的身体区域包括三个，分别为头肩部、上半身和下半身，因此，这里训练得到了如图1所示的三个属性识别模块，分别为对应头肩部的属性识别模块1、对应上半身的属性识别模块2以及对应下半身的属性识别模块3。

本发明对于步骤102和步骤104的执行顺序不做限制。

这样，本发明实施例的模型训练过程中所使用的多个局部图像样本是基于身体区域分割而灵活确定的多个局部图像，与人物的背景、场景无关，使得本发明实施例的属性识别网络可以应用到各种场景中使用，提升了泛化能力；此外，各个属性识别网络训练过程中结合了各个身体区域的方向信息以及训练样本的性别信息，从而可以提升属性识别网络对识别到的行人属性的准确度。

可选地，在执行步骤105时，可以通过S61来实现：

S61，将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征；

其中，对于所述多个局部图像样本中输入至所述目标属性识别网络的所述目标局部图像样本，所述目标局部图像样本对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络。

具体而言，由于训练样本集中的任意一个行人图像样本都可以被划分为分别对应头肩部、上半身、下半身的三个局部图像样本，而待训练的属性识别网络的数量也是三个，且训练后分别用于识别专属于头肩部的行人属性、专属于上半身的行人属性、专属于下半身的行人属性，此外，三个属性识别网络均用于识别全身属性。

因此，为了实现上述目的，在对三个属性识别网络进行训练时，可以利用训练样本集中所有的头肩部局部图像样本来对属性识别模块1(用于识别专属于头肩部的行人属性)进行训练；利用训练样本集中所有的上半身局部图像样本来对属性识别网络2(用于识别专属于上半身的行人属性)进行训练；利用训练样本集中所有的下半身局部图像样本来对属性识别网络3(用于识别专属于下半身的行人属性)进行训练；

此外，为了提升训练后的三个属性识别网络对行人属性的识别准确度(以属性识别网络2为例)，不仅将对应上半身的局部图像样本输入到属性识别网络2，还需要输入该局部图像样本中上半身所处的朝向、局部图像样本所属的行人图像样本对应的行人性别、以及在该局部图像样本上标注的行人属性(包括上半身属性、可选地，还可以包括全身属性)来对属性识别网络进行训练，以使所述属性识别网络2学习到该行人图像样本的全身属性特征以及专属于上半身的行人属性特征；

同理，将每个上半身的局部图像样本以及性别信息、方向信息、标注的行人属性作为一组训练数据对该属性识别网络2进行多次的训练，最终使得该属性识别网络2收敛，使其学习到行人图像的全身属性特征以及专属于上半身的行人属性特征。

因此，上述目标属性识别网络可以是三个属性识别网络中的任意一个。当该目标属性识别网络为属性识别模块1时，则目标局部图像样本则是对应头肩部的局部图像样本，即目标身体区域为头肩部；同理，属性识别网络2对应上半身的局部图像样本；属性识别网络3时对应下半身的局部图像样本。

那么由于三个属性识别网络的训练过程和使用过程的原理都是相同的，因此后续实施例仅以目标属性识别网络为对应头肩部的属性识别模块1为例进行训练方法的说明，对应其他身体区域的属性识别网络的训练方法与属性识别模块1的训练方法类似，因此不再一一赘述。

这样，本发明实施例通过将训练样本集中对应不同身体区域的局部图像样本输入至不同的属性识别网络进行训练，并在训练时还输入局部图像样本的方向信息、性别信息以及标注的行人属性，使得属性识别网络可以准确地学习局部图像样本中行人属性特征以及全身属性特征，那么训练后的不同属性识别网络则可以分别用于对输入的局部图像识别专属于不同身体区域的行人属性，同时多个属性识别网络均可以对输入的局部图像识别全身属性，提升了各个属性识别网络对不同身体区域的行人属性的识别准确度。

可选地，所述目标属性识别网络可以包括对应不同方向的多个方向支路网络。如图2所示，属性识别模块1可以包括四个方向支路，即上述对应不同方向的多个方向支路网络，分别为正面支路、左侧面支路、右侧面支路、背面支路，为了对这四个方向支路网络进行训练，那么在执行S61时，可以通过S611来实现。

S611，将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向。

具体而言，四个方向支路网络的网络结构可以是相同的，以头肩部为例，头肩部这一身体区域的不同朝向可以具有专属于该朝向的不同行人属性，因此，为了提升行人属性的识别准确度，本发明实施例的任意一个属性识别网络(例如属性识别模块1)都可以包括这里列举的四个方向支路网络，训练后的这四个方向支路网络正面支路、左侧面支路、右侧面支路、背面支路分别用于识别专属于处于正面朝向的头肩部的行人属性以及全身属性、识别专属于处于左侧面朝向的头肩部的行人属性以及全身属性、识别专属于处于右侧面朝向的头肩部的行人属性以及全身属性、识别专属于处于背面朝向的头肩部的行人属性以及全身属性。

那么为了实现上述目的，这里需要对每个方向支路网络均进行训练。

如上述实施例所述，输入属性识别模块1的每组训练数据包括一个行人图像样本的头肩部局部图像样本、头肩部局部图像样本中头肩部所处的方向(例如一组训练数据的方向为左侧面)、该行人图像样本的行人性别、该头肩部局部图像样本上标注的行人属性信息，那么可以将该组训练数据输入至属性识别模块1，如图2所示，将上述训练数据分发给四个方向支路网络，使得每个方向支路网络的输入数据都包括上述一组训练数据，由于该组训练数据中的方向信息为左侧面，因此，该组训练数据对左侧面支路而言相当于正样本，而对其他三个方向的支路而言则相当于负样本。而不同组训练数据的方向信息之间可以相同以及不同，因此，对每个方向支路网络而言，其在训练过程中都包括了正样本以及负样本，通过对四个方向支路网络的同时训练，可以使每个方向支路网络学习到行人图像的全身属性特征以及专属于某个方向的头肩部的行人属性特征。

例如，属性识别模块1的正面支路可以学习到行人图像的全身属性特征以及专属于处于正面的头肩部的行人属性特征；属性识别模块1的左侧面支路可以学习到行人图像的全身属性特征以及专属于处于左侧面的头肩部的行人属性特征；属性识别模块1的右侧面支路可以学习到行人图像的全身属性特征以及专属于处于右侧面的头肩部的行人属性特征；属性识别模块1的背面支路可以学习到行人图像的全身属性特征以及专属于处于背面的头肩部的行人属性特征。

因此，上述目标方向支路网络可以是图2所示的四个方向支路网络中的任意一个方向支路网络。

另外，需要说明的是，由于前述实施例在对局部图像样本中身体区域所处的方向信息进行识别时，预先配置了识别范围为正面、背面、左侧面和右侧面，因此，这里的方向支路网络才是对应上述四个方向的四个支路网络。

在其他实施例中，当需要配置属性识别网络识别处于更细化的方向的身体区域的行人属性时，则可以预先配置更加细化的方向，而方向支路网络的数量和对应的方向也不限于上述列举的四种。

这样，本发明实施例通过在每个属性识别网络中均配置多个方向支路网络，并利用局部图像样本、标注的行人属性信息、性别信息以及该局部图像样本中身体区域所处的方向信息，来分别对多个方向支路网络进行该局部图像中身体区域所处不同方向时的行人属性特征进行学习，使得训练后的多个方向支路网络能够分别用于对同一个身体区域的局部图像进行不同姿态的行人属性的识别，使得各个方向支路网络可以学习专属于处于不同方向的身体区域的行人属性特征，提升行人属性的识别准确度。

可选地，如图2所示，对于任意一个属性识别网络而言，还可以包括多个卷积层(例如M层卷积层和N层卷积层)，那么在执行S611时，则可以将所述训练样本集中任意一个行人图像样本的目标局部图像样本，输入至目标属性识别网络的多个卷积层，提取目标局部图像特征；然后，将该目标局部图像特征、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

可选地，在上述S611实施例的基础上，所述目标属性识别网络还可以包括方向分类网络。在一个示例中，以目标属性识别网络为属性识别模块1为例进行说明，如图2所示，属性识别模块1还可以包括方向预测器，图2所示的方向预测器为经过训练的上述方向分类网络。

那么在执行S61时，不仅可以包括S611，还可以包括S612～S614。

也就是说，在训练属性识别网络时，不仅需要采用上述S611实施例的方法来训练每个属性识别网络的多个方向支路网络，还需要训练方向分类网络。这里的S612～S614介绍了如何训练方向分类网络，得到图2所示的方向预测器。需要说明的是，这里训练方向分类网络的目标为使得方向分类网络可以对输入的一个局部图像识别该局部图像中的身体区域所处的方向。具体训练过程可以参考S612～S614：

S612，将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息，输入至所述方向分类网络，以使所述方向分类网络学习所述目标身体区域的方向信息；

以目标属性识别网络为属性识别模块1为例进行说明，在训练该属性识别模块1时，不仅需要将训练样本集中的头肩部局部图像样本以及该头肩部局部图像样本中头肩部所处的方向信息(这里的方向为一个方向，由上述实施例的人体区域划分模块给出的)输入到如图2所示的四个方向支路网络，来对四个方向支路网络进行训练，还需要将头肩部局部图像样本以及该头肩部局部图像样本中头肩部所处的方向信息输入至如图2所示的方向预测器(实际为训练前的方向分类网络)来对该方向分类网络进行训练，其中，这里的方向信息相当于标注信息，以使所述方向分类网络学习各个头肩部局部图像样本中头肩部所处的方向特征，进而使得如图2所示的训练后的方向分类网络，即方向预测器，可以对输入的任意一个头肩部局部图像预测该图像中头肩部所处的方向。

如图2所示的训练后的方向预测器可以对输入的任意一个头肩部局部图像预测头肩部区域所处的方向，输出结果为四个方向的概率，例如头肩部处于正面的概率为P1，左侧面的概率为P2，右侧面的概率为P3，背面的概率为P4。其中，四个概率中最高的概率为最有可能的头肩部所处的方向。

由于人体区域划分模块预测的身体区域所处的方向是准确的，因此，可以利用人体区域划分模块给出的准确方向来指导每个属性识别网络中方向预测器的训练。

那么通过在属性识别网络中设置方向分类网络，并对其进行训练，使得在使用属性识别网络进行行人属性的预测时，只需要输入对应身体区域的局部图像和性别信息，而无需输入方向信息，从而提升对行人属性的识别效率。

可选地，为了进一步提升如图2所示的四个方向支路网络对识别到的行人属性的准确度，还可以包括S613和S614，即利用训练后的方向预测器给出的预测结果来进一步对四个方向支路网络的参数进行调整。

S613，获取经过训练后的所述方向分类网络对输入的任意一个局部图像样本所识别到的多个方向预测结果；

这里的多个方向预测结果即为上述列举的对头肩部局部图像样本预测的头肩部所处的方向的四种概率P1～P4。

S614，将所述多个方向预测结果中目标方向预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

其中，目标方向预测结果即预测身体区域处于目标方向的概率。当目标方向为正面时，则将概率P1输入到正面支路；当目标方向为左侧面时，则将概率P2输入左侧面支路；当目标方向为右侧面时，则将概率P3输入右侧面支路；当目标方向为背面时，则将概率P4输入背面支路。

由于目标方向可以为上述四个方向中的任意一个方向，因此，方向预测器预测出的每个方向预测结果均输入到对应方向的方向支路网络中，从而可以使四个方向支路网络结合方向预测器给出的方向预测结果进一步作网络中参数的调节，提升训练后的四个方向支路网络对各个方向的行人属性的识别准确度。

此外，如图2所示，每个属性识别网络可以包括M层卷积层，局部图像样本以及方向信息经过M层卷积层后，得到图像特征以及方向信息，该图像特征以及方向信息可以输入到方向分类网络来对其进行训练，得到方向预测器。

需要说明的是，属性识别网络中的各个网络结构只是对图像进行特征提取和学习，并不会对各种文本信息(例如方向信息、性别信息、标注的行人属性信息)进行处理，这些文本信息用于辅助各个网络结构的训练。

可选地，在上述S611实施例的基础上，所述目标属性识别网络不仅可以包括方向分类网络，还可以包括性别分类网络。那么在执行S61时，不仅可以包括S611、S612～S614，还可以包括S615～S616。

S615，将所述目标局部图像特征、所述行人图像样本的性别信息，输入至所述性别分类网络，以使所述性别分类网络学习所述目标身体区域对应的行人的性别信息；

以目标属性识别网络为属性识别模块1为例进行说明，在训练该属性识别模块1时，不仅需要将训练样本集中的头肩部局部图像样本以及该头肩部局部图像样本中头肩部所处的方向信息输入到如图2所示的四个方向支路网络，来对四个方向支路网络进行训练，还需要将头肩部局部图像样本以及该头肩部局部图像样本所属的行人图像样本的性别信息(这里的性别信息为一个性别，男性或女性，由上述实施例的性别预测模块给出的)输入至如图2所示的性别预测器(实际为训练前的性别分类网络)来对该性别分类网络进行训练，其中，这里的性别信息相当于标注信息，以使所述性别分类网络学习各个头肩部局部图像样本中头肩部的性别信息，进而使得如图2所示的训练后的性别分类网络，即性别预测器，可以对输入的任意一个头肩部局部图像预测该图像中头肩部对应的行人的性别。

如图2所示的训练后的性别预测器可以对输入的任意一个头肩部局部图像预测头肩部所属的行人的性别，输出结果为两个性别的概率，例如男性的概率为P5，女性的概率为P6。其中，两个概率中最高的概率为最有可能的头肩部所属的行人的性别。

由于性别预测模块在预测行人的性别时，是基于原始行人图像进行性别预测的，因此，其预测的行人性别是准确的，因此，可以利用性别预测模块给出的准确性别来指导每个属性识别网络中性别预测器的训练。

那么通过在属性识别网络中设置性别分类网络，并对其进行训练，使得在使用属性识别网络进行行人属性的预测时，只需要输入对应身体区域的局部图像和方向信息，而无需输入性别信息，从而提升对行人属性的识别效率。

那么当属性识别网络既包括性别分类网络又包括方向分类网络时，那么经过训练后的属性识别网络在使用时，输入数据只需要包括对应身体区域的局部图像，则并不需要输入方向信息和方向信息，从而大幅提升行人属性的识别效率。

可选地，为了进一步提升如图2所示的四个方向支路网络对识别到的行人属性的准确度，还可以包括S616，将经过训练后的所述性别分类网络识别到的多个性别预测结果中概率最高的目标性别预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

这里的多个性别预测结果，即上述列举的对头肩部局部图像样本预测的头肩部所属的行人的性别概率P5和P6。

其中，目标方向支路网络可以是图2所示的四个方向支路网络中的任意一个，因此，可以将性别预测器预测的两个性别概率中较高的性别概率分四路输入至四个方向支路网络，从而可以使四个方向支路网络结合性别预测器给出的目标性别预测结果进一步作网络中参数的调节，提升训练后的四个方向支路网络能够结合性别信息对识别到的各个方向的行人属性进行校正，提升行人属性的识别准确度。

此外，如图2所示，每个属性识别网络可以包括M层卷积层，局部图像样本以及性别信息经过M层卷积层后，得到图像特征以及性别信息，该图像特征以及性别信息可以输入到性别分类网络来对其进行训练，得到性别预测器。

另外，需要说明的是，虽然上述实施例均以属性识别模块1来进行的训练方法的说明，但是由于各个属性识别网络的训练过程是类似的，因此，这里未一一详细阐述，互相参考即可。

参照图5，示出了本发明的一种基于神经网络的行人属性识别方法实施例的步骤流程图，具体可以包括如下步骤：

步骤201，获取待识别的目标行人图像；

其中，该目标行人图像可以是任意一个场景下拍摄的行人图像，行人的姿态可任意、行人的各个身体区域可以存在部分遮挡，本发明对此并不限制。

步骤202，对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

其中，本步骤的详细执行步骤与上述步骤102类似，区别仅在于将步骤102的进行身体区域分割的对象替换为本实施例的目标行人图像，这里不再赘述。

图1示出了当各个属性识别模块不包括性别预测器以及不包括方向预测器时的结构框图，如图1所示，可以利用人体区域划分模块来执行步骤202，输出得到目标行人图像的头肩部局部图像、上半身局部图像和下半身局部图像。

可选地，在执行步骤202时，可以通过以下方式来实现：

检测所述目标行人图像中的预设人体骨骼关键点的坐标信息；

根据所述预设人体骨骼关键点的坐标信息，按照预设身体区域分割条件，对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像。

其中，本发明实施例的执行流程可以参照上述实施例的S21和S22，区别仅在于将S21和S22的执行对象由行人图像样本替换为这里的目标行人图像，因此，这里不再赘述。

步骤203，将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

其中，上述性别信息、方向信息可以由目标属性识别网络对输入的目标局部图像识别得到，也可以来自从外部输入的数据(例如图1所示的由人体区域划分模块输入到各个属性识别网络的各个身体区域的方向信息、由性别预测模块输入到各个属性识别网络的性别信息)，本发明对此并不做限制。

在一个示例中，如图1所示，本发明实施例的经过训练的多个属性识别网络可以分别为对应头肩部的属性识别模块1、对应上半身的属性识别网络2和对应下半身的属性识别网络3，那么通过将多个局部图像(即头肩部图像、上半身图像、下半身图像)分别输入到上述三个属性识别网络，从而可以使得属性识别模块1对输入的头肩部局部图像进行全身属性以及专属于头肩部的行人属性的识别，得到一组目标行人属性；属性识别网络2对输入的上半身局部图像进行全身属性以及专属于上半身的行人属性的识别，得到另一组目标行人属性；属性识别网络3对输入的下半身局部图像进行全身属性以及专属于下半身的行人属性的识别，得到又一组目标行人属性；这样，就可以得到分别对应头肩部、上半身、下半身的三组目标行人属性。

步骤204，对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。

其中，对于三个属性识别网络分别预测到的专属于各个身体区域的行人属性则直接汇总即可。但是，三个属性识别网络都可以预测全身属性，它们对同一个全身属性的预测结果可能存在差异，例如属性识别模块1和属性识别网络2均认为存在全身属性1，属性识别网络3认为不存在全身属性1，因此，可以以少数服从多数的原则来确定该目标行人图像中是否存在全身属性1，这里属性识别模块1和属性识别网络2分别对存在全身属性1各投了一票，只有属性识别网络3对目标行人图像不存在全身属性1投了一票，因此，汇总结果认为该目标行人图像存在全身属性1，针对其他全身属性同样采用该少数服从多数的原则来确定是否存在该全身属性。

此外，需要说明的是，各个属性识别网络在预测行人属性时，以属性识别模块1为例进行说明，其预测结果包括每个行人属性存在还是不存在的结果。例如全身属性包括属性1和属性2，专属于头肩部的属性包括属性3、属性4和属性5，则属性识别模块1给出的预测结果可以为：存在属性1、不存在属性2、存在属性3、存在属性4、不存在属性5。或者，该属性识别模块1给出的预测结果为：不存在属性1、不存在属性2、存在属性3、不存在属性4、不存在属性5。总而言之，该属性识别模块1可以预测的每个属性的预测结果为存在或者不存在该行人属性。

另外，需要说明的是，在上述举例中属性识别网络的数量是奇数，当属性识别网络的数量为偶数时，在对任意一个行人属性投票时则可能存在平票的情况，那么如果一个行人属性的投票结果是平票，则可以参照后续实施例中，当方向支路网络的数量为偶数，在各个方向支路网络在对同一个全身属性进行投票而发生平票的情况时，如何确定是否具有该全身属性的具体确定方式，二者的确定方式是类似的，参照下述实施例，这里不再赘述。

这样，本发明实施例在对目标行人图像划分为多个局部图像时，能够基于身体区域而灵活地分割出多个局部图像，与人物的背景、场景无关，使得本发明实施例的属性识别方法可以应用到各种场景中使用，提升了泛化能力；此外，各个属性识别网络在进行行人属性的识别时结合了各个身体区域的方向信息以及目标行人图像的性别信息，从而可以提升识别行人属性的准确度。

本发明实施例的目标属性识别网络可以是多个属性识别网络中的任意一个，而目标局部图像则是多个局部图像中身体区域，与目标属性识别网络对应的身体区域相同的局部图像。

每个属性识别网络的使用方法是类似的，因此，后文仅以目标属性识别网络为如图1所示的对应头肩部的属性识别模块1为例进行本发明实施例的属性识别方法的阐述。

可选地，所述目标属性识别网络包括对应不同方向的多个方向支路网络；

如图2所示，属性识别模块1可以包括四个方向支路，即上述对应不同方向的多个方向支路网络，分别为正面支路、左侧面支路、右侧面支路、背面支路，那么为了使用这四个方向支路网络来进行头肩部局部图像的行人属性识别，在本实施例中，在执行步骤203时，可以通过S41～S47来实现。

S41，将所述目标局部图像分多路分别输入至所述多个方向支路网络进行不同方向的行人属性预测，从所述目标方向支路网络得到目标方向的多个行人属性的多个概率值；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向；

其中，上述行人属性可以包括全身属性。

例如本发明实施例的属性识别网络能够预测的全身属性包括属性a，属性b，该属性识别模块1的正面支路能够预测的属性包括上述全身属性以及处于正面的头肩部属性(包括属性c、属性d)；该属性识别模块1的左侧面支路能够预测的属性包括上述全身属性以及处于左侧面的头肩部属性(包括属性e、属性f)；该属性识别模块1的右侧面支路能够预测的属性包括上述全身属性以及处于右侧面的头肩部属性(包括属性g、属性h)；该属性识别模块1的背面支路能够预测的属性包括上述全身属性以及处于背面的头肩部属性(包括属性j、属性k)。

举例来说，如图2所示，头肩部图像可以分四路输入到四个方向支路网络，正面支路对头肩部图像进行全身属性以及专属于处于正面的头肩部的行人属性的预测，输出得到每个行人属性(包括全身属性)的概率值。例如输出结果包括具有属性a的概率Pa、具有属性b的概率Pb、具有属性c的概率Pc、具有属性d的概率Pd。

S42，获取所述目标局部图像中目标身体区域分别处于所述不同方向的多个方向概率值；

其中，本发明实施例的方法还可以获取该头肩部图像中头肩部区域分别处于正面、左侧面、右侧面以及背面的四个方向概率值，例如分别为P1、P2、P3和P4。

可选地，在一个实施例中，图2示出了属性识别模块包括性别预测器和方向预测器时的结构框图，如图2所示，当该属性识别模块1包括方向预测器时，则该四个方向概率值由方向预测器对输入的头肩部图像预测给出。

可选地，当所述目标属性识别网络包括方向分类网络(即经过训练的方向分类网络，图2所示的方向预测器)时，那么在执行S42时，可以将所述目标局部图像输入至所述方向分类网络，来得到多个方向概率值。

也就是说，如图2所示，头肩部局部图像可以输入到方向预测器，方向预测器输出得到该头肩部处于四个方向的四个方向概率值。

这样，本发明实施例通过在属性识别网络中设置方向分类网络，使得在使用属性识别网络进行行人属性的预测时，只需要输入对应身体区域的局部图像和性别信息，而无需输入方向信息，从而提升对行人属性的识别效率。

在另一个实施例中，如图1所述，当该属性识别模块1不包括方向预测器时，则该四个方向概率值可以根据人体区域划分模块向属性识别模块1输入的数据来确定。

那么可选地，在一个实施例中，当该属性识别模块1不包括方向预测器时，在步骤203之前，根据本发明实施例的方法还可以包括：识别每个局部图像中身体区域所处的方向。

也就是说，由图1所示的人体区域划分模块对输入的目标行人图像不仅分割为头肩部局部图像、上半身局部图像以及下半身局部图像，还可以识别每个局部图像中身体区域所处的方向，即头肩部方向、上半身方向、下半身方向。以属性识别模块1为例，人体区域划分模块可以将头肩部局部图像以及头肩部方向输入到属性识别模块1。

那么在执行S42时，则可以通过以下方式来实现：

根据所述方向，确定所述目标局部图像中目标身体区域所处的第一方向；

其中，以目标局部图像为头肩部图像为例，由于人体区域划分模块输出的是三个身体区域的方向，这里需要从三个身体区域的方向中确定出头肩部局部图像中头肩部所处的方向，这里命名为第一方向，例如正面。

将所述目标局部图像中目标身体区域处于所述第一方向的第一方向概率值设置为1，将所述目标局部图像中目标身体区域处于除所述第一方向之外的其他方向的其他方向概率值均设置为0；

其中，由于人体区域划分模块对输入的一个目标行人图像给出的任意一个身体区域的方向信息都是确定的，选自正面、背面、左侧面、右侧面其中的一个，并非如属性识别模块1中的方向预测器可以输出四个方向的概率，因此，这里可以将头肩部局部图像中头肩部处于正面(即第一方向)的方向概率值设置为1，将头肩部局部图像中头肩部处于除该第一方向之外的其他方向的方向概率值均设置为0(例如处于背面、处于左侧面、处于右侧面的方向概率值均为0)。

那么在执行S43时，则可以通过在所述第一方向概率值、所述其他方向概率值中，来获取对应所述目标方向的目标方向概率值。

例如目标方向为正面，则可以从正面概率值(即1)、背面概率值(即0)、左侧面概率值(即0)、右侧面概率值(即0)中选择正面概率值，这里的目标方向概率值为正面概率值1。

这样，本发明实施例通过在属性识别网络中不设置方向分类网络时，而是依据从外部输入对局部图像识别的方向信息来进行行人属性的识别，可以采用较为准确的身体区域的方向信息来进行行人属性的识别，从而提升对行人属性的识别准确度。

S43，获取所述多个方向概率值中对应所述目标方向的目标方向概率值；

其中，以属性识别模块1包括方向预测器为例进行说明。当目标方向为正面时，则该目标方向概率值为P1，当该目标方向为左侧面时，该目标方向概率值为P2，当该目标方向为右侧面时，该目标方向概率值为P3，当目标方向为背面时，则该目标方向概率值为P4。

以属性识别模块1不包括方向预测器为例进行说明，当目标方向为正面时，则该目标方向概率值为P1，当该目标方向为左侧面时，该目标方向概率值为P2，当该目标方向为右侧面时，该目标方向概率值为P3，当目标方向为背面时，则该目标方向概率值为P4，其中，P1＝1，P2＝0，P3＝0，P4＝0。

可选地，S44，获取所述目标行人图像的目标性别；

其中，本发明实施例的方法还可以获取该目标行人图像中行人的性别，这里为目标性别。

在一个实施例中，如图2所示，当该属性识别模块1包括性别预测器时，则该目标性别可以根据性别预测器对头肩部图像识别性别而给出的性别预测结果而确定。

可选地，当所述目标属性识别网络包括性别分类网络(即经过训练的性别分类网络，图2所示的性别预测器)时，那么在执行S44时，则可以通过将所述目标局部图像输入至所述性别分类网络，得到多个性别概率值；并将所述多个性别概率与预设性别阈值比较，将大于所述预设性别阈值的性别概率所对应的性别确定为目标性别。

这样，本发明实施例通过在属性识别网络中设置性别分类网络，使得在使用属性识别网络进行行人属性的预测时，只需要输入对应身体区域的局部图像和方向信息，而无需输入性别信息，从而提升对行人属性的识别效率。

在另一个实施例中，如图1所述，当该属性识别模块1不包括性别预测器时，则该目标性别可以根据性别预测模块向属性识别模块1输入的数据来确定。

具体而言，如图1所示，当三个属性识别网络均不包括性别预测器时，则性别预测模块可以对输入的目标行人图像预测行人性别，将预测的性别信息输入到三个属性识别模块中，从而可以获取所述目标行人图像的目标性别(即来自性别预测模块的性别信息)。

这样，本发明实施例通过在属性识别网络中不设置性别分类网络时，而是依据从外部输入对目标行人图像识别的性别信息来进行行人属性的识别，相较于性别分类网络对局部图像识别的性别，性别预测模块对目标行人图像识别的性别信息更加准确，从而可以采用较为准确的性别信息来进行行人属性的识别，从而提升对行人属性的识别准确度。

需要说明的是S44为可选步骤。

S45，根据所述目标方向的多个行人属性的多个概率值、所述目标方向概率值、所述目标性别，确定所述目标方向的多个行人属性的多个目标概率值；

其中，当步骤203的具体实现步骤包括S44时，则在执行S44之后，执行这里的S45；

但是，当步骤203的具体实现步骤不包括S44时，则在执行S43之后，执行S45’，

S45’，根据所述目标方向的多个行人属性的多个概率值、所述目标方向概率值，确定所述目标方向的多个行人属性的多个目标概率值。

即，本例中在确定目标概率值时，不需要结合性别信息。其中，这里的目标方向可以是上述列举的四个方向中任意一个，这里仅以目标方向为正面为例进行说明，当目标方向为其他另三个方向时，方法类似，因此不再赘述。

本实施例中，以步骤203包括S44为例进行说明，举例而言，这里的目标方向的多个行人属性的多个概率值分别为来自S41的Pa、Pb、Pc、Pd；这里的目标方向概率值为P1，这里的目标性别为来自S44的男性或女性。那么可以利用P1和这里的目标性别来对正面支路预测的四个行人属性的概率值进行校正，从而得到校正后的多个目标概率值，例如Pa’、Pb’、Pc’、Pd’。

可选地，在一个实施例中，在执行S45时，可以通过S501和S502来实现：

S501，对所述目标方向的多个行人属性的多个概率值，与所述目标方向概率值进行加权运算，得到所述目标方向的多个行人属性的多个加权概率值；

这里的目标方向的多个行人属性的多个概率值分别为来自S41的Pa、Pb、Pc、Pd；这里的目标方向概率值为P1，这里的P1相当于权重，经过加权运算，得到多个加权概率值P1*Pa、P1*Pb、P1*Pc、P1*Pd。

S502，根据所述目标性别，对所述多个加权概率值进行纠正，得到所述目标方向的多个行人属性的多个目标概率值。

其中，虽然，S501的加权概率值参考了头肩部图像中头肩部处于正面的概率，但是还未参考头肩部所属行人的性别，因此，还可以根据该目标性别来对上述四个加权概率值作进一步纠正，从而得到具有属性a的目标概率Pa’、具有属性b的目标概率Pb’、具有属性c的目标概率Pc’、具有属性d的目标概率Pd’。这样，本发明实施例通过利用目标方向概率值对属性识别网络中目标方向支路网络输出的每个行人属性的预测结果进行校正，以及进一步利用目标行人图像的性别对该预测结果进行进一步校正，从而提升行人属性识别的准确度。

可选地，当执行S45’时，则只需要通过执行S501来实现即可，不包括上述S502，由S501得到的所述目标方向的多个行人属性的多个加权概率值，即为所述目标方向的多个行人属性的多个目标概率值。

可选地，在执行S502时，可以通过以下方式来实现：

获取所述目标性别的行人属性权值表；其中，所述行人属性权值表包括行人属性与性别权值之间的对应关系，且第一行人属性的性别权值高于第二行人属性的性别权值，其中，所述第一行人属性与所述目标性别的相关度高于所述第一行人属性与所述目标性别的相关度；

具体而言，本发明实施例可以预先配置不同性别的行人属性权值表，不论是男性还是女性的行人属性权值表均包括本发明实施例的方法能够识别的所有行人属性(包括全身属性)以及每个行人属性的性别权值，即包括行人属性与性别权值之间的对应关系。但是，由于有些行人属性更容易出行在男性行人上(即这些行人属性与男性的相关度高于与女性的相关度，例如烟、皮带、裤子等)，而有些行人属性更容易出行在女性行人上(即这些行人属性与女性的相关度高于与男性的相关度，例如裙子、手链、项链、耳坠等)。

因此，在配置不同性别的行人属性权值表时，针对男性行人属性权值表，可以对权值表中的各个行人属性之中，对与男性相关度较高的行人属性赋予的性别权值，高于与男性相关度较低的行人属性赋予的性别权值。例如男性行人属性权值表中烟、皮带、裤子的性别权值均高于裙子、手链、项链、耳坠的性别权值。类似的，针对女性行人属性权值表，原理同男性。例如女性行人属性权值表中裙子、手链、项链、耳坠的性别权值均高于烟、皮带、裤子的性别权值。但是，男性行人属性权值表和女性行人属性权值表之间的行人属性是相同的，只是有些行人属性在两个表中的性别权值不同。

在所述行人属性权值表中，查询所述目标方向的多个行人属性分别对应的多个性别权值；

例如目标性别为女性，则可以在女性行人属性权值表中查询属性a、属性b、属性c、属性d分别对应的性别权值，例如依次为Paa、Pbb、Pcc、Pdd。对所述多个性别权值和所述多个加权概率值作加权运算，得到所述目标方向的多个行人属性的多个目标概率值。如上述举例所述，属性a、属性b、属性c、属性d的加权概率值依次为P1*Pa、P1*Pb、P1*Pc、P1*Pd，则这里作加权运算后的多个目标概率值依次为P1*Pa*Paa、P1*Pb*Pbb、P1*Pc*Pcc、P1*Pd*Pdd，即上述Pa’、Pb’、Pc’、Pd’。

这样，本发明实施例通过获取目标行人图像的目标性别，并利用目标性别的行人属性权值表来获取任意一个方向支路网络预测的每个行人属性对应的性别权值，从而可以利用每个行人属性与目标性别之间的相关程度，来对方向支路网络给出的每个行人属性的方向概率值进行纠正，此外，在纠正过程中同样参考了对输入至该方向支路网络的局部图像中身体区域预测的不同方向的概率，能够结合身体区域的方向信息以及目标行人图像的性别信息来对各个方向支路网络识别到的行人属性进行纠正，提升行人属性的预测准确度。

S46，根据所述目标方向的多个行人属性的多个目标概率值，确定所述多个行人属性中由所述目标方向支路网络识别到的一组候选行人属性；

其中，本发明实施例可以预先对每个行人属性(包括全身属性)设置概率阈值，如果该行人属性的目标概率值大于或等于该行人属性的概率阈值，则确定该局部图像具有该行人属性，如果该行人属性的目标概率值小于该行人属性的概率阈值，则确定该局部图像不具有该行人属性。

继续以上述举例来说明，正面支路预测的四个行人属性(属性a、属性b、属性c、属性d)的目标概率值分别为Pa’、Pb’、Pc’、Pd’，可以将Pa’与属性a的概率阈值作比较，从而确定目标行人图像的头肩部的正面是否具有属性a、属性b、属性c、属性d。例如经过与各个属性的概率阈值比较，确定目标行人图像的头肩部的正面具有属性a、不具有属性b、具有属性c，不具有属性d，则这里的候选行人属性包括具有属性a、不具有属性b、具有属性c，不具有属性d。

S47，将所述多个方向支路网络识别到的多组候选行人属性进行汇总，得到与目标身体区域对应的一组目标行人属性。

其中，如图2所示，例如根据左侧面支路预测的结果并结合性别和方向信息，确定目标行人图像的头肩部的左侧面具有属性a、不具有属性b、具有属性e，不具有属性f；根据右侧面支路预测的结果并结合性别和方向信息，确定目标行人图像的头肩部的右侧面具有属性a、不具有属性b、具有属性g，不具有属性h；根据右侧面支路预测的结果并结合性别和方向信息，确定目标行人图像的头肩部的右侧面不具有属性a、不具有属性b、不具有属性j，具有属性k。那么经过对上述四组候选行人属性进行汇总，得到与目标身体区域对应的一组目标行人属性，即头肩部的专属行人属性包括：具有属性c、属性e、属性g、属性k；不具有属性d、属性f、属性h、属性j。

对于全身属性：属性a和属性b，则可以通过投票来决定，其中，四个方向支路中认为具有属性a的同意票数为3票，认为不具有属性a的否定票数为1票，因此，汇总后认为具有属性a；而四个方向支路都认为不具有属性b，因此，否定票数为四票，所以确定不具有属性b。

那么由于这里的方向支路网络的数量为四个，数量为偶数。因此，如果任意全身属性的同意票数与否定票数的数量不同时，则以少数服从多数的原则来确定是否具有该全身属性。但是，如果任意全身属性的同意票数与否定票数的数量相同时，则采用以下方式来确定是否具有该全身属性：

以全身属性a为例进行说明，例如全身属性a的概率阈值为ma，正面、左侧面、右侧面、背面支路给出具有属性a的概率分别是Pa1’、Pa2’、Pa3’、Pa4’，其中，Pa1’、Pa2’均大于ma，而Pa3’、Pa4’均小于ma。所有两个支路对属性a给出了同意票，两个支路对属性a给出了否定票数，二者打平。

因此，可以计算每个支路给出的概率与该概率阈值之间的差值的绝对值，分别为|Pa1’-ma|、|Pa2’-ma|、|Pa3’-ma|、|Pa4’-ma|。将投同意票的两个差值的绝对值相加，得到结果1为|Pa1’-ma|+|Pa2’-ma|；将投否定票的两个差值的绝对值相加，得到结果2为|Pa3’-ma|+|Pa4’-ma|；再比较两个结果，例如(|Pa1’-ma|+|Pa2’-ma|)>(|Pa3’-ma|+|Pa4’-ma|)，则说明同意力度较大，汇总结果为具有属性a；例如(|Pa1’-ma|+|Pa2’-ma|)<(|Pa3’-ma|+|Pa4’-ma|)，则说明否定力度较大，汇总结果为不具有属性a。

其中，本发明对于S41和S44的执行顺序不做限制。

这样，本发明实施例通过在属性识别网络中配置对应不同方向的多个方向支路网络，并将局部图像输入到多个方向支路网络进行行人属性识别，从而可以得到该属性识别网络对应的身体区域处于不同方向的行人属性的预测结果，并对不同方向的行人属性的预测结果进行汇总，从而可以得到该身体区域的行人属性的预测结果，能够从某个身体区域的不同方向进行不同方向的专属行人属性的识别，从而进一步提升了行人属性的全面性，并提升了行人属性的识别准确度。

另外，需要说明的是，如图2所示，还输出了M层卷积层以及N层卷积层，因此，头肩部局部图像可以首先输入到M层卷积层，得到第一图像特征，然后再将第一图像特征分三路分别输入到N层卷积层、性别预测器、方向预测器；第一图像特征经过N层卷积层得到第二图像特征，将该图像特征分四路输入到四个方向支路网络；此外，第一图像特征经过性别预测器得到目标性别；第一图像特征经过方向预测器，得到四个方向的方向概率值。

可选地，在执行所述识别每个局部图像中身体区域所处的方向的步骤时，可以通过以下方式来实现：

获取局部图像中预设人体骨骼关键点的坐标信息；

根据所述预设人体骨骼关键点的坐标信息之间的关系，计算所述局部图像中身体区域所处的方向信息。

其中，本发明实施例的执行流程可以参照上述实施例的S31和S32，区别仅在于将S31和S32的执行对象由局部图像样本替换为这里的局部图像，因此，这里不再赘述。

这样，本发明实施例通过获取每个局部图像中各个预设人体骨骼关键点的坐标之间的关系，从而可以计算出该局部图像中的身体区域所处的方向，较为准确的识别到局部图像中待识别行人属性的身体区域的姿态数据，能够使不同属性识别模块利用利用姿态数据(即上述方向信息)来对不同身体区域的行人属性进行识别，能够以姿态数据来纠正识别到的行人属性，提升行人属性的识别准确度。

另外，需要说明的是，虽然上述实施例以对应头肩部的属性识别模块1为例进行了本发明实施例的属性识别方法的阐述，但是其他身体区域，例如上半身、下半身的属性识别模块的使用方法是类似的，因此，没有一一赘述。

类似的，虽然上述实施例对属性识别模块1中的一个方向支路网络，即正面支路的使用过程作了详细说明，但是由于属性识别模块中不同方向支路网络的使用方法是类似，因此，也未作一一赘述，互相参考即可。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

与上述本发明实施例所提供的神经网络的训练方法相对应，参照图6，示出了本发明一种神经网络的训练装置实施例的结构框图，具体可以包括如下模块：

获取模块601，用于获取训练样本集，所述训练样本集包括多个行人图像样本；

分割模块602，用于对所述训练样本集中的任意一个行人图像样本作身体区域分割，获取与不同身体区域对应的多个局部图像样本，其中，每个局部图像样本标注有行人属性信息；

识别模块603，用于识别每个局部图像样本中身体区域所处的方向信息；

检测模块604，用于检测所述行人图像样本的性别信息；

训练模块605，用于根据所述训练样本集中任意一个行人图像样本的所述多个局部图像样本、每个局部图像样本的所述方向信息、所述行人图像样本的所述性别信息，以及每个局部图像样本上标注的行人属性信息，对多个属性识别网络分别作行人属性特征的学习和训练，得到与不同身体区域对应的多个属性识别网络；

其中，经过训练后的每个属性识别网络用于结合待识别图像中行人的性别信息，以及所述待识别图像中每个局部图像对应的身体区域的方向信息，来识别所述待识别图像中行人的全身属性，以及专属于每个所述身体区域的行人属性。

可选地，所述训练模块605，还用于将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征；

其中，对于所述多个局部图像样本中输入至所述目标属性识别网络的所述目标局部图像样本，所述目标局部图像样本对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络。

可选地，所述训练模块605，还用于当所述目标属性识别网络包括对应不同方向的多个方向支路网络，将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向。

可选地，所述训练模块605包括：

第一输入子模块，用于当所述目标属性识别网络还包括方向分类网络时，将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息，输入至所述方向分类网络，以使所述方向分类网络学习所述目标身体区域的方向信息；

第一获取子模块，用于获取经过训练后的所述方向分类网络对输入的任意一个局部图像样本所识别到的多个方向预测结果；

第一学习子模块，用于将所述多个方向预测结果中目标方向预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

可选地，所述训练模块还包括：

第二输入子模块，用于当所述目标属性识别网络还包括性别分类网络时，将所述目标局部图像特征、所述行人图像样本的性别信息，输入至所述性别分类网络，以使所述性别分类网络学习所述目标身体区域对应的行人的性别信息；

第二学习子模块，用于将经过训练后的所述性别分类网络识别到的多个性别预测结果中概率最高的目标性别预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

对于装置实施例而言，由于其与对应的训练方法实施例基本相似，所以描述的比较简单，相关之处参见相应训练方法实施例的部分说明即可。

与上述本发明实施例所提供的基于神经网络的行人属性识别方法相对应，参照图7，示出了本发明一种基于神经网络的行人属性识别装置实施例的结构框图，具体可以包括如下模块：

获取模块701，用于获取待识别的目标行人图像；

分割模块702，用于对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

输入模块703，用于将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

汇总模块704，用于对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。

可选地，所述输入模块703包括：

输入子模块，用于当所述目标属性识别网络包括对应不同方向的多个方向支路网络时，将所述目标局部图像分多路分别输入至所述多个方向支路网络进行不同方向的行人属性预测，从所述目标方向支路网络得到目标方向的多个行人属性的多个概率值；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向；

第一获取子模块，用于获取所述目标局部图像中目标身体区域分别处于所述不同方向的多个方向概率值；

第二获取子模块，用于获取所述多个方向概率值中对应所述目标方向的目标方向概率值；

第三获取子模块，用于获取所述目标行人图像的目标性别；

第一确定子模块，用于根据所述目标方向的多个行人属性的多个概率值、所述目标方向概率值、所述目标性别，确定所述目标方向的多个行人属性的多个目标概率值；

第二确定子模块，用于根据所述目标方向的多个行人属性的多个目标概率值，确定所述多个行人属性中由所述目标方向支路网络识别到的一组候选行人属性；

汇总子模块，用于将所述多个方向支路网络识别到的多组候选行人属性进行汇总，得到与目标身体区域对应的一组目标行人属性。

可选地，所述装置还包括：

识别模块，用于识别每个局部图像中身体区域所处的方向；

所述第一获取子模块包括：

第一确定单元，用于根据所述方向，确定所述目标局部图像中目标身体区域所处的第一方向；

设置单元，用于将所述目标局部图像中目标身体区域处于所述第一方向的第一方向概率值设置为1，将所述目标局部图像中目标身体区域处于除所述第一方向之外的其他方向的其他方向概率值均设置为0；

所述第二获取子模块包括：

第一获取单元，用于在所述第一方向概率值、所述其他方向概率值中，获取对应所述目标方向的目标方向概率值。

可选地，所述第一获取子模块包括：

第一输入单元，用于当所述目标属性识别网络包括方向分类网络时，将所述目标局部图像输入至所述方向分类网络，得到多个方向概率值；

可选地，所述第三获取子模块包括：

第二输入单元，用于当所述目标属性识别网络包括性别分类网络时，将所述目标局部图像输入至所述性别分类网络，得到多个性别概率值；

比较单元，用于将所述多个性别概率与预设性别阈值比较，将大于所述预设性别阈值的性别概率所对应的性别确定为目标性别。

可选地，所述第一确定子模块包括：

运算单元，用于对所述目标方向的多个行人属性的多个概率值，与所述目标方向概率值进行加权运算，得到所述目标方向的多个行人属性的多个加权概率值；

纠正单元，用于根据所述目标性别，对所述多个加权概率值进行纠正，得到所述目标方向的多个行人属性的多个目标概率值。

可选地，所述纠正单元包括：

获取子单元，用于获取所述目标性别的行人属性权值表；

其中，所述行人属性权值表包括行人属性与性别权值之间的对应关系，且第一行人属性的性别权值高于第二行人属性的性别权值，其中，所述第一行人属性与所述目标性别的相关度高于所述第一行人属性与所述目标性别的相关度；

查询子单元，用于在所述行人属性权值表中，查询所述目标方向的多个行人属性分别对应的多个性别权值；

运算子单元，用于对所述多个性别权值和所述多个加权概率值作加权运算，得到所述目标方向的多个行人属性的多个目标概率值。

可选地，所述分割模块702包括：

检测子模块，用于检测所述目标行人图像中的预设人体骨骼关键点的坐标信息；

分割子模块，用于根据所述预设人体骨骼关键点的坐标信息，按照预设身体区域分割条件，对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像。

可选地，所述识别模块包括：

第四获取子模块，用于获取局部图像中预设人体骨骼关键点的坐标信息；

计算子模块，用于根据所述预设人体骨骼关键点的坐标信息之间的关系，计算所述局部图像中身体区域所处的方向信息。

对于装置实施例而言，由于其与识别方法实施例基本相似，所以描述的比较简单，相关之处参见相应识别方法实施例的部分说明即可。

根据本发明的一个实施例，还提供了一种电子设备。

该电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的神经网络的训练程序，所述神经网络的训练程序被所述处理器执行时实现如上述任意一个实施例所述的神经网络的训练方法的步骤。

根据本发明的一个实施例，还提供了一种计算机可读存储介质。

该计算机可读存储介质上存储有神经网络的训练程序，所述神经网络的训练程序被处理器执行时实现如述任意一个实施例所述的神经网络的训练方法中的步骤。

根据本发明的一个实施例，还提供了一种电子设备。

该电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于神经网络的行人属性识别程序，所述基于神经网络的行人属性识别程序被所述处理器执行时实现如上述任意一个实施例所述的基于神经网络的行人属性识别方法的步骤。

根据本发明的一个实施例，还提供了一种计算机可读存储介质。

该计算机可读存储介质上存储有基于神经网络的行人属性识别程序，所述基于神经网络的行人属性识别程序被处理器执行时实现如述任意一个实施例所述的基于神经网络的行人属性识别方法中的步骤。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

以上对本发明所提供的一种神经网络的训练方法、一种基于神经网络的行人属性识别方法、一种神经网络的训练装置以及一种基于神经网络的行人属性识别装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种神经网络的训练方法，其特征在于，包括：

获取训练样本集，所述训练样本集包括多个行人图像样本；

对所述训练样本集中的任意一个行人图像样本作身体区域分割，获取与不同身体区域对应的多个局部图像样本，其中，每个局部图像样本标注有行人属性信息；

识别每个局部图像样本中身体区域所处的方向信息；

检测所述行人图像样本的性别信息；

根据所述训练样本集中任意一个行人图像样本的所述多个局部图像样本、每个局部图像样本的所述方向信息、所述行人图像样本的所述性别信息，以及每个局部图像样本上标注的行人属性信息，对多个属性识别网络分别作行人属性特征的学习和训练，得到与不同身体区域对应的多个属性识别网络；

其中，经过训练后的每个属性识别网络用于结合待识别图像中行人的性别信息，以及所述待识别图像中每个局部图像对应的身体区域的方向信息，来识别所述待识别图像中行人的全身属性，以及专属于每个所述身体区域的行人属性。

2.根据权利要求1所述的方法，其特征在于，所述根据所述训练样本集中任意一个行人图像样本的所述多个局部图像样本、每个局部图像样本的所述方向信息、所述行人图像样本的所述性别信息，以及每个局部图像样本上标注的行人属性信息，对多个属性识别网络分别作行人属性特征的学习和训练，得到与不同身体区域对应的多个属性识别网络，包括：

将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征；

其中，对于所述多个局部图像样本中输入至所述目标属性识别网络的所述目标局部图像样本，所述目标局部图像样本对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络。

3.根据权利要求2所述的方法，其特征在于，所述目标属性识别网络包括对应不同方向的多个方向支路网络；

所述将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征，包括：

将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向。

4.根据权利要求3所述的方法，其特征在于，所述目标属性识别网络还包括方向分类网络；

所述将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征，还包括：

将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息，输入至所述方向分类网络，以使所述方向分类网络学习所述目标身体区域的方向信息；

获取经过训练后的所述方向分类网络对输入的任意一个局部图像样本所识别到的多个方向预测结果；

将所述多个方向预测结果中目标方向预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

5.根据权利要求4所述的方法，其特征在于，所述目标属性识别网络还包括性别分类网络；

所述将所述训练样本集中任意一个行人图像样本的目标局部图像样本、所述目标局部图像样本的方向信息、所述行人图像样本的性别信息，以及所述目标局部图像样本上标注的目标行人属性信息，输入至目标属性识别网络，以使所述目标属性识别网络学习行人图像的全身属性特征以及专属于目标身体区域的行人属性特征，还包括：

将所述目标局部图像特征、所述行人图像样本的性别信息，输入至所述性别分类网络，以使所述性别分类网络学习所述目标身体区域对应的行人的性别信息；

将经过训练后的所述性别分类网络识别到的多个性别预测结果中概率最高的目标性别预测结果，输入至目标方向支路网络，以使目标方向支路网络学习行人图像的全身属性特征以及专属于处于目标方向的所述目标身体区域的行人属性特征。

6.一种基于神经网络的行人属性识别方法，其特征在于，包括：

获取待识别的目标行人图像；

对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。

7.根据权利要求6所述的方法，其特征在于，所述目标属性识别网络包括对应不同方向的多个方向支路网络；

所述将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性，包括：

将所述目标局部图像分多路分别输入至所述多个方向支路网络进行不同方向的行人属性预测，从所述目标方向支路网络得到目标方向的多个行人属性的多个概率值；

其中，所述目标方向支路网络为所述多个方向支路网络中的任意一个对应目标方向的方向支路网络，其中，所述目标方向为所述不同方向中的任意一个方向；

获取所述目标局部图像中目标身体区域分别处于所述不同方向的多个方向概率值；

获取所述多个方向概率值中对应所述目标方向的目标方向概率值；

获取所述目标行人图像的目标性别；

根据所述目标方向的多个行人属性的多个概率值、所述目标方向概率值、所述目标性别，确定所述目标方向的多个行人属性的多个目标概率值；

根据所述目标方向的多个行人属性的多个目标概率值，确定所述多个行人属性中由所述目标方向支路网络识别到的一组候选行人属性；

将所述多个方向支路网络识别到的多组候选行人属性进行汇总，得到与目标身体区域对应的一组目标行人属性。

8.根据权利要求7所述的方法，其特征在于，所述将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性之前，所述方法还包括：

识别每个局部图像中身体区域所处的方向；

所述获取所述目标局部图像中目标身体区域分别处于所述不同方向的多个方向概率值，包括：

根据所述方向，确定所述目标局部图像中目标身体区域所处的第一方向；

将所述目标局部图像中目标身体区域处于所述第一方向的第一方向概率值设置为1，将所述目标局部图像中目标身体区域处于除所述第一方向之外的其他方向的其他方向概率值均设置为0；

所述获取所述多个方向概率值中对应所述目标方向的目标方向概率值，包括：

在所述第一方向概率值、所述其他方向概率值中，获取对应所述目标方向的目标方向概率值。

9.根据权利要求7所述的方法，其特征在于，当所述目标属性识别网络包括方向分类网络时，所述获取所述目标局部图像中目标身体区域分别处于所述不同方向的多个方向概率值，包括：

将所述目标局部图像输入至所述方向分类网络，得到多个方向概率值。

10.根据权利要求7所述的方法，其特征在于，当所述目标属性识别网络包括性别分类网络时，所述获取所述目标行人图像的目标性别，包括：

将所述目标局部图像输入至所述性别分类网络，得到多个性别概率值；

将所述多个性别概率与预设性别阈值比较，将大于所述预设性别阈值的性别概率所对应的性别确定为目标性别。

11.根据权利要求7所述的方法，其特征在于，所述根据所述目标方向的多个行人属性的多个概率值、所述目标方向概率值、所述目标性别，确定所述目标方向的多个行人属性的多个目标概率值，包括：

对所述目标方向的多个行人属性的多个概率值，与所述目标方向概率值进行加权运算，得到所述目标方向的多个行人属性的多个加权概率值；

根据所述目标性别，对所述多个加权概率值进行纠正，得到所述目标方向的多个行人属性的多个目标概率值。

12.根据权利要求11所述的方法，其特征在于，所述根据所述目标性别，对所述多个加权概率值进行纠正，得到所述目标方向的多个行人属性的多个目标概率值，包括：

获取所述目标性别的行人属性权值表；

其中，所述行人属性权值表包括行人属性与性别权值之间的对应关系，且第一行人属性的性别权值高于第二行人属性的性别权值，其中，所述第一行人属性与所述目标性别的相关度高于所述第一行人属性与所述目标性别的相关度；

在所述行人属性权值表中，查询所述目标方向的多个行人属性分别对应的多个性别权值；

对所述多个性别权值和所述多个加权概率值作加权运算，得到所述目标方向的多个行人属性的多个目标概率值。

13.一种基于神经网络的行人属性识别装置，其特征在于，包括：

获取模块，用于获取待识别的目标行人图像；

分割模块，用于对所述目标行人图像作身体区域分割，获取与不同身体区域对应的多个局部图像；

输入模块，用于将所述多个局部图像分别输入至预先经过训练的与不同身体区域相对应的多个属性识别网络，得到与不同身体区域对应的多组目标行人属性；

其中，对于所述多个局部图像中输入至目标属性识别网络的目标局部图像，所述目标局部图像对应的目标身体区域与所述目标属性识别网络对应的目标身体区域相同，所述目标属性识别网络为所述多个属性识别网络中的任意一个属性识别网络；

其中，目标属性识别网络用于结合所述目标行人图像中行人的性别信息，以及所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

或者，所述目标属性识别网络用于结合所述目标局部图像中目标身体区域的方向信息，来识别所述目标行人图像中行人的全身属性，以及专属于所述目标身体区域的行人属性；

汇总模块，用于对所述多组目标行人属性进行汇总处理，得到所述目标行人图像的多个目标行人属性。